155 lines
12 KiB
Markdown
155 lines
12 KiB
Markdown
### **Giới thiệu chung**
|
||
|
||
- **LLM** (Large Language Models – Mô hình ngôn ngữ lớn) là các mạng nơ-ron được huấn luyện trên tập dữ liệu văn bản khổng lồ nhằm hiểu và sinh ngôn ngữ.
|
||
- **VLM** (Vision-Language Models – Mô hình thị giác–ngôn ngữ) tích hợp thêm bộ mã hóa hình ảnh, cho phép mô hình xử lý đồng thời cả hình ảnh và văn bản.
|
||
- **Hệ thống kết hợp VLM + LLM** thường được gọi là mô hình đa phương thức (multimodal model)
|
||
|
||
Các mô hình này có thể rất lớn — từ hàng trăm triệu đến hàng tỷ tham số — ảnh hưởng trực tiếp đến độ chính xác, mức sử dụng bộ nhớ và tốc độ chạy. Chúng ta sẽ thường thấy các mô hình này chạy trên các máy chủ lớn với card màn hình giá trị cao, nhiều khi đầu tư cả hệ thống lên tới hàng chục triệu thậm chí hàng trăm triệu. Trên các thiết bị edge như Orange Pi sử dụng RK3588, tài nguyên RAM và khả năng tính toán bị giới hạn, và ngay cả NPU cũng có các ràng buộc nghiêm ngặt về các phép toán được hỗ trợ. Vì vậy, mô hình thường cần được lượng tử hóa hoặc tinh giản để có thể chạy được.
|
||
|
||
Mô hình SmolVLM2 này là một ví dụ của việc lượng tử hóa hoặc tinh giản tối đa để chạy trên các thiết bị edge device. Sau khi chuyển đổi sang định dạng RKNN, một phần mô hình có thể chạy trên NPU, giúp tăng tốc đáng kể. Sau khi loại bỏ các giới hạn này, những mô hình như SmolVLM2-2.2B vẫn chạy tốt trên RK3588 nhờ NPU tăng tốc hiệu quả các phép toán nặng và bộ mã hóa thị giác có thể được tối ưu. Điều này giúp AI đa phương thức tiên tiến có thể triển khai trên các thiết bị nhỏ gọn, tiết kiệm điện năng.
|
||
|
||
[](https://orangepivn.b-cdn.net/wp-content/uploads/2026/01/multimodal-ai.webp)
|
||
|
||
### **SmolVLM2 – Mô hình đa phương thức nhỏ gọn cho thị giác và video, do Hugging Face phát triển**
|
||
|
||
- **SmolVLM2** là một **Vision-Language Model (VLM)** hiệu quả, **hỗ trợ cả hình ảnh và video**, được thiết kế để **chạy trên mọi thiết bị** — từ điện thoại đến máy chủ.
|
||
- Được phát hành với **ba kích cỡ**:
|
||
- **2.2B** tham số (phiên bản mạnh nhất, phù hợp cho nhiều tác vụ thị giác/phim)
|
||
- **500M** tham số (gần bằng hiệu năng 2.2B nhưng nhỏ gọn hơn nhiều)
|
||
- **256M** tham số (phiên bản thử nghiệm, nhỏ nhất từng được phát hành cho tác vụ video)
|
||
- Đây là **những mô hình ngôn ngữ thị giác xử lý video nhỏ nhất từng được công bố**, và **vượt trội về hiệu năng trên mỗi MB bộ nhớ** so với các mô hình cùng kích cỡ.
|
||
- Hiệu năng được đánh giá trên **Video-MME** — một benchmark video toàn diện (900 video, 254 giờ, đa dạng độ dài và modal), và SmolVLM2 **dẫn đầu trong nhóm mô hình dưới 2B tham số**.
|
||
- **Tính năng nổi bật**:
|
||
- Hiểu văn bản trong ảnh, biểu đồ, câu hỏi khoa học có hình
|
||
- Giải toán có minh họa
|
||
- Tóm tắt video dài (1+ giờ), tạo highlight
|
||
- **Hỗ trợ đầy đủ từ ngày đầu** trên:
|
||
- **Transformers** (Python)
|
||
- **MLX** (cho Apple Silicon – cả Python và Swift)
|
||
- **Ứng dụng thực tế** đã được Hugging Face xây dựng:
|
||
- Ứng dụng iPhone chạy **SmolVLM2-500M hoàn toàn offline**
|
||
- Tích hợp với **VLC media player** để tìm kiếm video theo ngữ nghĩa
|
||
- **Video Highlight Generator** trên Hugging Face Spaces
|
||
|
||
### **Bắt đầu triển khai SmolVLM2 trên Orange Pi 5 Plus 4GB**
|
||
|
||
**Tại sao lại lựa chọn Orange Pi 5 Plus 4G?**
|
||
|
||
Orange Pi 5 Plus là một thiết bị gần như mạnh nhất trong dòng RK3588 của Orange Pi, thiết bị có 2 cổng LAN, 1 cổng M2 E key và 1 cổng M2 M key cho phép dùng cả SSD lẫn các thiết bị giao tiếp PCIe khác. Tuy nhiên chi phí cho các sản phẩm Orange Pi 5 Plus các phiên bản 8G hay 16G hay thậm chí 32G vẫn đang là quá cao, nếu bạn chỉ cần chạy một mô hình trên đó, mà không tích hợp nhiều mô hình chạy đồng thời.
|
||
|
||
Vì thế chúng tôi giới thiệu Orange Pi 5 Plus phiên bản 4G, không khác gì Orange Pi 5 Plus khác mà chỉ có RAM ít hơn phục vụ các model có tham số ít, hoặc đã gói gọn và lượng tử quá tối đa như mô hình SmolVLM2-2.2B này.
|
||
|
||
**Hướng dẫn cài đặt**
|
||
|
||
Các bạn cần cài đặt hệ điều hành phiên bản mới nhất Armbian với RKNPU driver 0.9.8 để có hiệu quả tối đa, yêu cầu tối thiểu là RKNPU driver > 0.9.6, có trong các phiên bản Ubuntu 22 và Ubuntu 24 của hãng.
|
||
|
||
Để lưu và tối ưu hóa tốc độ mô hình, các bạn sử dụng [eMMC Module từ 64G](https://orangepi.vn/shop/module-emmc-cho-orange-pi) trở lên hoặc ổ cứng M2 NVME 128-265G
|
||
|
||
Về nguồn điện, có thể sử dụng [Nguồn Type C 5v 3A](https://orangepi.vn/shop/nguon-usb-type-c-5v-3a-chinh-hang) là đủ
|
||
|
||
Sau khi cài xong hệ điều hành, các bạn cập nhật hệ thống bằng câu lệnh quen thuộc
|
||
|
||
`sudo apt update && sudo apt upgrade -y`
|
||
|
||
Rồi làm theo hướng dẫn trong github này hoặc video ben dưới
|
||
|
||
Github: [https://github.com/thanhtantran/SmolVLM2-2B-NPU](https://github.com/thanhtantran/SmolVLM2-2B-NPU)
|
||
|
||
**Video hướng dẫn**
|
||
|
||
Hướng dẫn triển khai SmolVLM2 trên Orange Pi 5 Plus 4GB - YouTube
|
||
|
||
Tap to unmute
|
||
|
||
[Hướng dẫn triển khai SmolVLM2 trên Orange Pi 5 Plus 4GB](https://www.youtube.com/watch?v=AFHFgLPvIe0) [Orange Pi Vietnam](https://www.youtube.com/channel/UCl0lVmXFHAhZybuOIzu2CaA)
|
||
|
||
|
||
|
||
Orange Pi Vietnam1.83K subscribers
|
||
|
||
[Watch on](https://www.youtube.com/watch?v=AFHFgLPvIe0)
|
||
|
||
[Chia sẻ trên WhatsApp](whatsapp://send?text=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20tri%E1%BB%83n%20khai%20model%20SmolVLM2%20tr%C3%AAn%20Orange%20Pi%205%20Plus%204GB%20-%20https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20tri%E1%BB%83n%20khai%20model%20SmolVLM2%20tr%C3%AAn%20Orange%20Pi%205%20Plus%204GB&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fhuong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html&media=https://orangepi.vn/wp-content/uploads/2026/01/ChatGPT-Image-Dec-31-2025-03_34_55-PM-1200x800.webp&description=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20tri%E1%BB%83n%20khai%20model%20SmolVLM2%20tr%C3%AAn%20Orange%20Pi%205%20Plus%204GB "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html&title=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20tri%E1%BB%83n%20khai%20model%20SmolVLM2%20tr%C3%AAn%20Orange%20Pi%205%20Plus%204GB "Chia sẻ trên LinkedIn")
|
||
|
||
|
||
|
||
##### superadmin
|
||
|
||
### Để lại một bình luận [Hủy](https://orangepi.vn/huong-dan-trien-khai-model-smolvlm2-tren-orange-pi-5-plus-4gb.html\#respond)
|
||
|
||
Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*
|
||
|
||
Bình luận \*
|
||
|
||
Tên \*
|
||
|
||
Email \*
|
||
|
||
Trang web
|
||
|
||
Δ
|
||
|
||
- Tìm kiếm:
|
||
|
||
- [Orange Pi Việt Nam](https://orangepi.vn/)
|
||
- [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
|
||
- [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
|
||
- [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
|
||
- [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
|
||
- [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
|
||
- [Liên hệ](https://orangepi.vn/lien-he)
|
||
- [Shop](https://orangepi.vn/shop)
|
||
- [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
|
||
- [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
|
||
- [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
|
||
- [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
|
||
- [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
|
||
- [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
|
||
- [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
|
||
- [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
|
||
- [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
|
||
- [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
|
||
- [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
|
||
- [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
|
||
- [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
|
||
- [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
|
||
- [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
|
||
- [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
|
||
- [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
|
||
- [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
|
||
- [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
|
||
- [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
|
||
- [Blog](https://orangepi.vn/blog)
|
||
- [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
|
||
- [Hướng dẫn](https://orangepi.vn/category/huong-dan)
|
||
- [Trình diễn](https://orangepi.vn/category/trinh-dien)
|
||
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
|
||
- [**Hotline: 0923449899**](tel:0923449899)
|
||
|
||
Bạn cần trợ giúp?
|
||
|
||
[Messenger](https://m.me/orangepivietnam "Messenger") [Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [Telegram](https://t.me/maytinhnhung "Telegram") [Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")
|
||
|
||
|
||
|
||
Orange Pi Việt NamNhà phân phối chính thức
|
||
|
||
Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?
|
||
|
||
- [Hotline](tel:0923449899 "Hotline")
|
||
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
|
||
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")
|
||
|
||
## Đăng nhập
|
||
|
||
Sign In - Google Accounts
|
||
|
||
Continue with GoogleContinue with Google. Opens in new tab
|
||
|
||
Tên tài khoản hoặc địa chỉ email \*Bắt buộc
|
||
|
||
Mật khẩu \*Bắt buộc
|
||
|
||
Ghi nhớ mật khẩuĐăng nhập
|
||
|
||
[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password) |