Đây là trang Giới thiệu về mô hình LLM phân tán trên Orange Pi của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.

Hiện nay, trí tuệ nhân tạo (AI) đã có thể tóm tắt bài báo, viết truyện làm thơ và tham gia tương tác tự nhiên với con người thông qua các cuộc trò chuyện dài. Đứng đằng sau thành công này một phần là Large Language Models. Large Language Models (hay LLM) để chỉ các mô hình xác suất có khả năng hiểu và sinh ngôn ngữ tự nhiên dựa trên kiến thức được thu thập từ các tập dữ liệu cực lớn. LLM là một trong những ứng dụng thành công nhất của các mô hình transformer.

Một mô hình ngôn ngữ có thể có độ phức tạp khác nhau, từ các mô hình n-gram đơn giản đến các mô hình mạng mô phỏng hệ thần kinh của con người vô cùng phức tạp. Tuy nhiên, thuật ngữ Large Language Model thường dùng để chỉ các mô hình sử dụng kỹ thuật học sâu và có số lượng tham số lớn, có thể từ hàng tỷ đến hàng nghìn tỷ. Những mô hình này có thể phát hiện các quy luật phức tạp trong ngôn ngữ và tạo ra các văn bản y hệt con người. Các con số phía sau mỗi mô hình ví dụ Gemma-1B hay Qwen-3B là chỉ số lượng tham số mà mô hình được huấn luyện, trong đó B là Billion tức là 1 tỷ.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/chatgpt-dien-436x400.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/chatgpt-dien.webp)

Việc triển khai các mô hình LLM này trước giờ đều sử dụng các máy chủ GPU hoặc các card màn hình với công suất lớn, giá trị cao và tiêu thụ rất nhiều năng lượng để thực hiện. Như bài báo ở trên, ChatGPU tiêu thụ đến nửa triệu kWh điện mỗi ngày, hãy thử tưởng tượng bao nhiêu than được đốt ra để tạo ra lượng điện khổng lồ ấy, và cả khí thải ra môi trường nữa. Trong khi đó các mạch máy tính đơn SBC Orange Pi có NPU có thể xử lý được các mô hình ngôn ngữ lớn LLM lại tiêu thụ cực ít năng lượng, tối da chỉ từ 10-15W mỗi bo mạch. Chính vì vậy, Orange Pi Việt Nam đã công bố ra mô hình LLM phân tán trên Orange Pi PI để giảm thiểu việc tiêu thụ năng lượng và bảo vệ môi trường.

Đặc điểm của việc xử lý mô hình ngôn ngữ lớn LLM trên các máy tính đơn bo mạch Orange Pi có NPU là nó chỉ xử lý được một phiên làm việc tại một thời điểm. Chính vì thế nó không thể sử dụng làm máy chủ để phục vụ chatbot cho nhiều người dùng, nhất là việc áp dụng RAG (Retrieval-Augmented Generation). Trong khi mà các chatbot cần truy cập và kho dữ liệu (knowledge library), lấy dữ liệu trong ngữ cảnh ra để trả lời cho người dùng, bằng cách sử dụng LLM làm trung gian tạo ra câu trả lời giống con người hơn, hay còn gọi là AI tạo sinh (Generative AI), thì mô hình LLM phân tán như trên đã giải quyết được các vấn đề mà lại đáp ứng được mọi yêu cầu như một máy chủ GPU.

Mô hình LLM phân tán trên Orange Pi sẽ sử dụng các Orange Pi như các đơn vị tạo sinh ngôn ngữ, còn lại việc phân tách dữ liệu từ kho tài liệu (embedding và reranking) sẽ sử dụng máy chủ X86 thông thường, khi quản trị viên đưa dữ liệu vào và user nhập câu hỏi, máy chủ X86 sẽ sử lý công việc tạo token và chuyển câu hỏi thành token, sau đó trả về thông tin theo đúng ngữ cảnh. Orange Pi lúc đó sẽ dùng thông tin theo đúng ngữ cảnh, chuyển thành ngôn ngữ tạo sinh, và trả lời user. Trong trường hợp câu hỏi khong nằm trong ngữ cảnh hoặc nội dung được trả lời, Orange PI cũng se phản hồi câu trả lời từ chối ngay lập tức. Với việc sử dụng NPU trên chip RK3588 để xử lý LLM, tốc độ phản hồi ngôn ngữ sẽ nhanh hơn rất nhiều, kể cả so với việc sử dụng GPU khi có nhiều người dùng cùng lúc.

### Mô hình phân tán LLM trên Orange Pi RK3588

Hình ảnh minh họa kiến trúc hệ thống phân tán LLM sử dụng các thiết bị Orange Pi, bao gồm:

1. **Máy chủ X86**(hình chữ nhật màu xanh dương ở phía trên):

   - Xử lý PDF, Embedding, Reranking
   - Quản lý cân bằng tải và hàng đợi người dùng
2. **Các thiết bị Orange Pi**(5 hình chữ nhật màu sắc khác nhau ở phía dưới):

   - Mỗi Orange Pi chạy mô hình LLM (Qwen/Gemma) sử dụng NPU
   - Được đánh số từ #1 đến #5 (và có thể mở rộng thêm)
3. **Kết nối**:

   - Người dùng gửi yêu cầu đến máy chủ X86
   - Máy chủ phân phối các yêu cầu đến các Orange Pi trống
4. **Luồng hoạt động**:

   - Người dùng gửi yêu cầu (câu hỏi + PDF) đến máy chủ X86
   - Máy chủ X86 xử lý PDF (embedding, reranking)
   - Máy chủ X86 chuyển yêu cầu đến Orange Pi trống
   - Orange Pi xử lý yêu cầu với LLM và trả kết quả cho người dùng
5. **Chú thích**:

   - Mỗi Orange Pi phục vụ một phiên người dùng
   - Người dùng mới sẽ được gán vào Orange Pi đang trống

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/Mo-hinh-LLM-Phantan-1-560x400.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/Mo-hinh-LLM-Phantan-1.webp)

# Lợi ích của mô hình phân tán LLM trên Orange Pi so với máy chủ GPU

### 1\. Tiết kiệm chi phí đầu tư

- Chi phí máy chủ X86 Gateway + nhiều Orange Pi RK3588 thấp hơn đáng kể so với máy chủ GPU cao cấp
- Một Orange Pi RK3588 có giá khoảng 100-200 USD, trong khi GPU chuyên dụng cho AI có thể từ vài nghìn đến hàng chục nghìn USD

### 2\. Tiết kiệm điện năng

- NPU trên Orange Pi tiêu thụ điện năng thấp hơn nhiều so với GPU mạnh
- Tổng công suất tiêu thụ của cả hệ thống (máy chủ X86 + nhiều Orange Pi) vẫn thấp hơn máy chủ GPU

### 3\. Khả năng mở rộng linh hoạt (Scalability)

- Dễ dàng thêm Orange Pi mới khi cần tăng số lượng người dùng đồng thời
- Mở rộng theo chiều ngang (horizontal scaling) đơn giản hơn so với nâng cấp GPU
- Chi phí mở rộng tăng tuyến tính, không phải theo cấp số nhân như với GPU mạnh hơn

### 4\. Tính sẵn sàng cao (High Availability)

- Nếu một Orange Pi gặp sự cố, chỉ ảnh hưởng đến một người dùng
- Hệ thống vẫn tiếp tục hoạt động với các Orange Pi còn lại
- Dễ dàng thay thế thiết bị lỗi mà không cần dừng toàn bộ hệ thống

### 5\. Tối ưu cho nhiều người dùng đồng thời

- Mỗi người dùng có một thiết bị riêng xử lý yêu cầu của họ
- Không bị ảnh hưởng bởi việc chia sẻ tài nguyên GPU giữa nhiều người dùng
- Độ trễ ổn định hơn khi số lượng người dùng tăng

### 6\. Dễ bảo trì và nâng cấp

- Có thể nâng cấp từng phần của hệ thống mà không ảnh hưởng đến toàn bộ
- Dễ dàng thay thế các Orange Pi cũ bằng phiên bản mới hơn, mạnh hơn
- Giảm thời gian ngừng hoạt động khi bảo trì

### 7\. Phù hợp với mô hình LLM nhẹ

- Tận dụng tối ưu các mô hình LLM nhẹ như Qwen/Gemma được tối ưu cho NPU
- Hiệu quả cho các ứng dụng không yêu cầu mô hình cực lớn như GPT-4

### 8\. Phân phối địa lý dễ dàng

- Có thể triển khai các cụm Orange Pi ở nhiều vị trí địa lý khác nhau
- Giảm độ trễ mạng cho người dùng ở các khu vực khác nhau

### 9\. Khả năng chịu lỗi tốt hơn

- Thiết kế phân tán giúp hệ thống ít bị ảnh hưởng bởi lỗi phần cứng đơn lẻ
- Dễ dàng thiết lập dự phòng với chi phí thấp

### 10\. Tùy biến theo nhu cầu

- Có thể cấu hình các Orange Pi khác nhau cho các nhiệm vụ khác nhau
- Linh hoạt trong việc triển khai các mô hình LLM khác nhau trên các thiết bị khác nhau

Mô hình này đặc biệt phù hợp cho các tổ chức vừa và nhỏ muốn triển khai giải pháp LLM tại chỗ (on-premise) với chi phí hợp lý và khả năng mở rộng theo thời gian. Nếu quý khách hàng có nhu cầu cần triển khai hệ thống tương tự, đừng chần chừ liên hệ ngay với Orange Pi Việt Nam tại link sau

> [Liên hệ](https://orangepi.vn/lien-he)

Liên hệ - Orange Pi Viet Nam

[Liên hệ](https://orangepi.vn/lien-he)

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-32x32.webp)Orange Pi Viet Nam](https://orangepi.vn/)

- Nhúng WordPress
- Nhúng HTML

Copy và dán URL này vào trang WordPress của bạn để được nhúng vào.

Sao chép đoạn mã này vào trang web của bạn để nhúng

[Chia sẻ trên WhatsApp](whatsapp://send?text=Gi%E1%BB%9Bi%20thi%E1%BB%87u%20v%E1%BB%81%20m%C3%B4%20h%C3%ACnh%20LLM%20ph%C3%A2n%20t%C3%A1n%20tr%C3%AAn%20Orange%20Pi%20-%20https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=Gi%E1%BB%9Bi%20thi%E1%BB%87u%20v%E1%BB%81%20m%C3%B4%20h%C3%ACnh%20LLM%20ph%C3%A2n%20t%C3%A1n%20tr%C3%AAn%20Orange%20Pi&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fgioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html&media=https://orangepi.vn/wp-content/uploads/2025/05/Mo-hinh-LLM-Phantan.webp&description=Gi%E1%BB%9Bi%20thi%E1%BB%87u%20v%E1%BB%81%20m%C3%B4%20h%C3%ACnh%20LLM%20ph%C3%A2n%20t%C3%A1n%20tr%C3%AAn%20Orange%20Pi "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html&title=Gi%E1%BB%9Bi%20thi%E1%BB%87u%20v%E1%BB%81%20m%C3%B4%20h%C3%ACnh%20LLM%20ph%C3%A2n%20t%C3%A1n%20tr%C3%AAn%20Orange%20Pi "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/gioi-thieu-ve-mo-hinh-llm-phan-tan-tren-orange-pi.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

Bạn cần trợ giúp?

[![Messenger](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/fbmessenger.svg)Messenger](https://m.me/orangepivietnam "Messenger") [![Zalo Official Account](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/zalo.svg)Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [![Telegram](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/telegram.svg)Telegram](https://t.me/maytinhnhung "Telegram") [![Whatsapp](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/whatsapp.svg)Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")

![Orange Pi Việt Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/logo-transparent.png)

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- [Hotline](tel:0923449899 "Hotline")
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)

Giới thiệu về mô hình LLM phân tán trên Orange Pi - Orange Pi Viet Nam

Hiện nay, trí tuệ nhân tạo (AI) đã có thể tóm tắt bài báo, viết truyện làm thơ và tham gia tương tác tự nhiên với con người thông qua các cuộc trò chuyện dài. Đứng đằng sau thành công này một phần là Large Language Models. Large Language Models (hay LLM) để chỉ các mô hình xác suất có khả năng hiểu và sinh ngôn ngữ tự nhiên dựa trên kiến thức được thu thập từ các tập dữ liệu cực lớn. LLM là một trong những ứng dụng thành công nhất của các mô hình transformer.

Một mô hình ngôn ngữ có thể có độ phức tạp khác nhau, từ các mô hình n-gram đơn giản đến các mô hình mạng mô phỏng hệ thần kinh của con người vô cùng phức tạp. Tuy nhiên, thuật ngữ Large Language Model thường dùng để chỉ các mô hình sử dụng kỹ thuật học sâu và có số lượng tham số lớn, có thể từ hàng tỷ đến hàng nghìn tỷ. Những mô hình này có thể phát hiện các quy luật phức tạp trong ngôn ngữ và tạo ra các văn bản y hệt con người. Các con số phía sau mỗi mô hình ví dụ Gemma-1B hay Qwen-3B là chỉ số lượng tham số mà mô hình được huấn luyện, trong đó B là Billion tức là 1 tỷ.

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/chatgpt-dien.webp)

Việc triển khai các mô hình LLM này trước giờ đều sử dụng các máy chủ GPU hoặc các card màn hình với công suất lớn, giá trị cao và tiêu thụ rất nhiều năng lượng để thực hiện. Như bài báo ở trên, ChatGPU tiêu thụ đến nửa triệu kWh điện mỗi ngày, hãy thử tưởng tượng bao nhiêu than được đốt ra để tạo ra lượng điện khổng lồ ấy, và cả khí thải ra môi trường nữa. Trong khi đó các mạch máy tính đơn SBC Orange Pi có NPU có thể xử lý được các mô hình ngôn ngữ lớn LLM lại tiêu thụ cực ít năng lượng, tối da chỉ từ 10-15W mỗi bo mạch. Chính vì vậy, Orange Pi Việt Nam đã công bố ra mô hình LLM phân tán trên Orange Pi PI để giảm thiểu việc tiêu thụ năng lượng và bảo vệ môi trường.

Đặc điểm của việc xử lý mô hình ngôn ngữ lớn LLM trên các máy tính đơn bo mạch Orange Pi có NPU là nó chỉ xử lý được một phiên làm việc tại một thời điểm. Chính vì thế nó không thể sử dụng làm máy chủ để phục vụ chatbot cho nhiều người dùng, nhất là việc áp dụng RAG (Retrieval-Augmented Generation). Trong khi mà các chatbot cần truy cập và kho dữ liệu (knowledge library), lấy dữ liệu trong ngữ cảnh ra để trả lời cho người dùng, bằng cách sử dụng LLM làm trung gian tạo ra câu trả lời giống con người hơn, hay còn gọi là AI tạo sinh (Generative AI), thì mô hình LLM phân tán như trên đã giải quyết được các vấn đề mà lại đáp ứng được mọi yêu cầu như một máy chủ GPU.

Mô hình LLM phân tán trên Orange Pi sẽ sử dụng các Orange Pi như các đơn vị tạo sinh ngôn ngữ, còn lại việc phân tách dữ liệu từ kho tài liệu (embedding và reranking) sẽ sử dụng máy chủ X86 thông thường, khi quản trị viên đưa dữ liệu vào và user nhập câu hỏi, máy chủ X86 sẽ sử lý công việc tạo token và chuyển câu hỏi thành token, sau đó trả về thông tin theo đúng ngữ cảnh. Orange Pi lúc đó sẽ dùng thông tin theo đúng ngữ cảnh, chuyển thành ngôn ngữ tạo sinh, và trả lời user. Trong trường hợp câu hỏi khong nằm trong ngữ cảnh hoặc nội dung được trả lời, Orange PI cũng se phản hồi câu trả lời từ chối ngay lập tức. Với việc sử dụng NPU trên chip RK3588 để xử lý LLM, tốc độ phản hồi ngôn ngữ sẽ nhanh hơn rất nhiều, kể cả so với việc sử dụng GPU khi có nhiều người dùng cùng lúc.

Mô hình phân tán LLM trên Orange Pi RK3588

Hình ảnh minh họa kiến trúc hệ thống phân tán LLM sử dụng các thiết bị Orange Pi, bao gồm:

1. Máy chủ X86(hình chữ nhật màu xanh dương ở phía trên):

 - Xử lý PDF, Embedding, Reranking
 - Quản lý cân bằng tải và hàng đợi người dùng
2. Các thiết bị Orange Pi(5 hình chữ nhật màu sắc khác nhau ở phía dưới):

 - Mỗi Orange Pi chạy mô hình LLM (Qwen/Gemma) sử dụng NPU
 - Được đánh số từ #1 đến #5 (và có thể mở rộng thêm)
3. Kết nối:

 - Người dùng gửi yêu cầu đến máy chủ X86
 - Máy chủ phân phối các yêu cầu đến các Orange Pi trống
4. Luồng hoạt động:

 - Người dùng gửi yêu cầu (câu hỏi + PDF) đến máy chủ X86
 - Máy chủ X86 xử lý PDF (embedding, reranking)
 - Máy chủ X86 chuyển yêu cầu đến Orange Pi trống
 - Orange Pi xử lý yêu cầu với LLM và trả kết quả cho người dùng
5. Chú thích:

 - Mỗi Orange Pi phục vụ một phiên người dùng
 - Người dùng mới sẽ được gán vào Orange Pi đang trống

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/05/Mo-hinh-LLM-Phantan-1.webp)

Lợi ích của mô hình phân tán LLM trên Orange Pi so với máy chủ GPU

1\. Tiết kiệm chi phí đầu tư

- Chi phí máy chủ X86 Gateway + nhiều Orange Pi RK3588 thấp hơn đáng kể so với máy chủ GPU cao cấp
- Một Orange Pi RK3588 có giá khoảng 100-200 USD, trong khi GPU chuyên dụng cho AI có thể từ vài nghìn đến hàng chục nghìn USD

2\. Tiết kiệm điện năng

- NPU trên Orange Pi tiêu thụ điện năng thấp hơn nhiều so với GPU mạnh
- Tổng công suất tiêu thụ của cả hệ thống (máy chủ X86 + nhiều Orange Pi) vẫn thấp hơn máy chủ GPU

3\. Khả năng mở rộng linh hoạt (Scalability)

- Dễ dàng thêm Orange Pi mới khi cần tăng số lượng người dùng đồng thời
- Mở rộng theo chiều ngang (horizontal scaling) đơn giản hơn so với nâng cấp GPU
- Chi phí mở rộng tăng tuyến tính, không phải theo cấp số nhân như với GPU mạnh hơn

4\. Tính sẵn sàng cao (High Availability)

- Nếu một Orange Pi gặp sự cố, chỉ ảnh hưởng đến một người dùng
- Hệ thống vẫn tiếp tục hoạt động với các Orange Pi còn lại
- Dễ dàng thay thế thiết bị lỗi mà không cần dừng toàn bộ hệ thống

5\. Tối ưu cho nhiều người dùng đồng thời

- Mỗi người dùng có một thiết bị riêng xử lý yêu cầu của họ
- Không bị ảnh hưởng bởi việc chia sẻ tài nguyên GPU giữa nhiều người dùng
- Độ trễ ổn định hơn khi số lượng người dùng tăng

6\. Dễ bảo trì và nâng cấp

- Có thể nâng cấp từng phần của hệ thống mà không ảnh hưởng đến toàn bộ
- Dễ dàng thay thế các Orange Pi cũ bằng phiên bản mới hơn, mạnh hơn
- Giảm thời gian ngừng hoạt động khi bảo trì

7\. Phù hợp với mô hình LLM nhẹ

- Tận dụng tối ưu các mô hình LLM nhẹ như Qwen/Gemma được tối ưu cho NPU
- Hiệu quả cho các ứng dụng không yêu cầu mô hình cực lớn như GPT-4

8\. Phân phối địa lý dễ dàng

- Có thể triển khai các cụm Orange Pi ở nhiều vị trí địa lý khác nhau
- Giảm độ trễ mạng cho người dùng ở các khu vực khác nhau

9\. Khả năng chịu lỗi tốt hơn

- Thiết kế phân tán giúp hệ thống ít bị ảnh hưởng bởi lỗi phần cứng đơn lẻ
- Dễ dàng thiết lập dự phòng với chi phí thấp

10\. Tùy biến theo nhu cầu

- Có thể cấu hình các Orange Pi khác nhau cho các nhiệm vụ khác nhau
- Linh hoạt trong việc triển khai các mô hình LLM khác nhau trên các thiết bị khác nhau

Mô hình này đặc biệt phù hợp cho các tổ chức vừa và nhỏ muốn triển khai giải pháp LLM tại chỗ (on-premise) với chi phí hợp lý và khả năng mở rộng theo thời gian. Nếu quý khách hàng có nhu cầu cần triển khai hệ thống tương tự, đừng chần chừ liên hệ ngay với Orange Pi Việt Nam tại link sau

> Liên hệ

Liên hệ - Orange Pi Viet Nam

Liên hệ

Orange Pi Viet Nam

- Nhúng WordPress
- Nhúng HTML

Copy và dán URL này vào trang WordPress của bạn để được nhúng vào.

Sao chép đoạn mã này vào trang web của bạn để nhúng

Chia sẻ trên WhatsAppChia sẻ trên FacebookChia sẻ trên TwitterGửi email cho bạn bèGhim trên PinterestChia sẻ trên LinkedIn

superadmin

Để lại một bình luận Hủy

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \

Bình luận \

Tên \

Email \

Trang web

Δ

- Tìm kiếm:

- Orange Pi Việt Nam
 - Giới thiệu về máy tính nhúng
 - Hướng dẫn đặt hàng
 - Chính sách Bảo hành
 - Thư ủy quyền phân phối tại Việt Nam
 - Chính sách bảo mật
 - Liên hệ
- Shop
 - Bo Mạch Orange Pi
 - Chip H3
 - Chip H6
 - RK3399
 - RK3588, RK3566
 - Chip H616, H618
 - Allwinner A733
 - RAM 1GB
 - RAM 2GB
 - RAM 4GB
 - RAM 6GB
 - RAM 8GB
 - Phụ kiện Orange Pi
 - Màn hình
 - Vỏ Mica lắp ghép
 - Vỏ thép kiêm tản nhiệt
 - Vỏ nhôm nhẹ tản nhiệt tốt
 - Nguồn Orange Pi
 - Thẻ nhớ microSD
 - Compute Module
- Blog
 - Giới thiệu
 - Hướng dẫn
 - Trình diễn
- Đăng nhập
- Hotline: 0923449899

Bạn cần trợ giúp?

Messenger Zalo Official Account Telegram Whatsapp

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- Hotline
- Facebook
- Zalo

Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \Bắt buộc

Mật khẩu \Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

Quên mật khẩu?


Đây là trang Các phiên bản hệ điều hành cho Orange Pi RV2 của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.

Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất. Link gốc: [https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc](https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc)

**Orange Pi RV2** nổi bật với hiệu năng mạnh mẽ trong một thiết bị tiết kiệm chi phí và điện năng. Bo mạch này sử dụng SoC KY-X1 tám nhân, hỗ trợ mở rộng RVA22 và vector, tích hợp bộ tăng tốc AI 2 TOPS, rất phù hợp cho các ứng dụng AI và máy học ở biên. Nhờ tích hợp công nghệ RISC-V, OrangePi RV2 mở ra nhiều khả năng sáng tạo trong các lĩnh vực như robot, IoT, giáo dục, v.v.

Việc Ubuntu hỗ trợ OrangePi RV2 giúp người dùng tận dụng hệ sinh thái công cụ mã nguồn mở phong phú, đồng thời đảm bảo sự ổn định và tin cậy cho các trường hợp sử dụng mới.

**Cam kết của Canonical với RISC-V:** Canonical khẳng định vai trò thúc đẩy RISC-V trở thành tiêu chuẩn mở, và việc Ubuntu có mặt trên Orange Pi RV2 là minh chứng cho sự hợp tác bền vững với cộng đồng RISC-V toàn cầu.

Như vậy, với [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-4gb-ram) chúng ta có nhiều lựa chọn hệ điều hành hơn cho sản phẩm này:

## Ubuntu 24.04 của hãng (Noble Numbat)

Link tải: [https://drive.google.com/drive/folders/1QgQRX-wtvsTJnOoMBVct-g5HLWb7g6n-](https://drive.google.com/drive/folders/1QgQRX-wtvsTJnOoMBVct-g5HLWb7g6n-)

Link (máy chủ VN) : [https://vietnodes.com/#/HOME/Orange%20Pi%20RV2](https://vietnodes.com/#/HOME/Orange%20Pi%20RV2) (truy cập [https://forum.orangepi.vn](https://forum.orangepi.vn/) để biết username/password)

**Hướng dẫn bắt đầu (sử dụng máy tính PC Windows):**

- Tải image: Truy cập trang link trên để tải image bạn cần, tương thích với OrangePi RV2.

- Chuẩn bị thẻ SD: Hãy sử dụng thẻ micróD có chất lượng tốt, tối thiểu 16GB, khuyên dùng [thẻ microSD 32GB](https://orangepi.vn/shop/the-nho-microsd-32gb-class-10), hoặc tốt hơn là 64GB.

- Tải về phần mềm ghi image là Balena Etcher. Link: [https://etcher.balena.io/](https://etcher.balena.io/)

- Chạy Balena Etcher, chọn file **img.gz** vừa tải, hoặc file đuôi **7z** thì bạn cần giải nén ra file có đuôi là **.img.** Chọn target là thẻ nhớ đã cắm vào máy tính, bấm **Flash!**

- Sau khi quá trình Flash hoàn thành, rút thẻ nhớ cắm vào [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-4gb-ram), cắm thêm màn hình qua cổng HDMI, bàn phím chuột và sử dụng.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orangepi-rv2-711x400.jpg)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orangepi-rv2.avif)

## OpenWRT bản build của hãng

Link tải: [https://drive.google.com/drive/folders/13cz1kLpb300xcpz-4vv-L3AvyjI9Qjlg](https://drive.google.com/drive/folders/13cz1kLpb300xcpz-4vv-L3AvyjI9Qjlg)

Link (máy chủ VN) : [https://vietnodes.com/#/HOME/Orange%20Pi%20RV2](https://vietnodes.com/#/1/5) (truy cập [https://forum.orangepi.vn](https://forum.orangepi.vn/) để biết username/password)

Cũng tương tự như phiên bản Ubuntu, bạn cũng làm đến bước rút thẻ nhớ và cắm vào [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram). Cắm nguồn khởi động, cắm dây mạng và cổng mạng ETH0, máy tính sẽ nhận ra [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) như một router ở địa chỉ 192.168.1.1

Lúc này bạn chỉ cần truy cập vào 192.168.1.1 trên trình duyệt hoặc qua SSH (nếu bạn quen dùng), đăng nhập root (không có password) và bắt đầu sử dụng OpenWRT.

Cấu hình các cổng mạng LAN/WAN tùy vào nhu cầu sử dụng. Nếu cần cấu hình thêm adapter USB-Ethernet, bạn có thể cài thêm kernel module tương ứng như trên các sản phẩm sử dụng OpenWRT khác

Truy cập System > Software (hoặc Packages) để cài đặt các ứng dụng như VPN, cân bằng tải, v.v

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orange-pi-rv2-featured-711x400.jpg)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orange-pi-rv2-featured.avif)

## Phiên bản Ubuntu developer của Canonical (sẽ cập nhật sau)

[Chia sẻ trên WhatsApp](whatsapp://send?text=C%C3%A1c%20phi%C3%AAn%20b%E1%BA%A3n%20h%E1%BB%87%20%C4%91i%E1%BB%81u%20h%C3%A0nh%20cho%20Orange%20Pi%20RV2%20-%20https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=C%C3%A1c%20phi%C3%AAn%20b%E1%BA%A3n%20h%E1%BB%87%20%C4%91i%E1%BB%81u%20h%C3%A0nh%20cho%20Orange%20Pi%20RV2&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fcac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html&media=https://orangepi.vn/wp-content/uploads/2025/04/orangepirv2-big-800x800.webp&description=C%C3%A1c%20phi%C3%AAn%20b%E1%BA%A3n%20h%E1%BB%87%20%C4%91i%E1%BB%81u%20h%C3%A0nh%20cho%20Orange%20Pi%20RV2 "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html&title=C%C3%A1c%20phi%C3%AAn%20b%E1%BA%A3n%20h%E1%BB%87%20%C4%91i%E1%BB%81u%20h%C3%A0nh%20cho%20Orange%20Pi%20RV2 "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

Bạn cần trợ giúp?

[![Messenger](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/fbmessenger.svg)Messenger](https://m.me/orangepivietnam "Messenger") [![Zalo Official Account](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/zalo.svg)Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [![Telegram](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/telegram.svg)Telegram](https://t.me/maytinhnhung "Telegram") [![Whatsapp](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/whatsapp.svg)Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")

![Orange Pi Việt Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/logo-transparent.png)

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- [Hotline](tel:0923449899 "Hotline")
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)

dominant-color-images 1.2.1
Site Kit by Google 1.180.0
webp-uploads 2.6.1

Các phiên bản hệ điều hành cho Orange Pi RV2 - Orange Pi Viet Nam

index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1

Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho Orange Pi RV2 – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất. Link gốc: https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc

Orange Pi RV2 nổi bật với hiệu năng mạnh mẽ trong một thiết bị tiết kiệm chi phí và điện năng. Bo mạch này sử dụng SoC KY-X1 tám nhân, hỗ trợ mở rộng RVA22 và vector, tích hợp bộ tăng tốc AI 2 TOPS, rất phù hợp cho các ứng dụng AI và máy học ở biên. Nhờ tích hợp công nghệ RISC-V, OrangePi RV2 mở ra nhiều khả năng sáng tạo trong các lĩnh vực như robot, IoT, giáo dục, v.v.

Việc Ubuntu hỗ trợ OrangePi RV2 giúp người dùng tận dụng hệ sinh thái công cụ mã nguồn mở phong phú, đồng thời đảm bảo sự ổn định và tin cậy cho các trường hợp sử dụng mới.

Cam kết của Canonical với RISC-V: Canonical khẳng định vai trò thúc đẩy RISC-V trở thành tiêu chuẩn mở, và việc Ubuntu có mặt trên Orange Pi RV2 là minh chứng cho sự hợp tác bền vững với cộng đồng RISC-V toàn cầu.

Như vậy, với Orange Pi RV2 chúng ta có nhiều lựa chọn hệ điều hành hơn cho sản phẩm này:

Ubuntu 24.04 của hãng (Noble Numbat)

Link tải: https://drive.google.com/drive/folders/1QgQRX-wtvsTJnOoMBVct-g5HLWb7g6n-

Link (máy chủ VN) : https://vietnodes.com/#/HOME/Orange%20Pi%20RV2 (truy cập https://forum.orangepi.vn để biết username/password)

Hướng dẫn bắt đầu (sử dụng máy tính PC Windows):

- Tải image: Truy cập trang link trên để tải image bạn cần, tương thích với OrangePi RV2.

- Chuẩn bị thẻ SD: Hãy sử dụng thẻ micróD có chất lượng tốt, tối thiểu 16GB, khuyên dùng thẻ microSD 32GB, hoặc tốt hơn là 64GB.

- Tải về phần mềm ghi image là Balena Etcher. Link: https://etcher.balena.io/

- Chạy Balena Etcher, chọn file img.gz vừa tải, hoặc file đuôi 7z thì bạn cần giải nén ra file có đuôi là .img. Chọn target là thẻ nhớ đã cắm vào máy tính, bấm Flash!

- Sau khi quá trình Flash hoàn thành, rút thẻ nhớ cắm vào Orange Pi RV2, cắm thêm màn hình qua cổng HDMI, bàn phím chuột và sử dụng.

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orangepi-rv2.avif)

OpenWRT bản build của hãng

Link tải: https://drive.google.com/drive/folders/13cz1kLpb300xcpz-4vv-L3AvyjI9Qjlg

Link (máy chủ VN) : https://vietnodes.com/#/HOME/Orange%20Pi%20RV2 (truy cập https://forum.orangepi.vn để biết username/password)

Cũng tương tự như phiên bản Ubuntu, bạn cũng làm đến bước rút thẻ nhớ và cắm vào Orange Pi RV2. Cắm nguồn khởi động, cắm dây mạng và cổng mạng ETH0, máy tính sẽ nhận ra Orange Pi RV2 như một router ở địa chỉ 192.168.1.1

Lúc này bạn chỉ cần truy cập vào 192.168.1.1 trên trình duyệt hoặc qua SSH (nếu bạn quen dùng), đăng nhập root (không có password) và bắt đầu sử dụng OpenWRT.

Cấu hình các cổng mạng LAN/WAN tùy vào nhu cầu sử dụng. Nếu cần cấu hình thêm adapter USB-Ethernet, bạn có thể cài thêm kernel module tương ứng như trên các sản phẩm sử dụng OpenWRT khác

Truy cập System > Software (hoặc Packages) để cài đặt các ứng dụng như VPN, cân bằng tải, v.v

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orange-pi-rv2-featured.avif)

Phiên bản Ubuntu developer của Canonical (sẽ cập nhật sau)

Chia sẻ trên WhatsAppChia sẻ trên FacebookChia sẻ trên TwitterGửi email cho bạn bèGhim trên PinterestChia sẻ trên LinkedIn

superadmin

Để lại một bình luận Hủy

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \

Bình luận \

Tên \

Email \

Trang web

Δ

- Tìm kiếm:

- Orange Pi Việt Nam
 - Giới thiệu về máy tính nhúng
 - Hướng dẫn đặt hàng
 - Chính sách Bảo hành
 - Thư ủy quyền phân phối tại Việt Nam
 - Chính sách bảo mật
 - Liên hệ
- Shop
 - Bo Mạch Orange Pi
 - Chip H3
 - Chip H6
 - RK3399
 - RK3588, RK3566
 - Chip H616, H618
 - Allwinner A733
 - RAM 1GB
 - RAM 2GB
 - RAM 4GB
 - RAM 6GB
 - RAM 8GB
 - Phụ kiện Orange Pi
 - Màn hình
 - Vỏ Mica lắp ghép
 - Vỏ thép kiêm tản nhiệt
 - Vỏ nhôm nhẹ tản nhiệt tốt
 - Nguồn Orange Pi
 - Thẻ nhớ microSD
 - Compute Module
- Blog
 - Giới thiệu
 - Hướng dẫn
 - Trình diễn
- Đăng nhập
- Hotline: 0923449899

Bạn cần trợ giúp?

Messenger Zalo Official Account Telegram Whatsapp

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- Hotline
- Facebook
- Zalo

Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \Bắt buộc

Mật khẩu \Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

Quên mật khẩu?


Đây là trang Hướng dẫn cài đặt và chạy LLM AI trên Orange Pi RV2 với RISC-V KyX1 của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.

Orange Pi RV2 là một sản phẩm thuần RISC-V được ra mắt hồi đầu năm 2025 của hãng Orange Pi. Mặc dù mang tên là Orange Pi RV2 nhưng nó lại không có liên quan gì hết với sản phẩm Orange Pi RV đầu tiên của hãng, với việc sử dụng cấu trúc bo mạch khác nhau và con chip SoC cũng khác nhau.

Nếu như trước đây, sản phẩm [**Orange Pi RV1**](https://orangepi.vn/orange-pi-gia-nhap-vao-cuoc-chay-dua-risc-v.html) được ra mắt như cú “chào sân” vào cuộc chạy đua RISC-V của hãng với chip thuần RISC-V **StarFive JH7110**, thì lần này [**Orange Pi RV2**](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) được trang bị một chip SoC 100% RISC-V cực mạnh đến từ T-Head, một bộ phận của Tập đoàn Alibaba, đó chính là **Ky X1.**

> [Orange Pi RV2 – máy tính đơn bo mạch chuyên hiệu năng cho Trí tuệ nhân tạo (AI)](https://orangepi.vn/orange-pi-rv2-may-tinh-don-bo-mach-chuyen-hieu-nang-cho-tri-tue-nhan-tao-ai.html)

**Ky X1** là một bộ xử lý 8 lõi RISC-V AI CPU, có sức mạnh NPU là 2 TOPS (2 triệu tỉ phép tính mỗi giây). Bộ xử lý này được tích hợp trên máy tính bo mạch đơn (SBC) như [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-4a-phien-ban-4gb-ram), đánh dấu một bước tiến quan trọng trong lĩnh vực xử lý RISC-V và AI. Nhưng cũng giống như các sản phẩm khác, sau khi ra mắt, Hãng bắt đầu mới cập nhật User Manual và các phần mềm liên quan đế mở rộng khả năng sử dụng của bo mạch.

Với việc có 2 cổng LAN Gigabit, trước đây tôi dã nghĩ đến việc biến Orange Pi RV2 thành router chạy trên hệ đièu hành Ubuntu 24.04 (Noble Numbat) được built của hãng. Tuy nhiên sau đó, với việc ra đời phiên bản OpenWRT dành riêng cho Orange Pi RV2 thì việc chạy routing mạng trên Ubuntu có vẻ hơi thừa, vì OpenWRT là HDH mã nguồn mở quá chuyên dụng và quá nổi tiếng cho routing mạng rồi.

> [Các phiên bản hệ điều hành cho Orange Pi RV2](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

Các phiên bản hệ điều hành cho Orange Pi RV2 - Orange Pi Viet Nam

[Các phiên bản hệ điều hành cho Orange Pi RV2](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orangepirv2-big.webp)](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho OrangePi RV2 – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-32x32.webp)Orange Pi Viet Nam](https://orangepi.vn/)

[0 Bình luận](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html#respond)

- Nhúng WordPress
- Nhúng HTML

Copy và dán URL này vào trang WordPress của bạn để được nhúng vào.

Sao chép đoạn mã này vào trang web của bạn để nhúng

Ngoài ra, Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất. Link gốc: [https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc](https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc)

Do vậy, việc sử dụng Ubuntu trên **Orange Pi RV2** sau này sẽ thuận tiện hơn rất nhiều. Và gần đây, hãng đã đăng lên các phần mềm và model dể triển khai LLM trên **OrangePi RV2,** vì thế tôi đã tải về và nghiên cứu thử triển khai luôn cho nóng.

## Chạy mô hình LLM trên Orange Pi RV2

🛠 **Các bước thực hiện**:

1. **Tải mã nguồn:**

```
https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python
```

2. **Cài đặt thư viện:**

```
pip3 install ./onnxruntime_genai-0.4.0.dev1-cp312-cp312-linux_riscv64.whl ./ky_ort-1.2.2-cp312-cp312-linux_riscv64.whl --break-system-packages
export PATH="$PATH:/home/orangepi/.local/bin"
```

3. **Tải mô hình đã chuyển đổi:**

Tại thư mục gốc, tôi có viết 1 script bash để chạy tải về mô hình đã chuyển đổi được tôi lưu trên GG Drive, các bạn chỉ cần chạy lệnh sau và điền ID vào, file bash sẽ tự tải và giải nén.

```
pip install gdown --break-system-packages
sudo chmod +x download_models.sh
bash download_models.sh
```

Bảng mô hình có sẵn và ID GGDrive

| GDrive ID | File name | Model name |
| --- | --- | --- |
| 1XVLXUlrJZyOwDlrqOwyH4kxhAd9d5QWz | minicpm-1b-int4-blk64-fusion.tar.gz | minipcm |
| 1N9sHii6Cl5UyKS59l8DD3s2W23fF9t6k | phi-3-mini-int4-3.8b.tar.gz | phi3 |
| 1Q7qyorYStCm3gv2jQUNODBO6m63223mQ | llama3-int4-8b-blk64-fusion.tar.gz | llama3 |
| 1g3\_Ni7sZg-\_JR8u9Kx8hxHzPx9bE-Z-k | qwen2-int4-1.5b.tar.gz | qwen2 |

Trường hợp các bạn muốn tự mình tải về để nghiên cứu, đây là link GGDrive cho các bạn xem: [https://drive.google.com/drive/folders/1\_S2slyQPmSETDCaMOQqrd1hCZF3wqRPV](https://drive.google.com/drive/folders/1_S2slyQPmSETDCaMOQqrd1hCZF3wqRPV)

4. **Chạy thử mô hình:**

Để xem đầy đủ các tham số của câu lệnh, các bạn dùng

```
python3 llm_qa.py --help
usage: llm_qa.py [-h] -m MODEL -e {qwen2,minicpm,tinyllama,phi2,gemma,phi3,llama3} [-i MIN_LENGTH] [-l MAX_LENGTH] [-ds] [-p TOP_P] [-k TOP_K] [-t TEMPERATURE]
                 [-r REPETITION_PENALTY] [-v] [-g]
```

ví dụ để chạy qwen2-1.5B, bạn dùng

```
python3 llm_qa.py -m ./models/qwen2-int4-1.5b -l 128 -e qwen2 -v -g
```

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/opiv2-llm-genai-800x340.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/opiv2-llm-genai.webp)

📌 **Lưu ý**:

[Orange Pi RV2 RAM 4GB](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-4gb-ram) chạy tốt các mô hình nhỏ (1B–1.5B)

[Orange Pi RV2 RAM 8GB](https://orangepi.vn/shop/orange-pi-5-ultra-8gb-ram) mới đủ cho mô hình lớn hơn (3.8B–8B)

Khi bạn mua bo mạch nên chú ý mua đủ nguồn, tản nhiệt, và bộ nhớ. Các bạn có thể dùng 1 trong 3 loại bộ nhớ sau: SDCard, eMMC Module hoăc ổ cứng SSD M2. Đối với việc chạy LLM, các models thường có kích thước lớn nên tốt nhất bạn dùng ổ cứng SSD M2 vừa đảm bảo được đủ dung lượng, vừa có tốc độ tốt nhất trong các loại bộ nhớ trên. Các ổ cứng M2 NVME chuẩn 2280 cho Orange Pi RV2 giờ cũng rất rẻ, bạn chỉ cần ổ cứng 256GB là đủ cả HDH lẫn các mô hình thoải mái nghiên cứu.

> [Ổ cứng M2 SSD KINGMAX Zeus PQ3480 256GB NVMe M.2 2280 PCIe Gen 3.0](https://orangepi.vn/shop/o-cung-m2-ssd-kingmax-zeus-pq3480-256gb-nvme-m-2-2280-pcie-gen-3-0)

## Convert các mô hình LLM khác sang định dạng chạy trên Orange Pi RV2

Lưu ý là Orange Pi RV2 có NPU chỉ thích hợp với việc chạy và triển khai mô hình, việc đào tạo (training) hay chuyển đổi (convert) mô hình từ định dạng khác sang định dạng chạy được trên Orange Pi RV2 cần phải được triển khai trên các máy tính có cấu hình mạnh, có GPU để làm.

Bạn cũng cần clone github này về: [https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo](https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo)

1. **Chuẩn bị môi trường chuyển đổi**

Sao chép mã nguồn

```
https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python
```

cài phụ thuộc

```
cd python/genai-builder
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
```

2. **Chuyển đổi mô hình**

```
python builder.py \
    -m Qwen/Qwen2-1.5B \
    -o qwen2-1.5b-int4-blk64 \
    -p int4 \
    -e cpu \
    -c model_cache \
    --extra_options int4_accuracy_level=4 int4_block_size=64
# Recommended parameter accuracy_level=4 (W4A8 GroupWise quantization, block_size=64)
```

Hiện tại chỉ có các mô hình thuộc nhóm mô hình Qwen, Phi, LLAMA, Gemma, … là đang có thể chuyển đổi được.

Video hướng dẫn chi tiết:

\[Youtube\]

Chúc các bạn thành công!

[Chia sẻ trên WhatsApp](whatsapp://send?text=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1%20-%20https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fhuong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html&media=https://orangepi.vn/wp-content/uploads/2025/06/RiscV-KyX1-LLM-Web-1200x800.webp&description=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1 "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html&title=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1 "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

Bạn cần trợ giúp?

[![Messenger](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/fbmessenger.svg)Messenger](https://m.me/orangepivietnam "Messenger") [![Zalo Official Account](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/zalo.svg)Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [![Telegram](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/telegram.svg)Telegram](https://t.me/maytinhnhung "Telegram") [![Whatsapp](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/whatsapp.svg)Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")

![Orange Pi Việt Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/logo-transparent.png)

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- [Hotline](tel:0923449899 "Hotline")
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)

Hướng dẫn cài đặt và chạy LLM AI trên Orange Pi RV2 với RISC-V KyX1 - Orange Pi Viet Nam

Orange Pi RV2 là một sản phẩm thuần RISC-V được ra mắt hồi đầu năm 2025 của hãng Orange Pi. Mặc dù mang tên là Orange Pi RV2 nhưng nó lại không có liên quan gì hết với sản phẩm Orange Pi RV đầu tiên của hãng, với việc sử dụng cấu trúc bo mạch khác nhau và con chip SoC cũng khác nhau.

Nếu như trước đây, sản phẩm Orange Pi RV1 được ra mắt như cú “chào sân” vào cuộc chạy đua RISC-V của hãng với chip thuần RISC-V StarFive JH7110, thì lần này Orange Pi RV2 được trang bị một chip SoC 100% RISC-V cực mạnh đến từ T-Head, một bộ phận của Tập đoàn Alibaba, đó chính là Ky X1.

> Orange Pi RV2 – máy tính đơn bo mạch chuyên hiệu năng cho Trí tuệ nhân tạo (AI)

Ky X1 là một bộ xử lý 8 lõi RISC-V AI CPU, có sức mạnh NPU là 2 TOPS (2 triệu tỉ phép tính mỗi giây). Bộ xử lý này được tích hợp trên máy tính bo mạch đơn (SBC) như Orange Pi RV2, đánh dấu một bước tiến quan trọng trong lĩnh vực xử lý RISC-V và AI. Nhưng cũng giống như các sản phẩm khác, sau khi ra mắt, Hãng bắt đầu mới cập nhật User Manual và các phần mềm liên quan đế mở rộng khả năng sử dụng của bo mạch.

Với việc có 2 cổng LAN Gigabit, trước đây tôi dã nghĩ đến việc biến Orange Pi RV2 thành router chạy trên hệ đièu hành Ubuntu 24.04 (Noble Numbat) được built của hãng. Tuy nhiên sau đó, với việc ra đời phiên bản OpenWRT dành riêng cho Orange Pi RV2 thì việc chạy routing mạng trên Ubuntu có vẻ hơi thừa, vì OpenWRT là HDH mã nguồn mở quá chuyên dụng và quá nổi tiếng cho routing mạng rồi.

> Các phiên bản hệ điều hành cho Orange Pi RV2

Các phiên bản hệ điều hành cho Orange Pi RV2 - Orange Pi Viet Nam

Các phiên bản hệ điều hành cho Orange Pi RV2

[](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho OrangePi RV2 – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất.

Orange Pi Viet Nam

0 Bình luận

- Nhúng WordPress
- Nhúng HTML

Copy và dán URL này vào trang WordPress của bạn để được nhúng vào.

Sao chép đoạn mã này vào trang web của bạn để nhúng

Ngoài ra, Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho Orange Pi RV2 – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất. Link gốc: https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc

Do vậy, việc sử dụng Ubuntu trên Orange Pi RV2 sau này sẽ thuận tiện hơn rất nhiều. Và gần đây, hãng đã đăng lên các phần mềm và model dể triển khai LLM trên OrangePi RV2, vì thế tôi đã tải về và nghiên cứu thử triển khai luôn cho nóng.

Chạy mô hình LLM trên Orange Pi RV2

🛠 Các bước thực hiện:

1. Tải mã nguồn:

https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python

2. Cài đặt thư viện:

pip3 install ./onnxruntimegenai-0.4.0.dev1-cp312-cp312-linuxriscv64.whl ./kyort-1.2.2-cp312-cp312-linuxriscv64.whl --break-system-packages
export PATH="$PATH:/home/orangepi/.local/bin"

3. Tải mô hình đã chuyển đổi:

Tại thư mục gốc, tôi có viết 1 script bash để chạy tải về mô hình đã chuyển đổi được tôi lưu trên GG Drive, các bạn chỉ cần chạy lệnh sau và điền ID vào, file bash sẽ tự tải và giải nén.

pip install gdown --break-system-packages
sudo chmod +x downloadmodels.sh
bash downloadmodels.sh

Bảng mô hình có sẵn và ID GGDrive

| GDrive ID | File name | Model name |
| --- | --- | --- |
| 1XVLXUlrJZyOwDlrqOwyH4kxhAd9d5QWz | minicpm-1b-int4-blk64-fusion.tar.gz | minipcm |
| 1N9sHii6Cl5UyKS59l8DD3s2W23fF9t6k | phi-3-mini-int4-3.8b.tar.gz | phi3 |
| 1Q7qyorYStCm3gv2jQUNODBO6m63223mQ | llama3-int4-8b-blk64-fusion.tar.gz | llama3 |
| 1g3\Ni7sZg-\JR8u9Kx8hxHzPx9bE-Z-k | qwen2-int4-1.5b.tar.gz | qwen2 |

Trường hợp các bạn muốn tự mình tải về để nghiên cứu, đây là link GGDrive cho các bạn xem: https://drive.google.com/drive/folders/1\S2slyQPmSETDCaMOQqrd1hCZF3wqRPV

4. Chạy thử mô hình:

Để xem đầy đủ các tham số của câu lệnh, các bạn dùng

python3 llmqa.py --help
usage: llmqa.py [-h] -m MODEL -e {qwen2,minicpm,tinyllama,phi2,gemma,phi3,llama3} [-i MINLENGTH] [-l MAXLENGTH] [-ds] [-p TOPP] [-k TOPK] [-t TEMPERATURE]
 [-r REPETITIONPENALTY] [-v] [-g]

ví dụ để chạy qwen2-1.5B, bạn dùng

python3 llmqa.py -m ./models/qwen2-int4-1.5b -l 128 -e qwen2 -v -g

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/opiv2-llm-genai.webp)

📌 Lưu ý:

Orange Pi RV2 RAM 4GB chạy tốt các mô hình nhỏ (1B–1.5B)

Orange Pi RV2 RAM 8GB mới đủ cho mô hình lớn hơn (3.8B–8B)

Khi bạn mua bo mạch nên chú ý mua đủ nguồn, tản nhiệt, và bộ nhớ. Các bạn có thể dùng 1 trong 3 loại bộ nhớ sau: SDCard, eMMC Module hoăc ổ cứng SSD M2. Đối với việc chạy LLM, các models thường có kích thước lớn nên tốt nhất bạn dùng ổ cứng SSD M2 vừa đảm bảo được đủ dung lượng, vừa có tốc độ tốt nhất trong các loại bộ nhớ trên. Các ổ cứng M2 NVME chuẩn 2280 cho Orange Pi RV2 giờ cũng rất rẻ, bạn chỉ cần ổ cứng 256GB là đủ cả HDH lẫn các mô hình thoải mái nghiên cứu.

> Ổ cứng M2 SSD KINGMAX Zeus PQ3480 256GB NVMe M.2 2280 PCIe Gen 3.0

Convert các mô hình LLM khác sang định dạng chạy trên Orange Pi RV2

Lưu ý là Orange Pi RV2 có NPU chỉ thích hợp với việc chạy và triển khai mô hình, việc đào tạo (training) hay chuyển đổi (convert) mô hình từ định dạng khác sang định dạng chạy được trên Orange Pi RV2 cần phải được triển khai trên các máy tính có cấu hình mạnh, có GPU để làm.

Bạn cũng cần clone github này về: https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo

1. Chuẩn bị môi trường chuyển đổi

Sao chép mã nguồn

https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python

cài phụ thuộc

cd python/genai-builder
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. Chuyển đổi mô hình

python builder.py \
 -m Qwen/Qwen2-1.5B \
 -o qwen2-1.5b-int4-blk64 \
 -p int4 \
 -e cpu \
 -c modelcache \
 --extraoptions int4accuracylevel=4 int4blocksize=64
Recommended parameter accuracylevel=4 (W4A8 GroupWise quantization, blocksize=64)

Hiện tại chỉ có các mô hình thuộc nhóm mô hình Qwen, Phi, LLAMA, Gemma, … là đang có thể chuyển đổi được.

Video hướng dẫn chi tiết:

\[Youtube\]

Chúc các bạn thành công!

Chia sẻ trên WhatsAppChia sẻ trên FacebookChia sẻ trên TwitterGửi email cho bạn bèGhim trên PinterestChia sẻ trên LinkedIn

superadmin

Để lại một bình luận Hủy

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \

Bình luận \

Tên \

Email \

Trang web

Δ

- Tìm kiếm:

- Orange Pi Việt Nam
 - Giới thiệu về máy tính nhúng
 - Hướng dẫn đặt hàng
 - Chính sách Bảo hành
 - Thư ủy quyền phân phối tại Việt Nam
 - Chính sách bảo mật
 - Liên hệ
- Shop
 - Bo Mạch Orange Pi
 - Chip H3
 - Chip H6
 - RK3399
 - RK3588, RK3566
 - Chip H616, H618
 - Allwinner A733
 - RAM 1GB
 - RAM 2GB
 - RAM 4GB
 - RAM 6GB
 - RAM 8GB
 - Phụ kiện Orange Pi
 - Màn hình
 - Vỏ Mica lắp ghép
 - Vỏ thép kiêm tản nhiệt
 - Vỏ nhôm nhẹ tản nhiệt tốt
 - Nguồn Orange Pi
 - Thẻ nhớ microSD
 - Compute Module
- Blog
 - Giới thiệu
 - Hướng dẫn
 - Trình diễn
- Đăng nhập
- Hotline: 0923449899

Bạn cần trợ giúp?

Messenger Zalo Official Account Telegram Whatsapp

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- Hotline
- Facebook
- Zalo

Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \Bắt buộc

Mật khẩu \Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

Quên mật khẩu?


Đây là trang Orange Pi R2S ra mắt tiếp tục là một sản phẩm dùng chip RISC-V của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.

[![Orange Pi Viet Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2018/05/logo1-1.png)![Orange Pi Viet Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2018/05/logo1-1.png)](https://orangepi.vn/ "Orange Pi Viet Nam - Nhà phân phối Orange PI – Authorized Orange Pi distributor")

Tiếp tục là một sản phẩm dùng chip RISC-V, Orange Pi R2S đánh dấu bước tiến mới của hãng trong việc phát triển các thiết bị gateway và điều khiển công nghiệp với hiệu năng cao. Đây là bo mạch thứ ba sử dụng kiến trúc RISC-V từ Orange Pi, sau Orange Pi RV và RV2, nhưng được thiết kế chuyên biệt cho các ứng dụng mạng nội bộ và edge computing.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-508x400.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S.webp)

## **Thiết kế và kích thước**

Orange Pi R2S có thiết kế cực kỳ nhỏ gọn với kích thước chỉ 79.2×46×1.6mm và trọng lượng 60 gram. Kích thước compact này cho phép dễ dàng lắp đặt trong các tủ điện công nghiệp, hệ thống điều khiển tự động và các môi trường hẹp mà không chiếm nhiều diện tích.

## **Cấu hình phần cứng mạnh mẽ**

**Bộ xử lý và AI**: Orange Pi R2S được trang bị chip Ky X1 8-core RISC-V AI với tốc độ 1.6 GHz, cung cấp hiệu năng AI 2.0 TOPS thông qua “CPU core fusion”. Đây là một ưu điểm đáng kể so với các kiến trúc ARM truyền thống, với hiệu năng single-core cao hơn 1.3 lần so với ARM Cortex-A55.

**Bộ nhớ và lưu trữ**: Sản phẩm có ba tùy chọn RAM LPDDR4X là 2GB, 4GB và 8GB, kèm theo 8GB eMMC flash tích hợp. Ngoài ra còn có giao diện chuyển đổi thẻ TF 10-pin cho việc mở rộng lưu trữ.

**GPU và VPU**: Chip tích hợp GPU Imagination IMG BXE-2-32 @ 819 MHz hỗ trợ OpenGL ES3.2, Vulkan 1.3, OpenCL 3.0 với hiệu năng 20 GFLOPS. VPU hỗ trợ decode H.265, H.264, VP8, VP9 lên đến 4K@60fps và encode lên đến 4K@30fps.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-top-701x400.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-top.webp)

## **Hệ thống mạng đa cổng cho ứng dụng công nghiệp**

Điểm nổi bật của Orange Pi R2S là hệ thống kết nối mạng phong phú với cấu hình 2+2 LAN, được thiết kế đặc biệt cho các ứng dụng gateway và điều khiển công nghiệp:

- **2 cổng 2.5GbE** sử dụng controller RealTek RTL8125BG

- **2 cổng Gigabit Ethernet** sử dụng controller YT8531C-CA

- Hệ thống LED báo hiệu cho từng cổng mạng

Cấu hình nhiều cổng mạng này cho phép thiết bị hoạt động như một gateway trung tâm, quản lý và điều phối lưu lượng giữa các mạng nội bộ khác nhau mà không cần expose trực tiếp ra internet. Điều này đặc biệt hữu ích trong các hệ thống tự động hóa công nghiệp, nơi cần tách biệt mạng điều khiển, mạng giám sát và mạng dữ liệu.

## **Giao diện và kết nối**

- **USB**: 1 cổng USB 3.0 và 1 cổng USB 2.0 (cũng dùng cho việc nạp firmware)

- **Nguồn**: USB Type-C 5V/3A với PMIC SpacemIT P1

- **Debug**: Cổng serial 3-pin với mức 3.3V

- **Nút bấm**: MaskROM key để vào chế độ recovery

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-bottom-618x400.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-bottom.webp)

## **Hệ điều hành và ứng dụng**

Orange Pi R2S hỗ trợ **OpenWrt 24.10** và **Ubuntu 24.04** với Linux kernel 6.6.xx. Sản phẩm phù hợp cho nhiều ứng dụng:

- **Enterprise gateway và industrial control**

- **Tự động hóa công nghiệp**

- **Quản lý năng lượng**

- **Giao thông thông minh và smart city**

- **Edge AI và computer vision**

## **Ưu điểm cho thị trường Việt Nam**

Với nhu cầu ngày càng tăng về các giải pháp gateway thông minh và điều khiển công nghiệp tại Việt Nam, Orange Pi R2S mang lại nhiều lợi thế:

**Hiệu quả chi phí**: Giá thành hợp lý so với các giải pháp gateway công nghiệp truyền thống, trong khi hiệu năng mạng vượt trội.

**Quản lý mạng nội bộ hiệu quả**: Với 4 cổng Ethernet (bao gồm 2 cổng 2.5GbE), sản phẩm cho phép tạo ra các segment mạng riêng biệt cho từng chức năng – mạng điều khiển, mạng giám sát, mạng dữ liệu – mà không cần thiết bị mạng bổ sung.

**Tiết kiệm năng lượng**: Kiến trúc RISC-V mang lại hiệu quả năng lượng cao, phù hợp với xu hướng green computing và yêu cầu hoạt động 24/7 trong môi trường công nghiệp.

**Tính ổn định**: Không cần quạt làm mát, hoạt động êm ái và ổn định trong thời gian dài, phù hợp với môi trường công nghiệp khắc nghiệt.

**Khả năng tích hợp AI**: Với hiệu năng AI 2.0 TOPS, thiết bị có thể xử lý các tác vụ AI edge như phân tích hình ảnh, nhận dạng mẫu và ra quyết định tự động ngay tại chỗ.

Orange Pi R2S là lựa chọn lý tưởng cho các doanh nghiệp, nhà máy và tổ chức tại Việt Nam muốn triển khai các giải pháp gateway thông minh và hệ thống điều khiển công nghiệp hiện đại với chi phí hợp lý và hiệu năng cao.

[Chia sẻ trên WhatsApp](whatsapp://send?text=Orange%20Pi%20R2S%20ra%20m%E1%BA%AFt%20ti%E1%BA%BFp%20t%E1%BB%A5c%20l%C3%A0%20m%E1%BB%99t%20s%E1%BA%A3n%20ph%E1%BA%A9m%20d%C3%B9ng%20chip%20RISC-V%20-%20https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=Orange%20Pi%20R2S%20ra%20m%E1%BA%AFt%20ti%E1%BA%BFp%20t%E1%BB%A5c%20l%C3%A0%20m%E1%BB%99t%20s%E1%BA%A3n%20ph%E1%BA%A9m%20d%C3%B9ng%20chip%20RISC-V&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Forange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html&media=https://orangepi.vn/wp-content/uploads/2025/06/Orange-Pi-R2S-banner.webp&description=Orange%20Pi%20R2S%20ra%20m%E1%BA%AFt%20ti%E1%BA%BFp%20t%E1%BB%A5c%20l%C3%A0%20m%E1%BB%99t%20s%E1%BA%A3n%20ph%E1%BA%A9m%20d%C3%B9ng%20chip%20RISC-V "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html&title=Orange%20Pi%20R2S%20ra%20m%E1%BA%AFt%20ti%E1%BA%BFp%20t%E1%BB%A5c%20l%C3%A0%20m%E1%BB%99t%20s%E1%BA%A3n%20ph%E1%BA%A9m%20d%C3%B9ng%20chip%20RISC-V "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/orange-pi-r2s-ra-mat-tiep-tuc-la-mot-san-pham-dung-chip-risc-v.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)

Orange Pi R2S ra mắt tiếp tục là một sản phẩm dùng chip RISC-V - Orange Pi Viet Nam

width=device-width, initial-scale=1
width=device-width, initial-scale=1.0

[](https://orangepi.vn/ "Orange Pi Viet Nam - Nhà phân phối Orange PI – Authorized Orange Pi distributor")

Tiếp tục là một sản phẩm dùng chip RISC-V, Orange Pi R2S đánh dấu bước tiến mới của hãng trong việc phát triển các thiết bị gateway và điều khiển công nghiệp với hiệu năng cao. Đây là bo mạch thứ ba sử dụng kiến trúc RISC-V từ Orange Pi, sau Orange Pi RV và RV2, nhưng được thiết kế chuyên biệt cho các ứng dụng mạng nội bộ và edge computing.

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S.webp)

Thiết kế và kích thước

Orange Pi R2S có thiết kế cực kỳ nhỏ gọn với kích thước chỉ 79.2×46×1.6mm và trọng lượng 60 gram. Kích thước compact này cho phép dễ dàng lắp đặt trong các tủ điện công nghiệp, hệ thống điều khiển tự động và các môi trường hẹp mà không chiếm nhiều diện tích.

Cấu hình phần cứng mạnh mẽ

Bộ xử lý và AI: Orange Pi R2S được trang bị chip Ky X1 8-core RISC-V AI với tốc độ 1.6 GHz, cung cấp hiệu năng AI 2.0 TOPS thông qua “CPU core fusion”. Đây là một ưu điểm đáng kể so với các kiến trúc ARM truyền thống, với hiệu năng single-core cao hơn 1.3 lần so với ARM Cortex-A55.

Bộ nhớ và lưu trữ: Sản phẩm có ba tùy chọn RAM LPDDR4X là 2GB, 4GB và 8GB, kèm theo 8GB eMMC flash tích hợp. Ngoài ra còn có giao diện chuyển đổi thẻ TF 10-pin cho việc mở rộng lưu trữ.

GPU và VPU: Chip tích hợp GPU Imagination IMG BXE-2-32 @ 819 MHz hỗ trợ OpenGL ES3.2, Vulkan 1.3, OpenCL 3.0 với hiệu năng 20 GFLOPS. VPU hỗ trợ decode H.265, H.264, VP8, VP9 lên đến 4K@60fps và encode lên đến 4K@30fps.

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-top.webp)

Hệ thống mạng đa cổng cho ứng dụng công nghiệp

Điểm nổi bật của Orange Pi R2S là hệ thống kết nối mạng phong phú với cấu hình 2+2 LAN, được thiết kế đặc biệt cho các ứng dụng gateway và điều khiển công nghiệp:

- 2 cổng 2.5GbE sử dụng controller RealTek RTL8125BG

- 2 cổng Gigabit Ethernet sử dụng controller YT8531C-CA

- Hệ thống LED báo hiệu cho từng cổng mạng

Cấu hình nhiều cổng mạng này cho phép thiết bị hoạt động như một gateway trung tâm, quản lý và điều phối lưu lượng giữa các mạng nội bộ khác nhau mà không cần expose trực tiếp ra internet. Điều này đặc biệt hữu ích trong các hệ thống tự động hóa công nghiệp, nơi cần tách biệt mạng điều khiển, mạng giám sát và mạng dữ liệu.

Giao diện và kết nối

- USB: 1 cổng USB 3.0 và 1 cổng USB 2.0 (cũng dùng cho việc nạp firmware)

- Nguồn: USB Type-C 5V/3A với PMIC SpacemIT P1

- Debug: Cổng serial 3-pin với mức 3.3V

- Nút bấm: MaskROM key để vào chế độ recovery

[](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Orange-Pi-R2S-bottom.webp)

Hệ điều hành và ứng dụng

Orange Pi R2S hỗ trợ OpenWrt 24.10 và Ubuntu 24.04 với Linux kernel 6.6.xx. Sản phẩm phù hợp cho nhiều ứng dụng:

- Enterprise gateway và industrial control

- Tự động hóa công nghiệp

- Quản lý năng lượng

- Giao thông thông minh và smart city

- Edge AI và computer vision

Ưu điểm cho thị trường Việt Nam

Với nhu cầu ngày càng tăng về các giải pháp gateway thông minh và điều khiển công nghiệp tại Việt Nam, Orange Pi R2S mang lại nhiều lợi thế:

Hiệu quả chi phí: Giá thành hợp lý so với các giải pháp gateway công nghiệp truyền thống, trong khi hiệu năng mạng vượt trội.

Quản lý mạng nội bộ hiệu quả: Với 4 cổng Ethernet (bao gồm 2 cổng 2.5GbE), sản phẩm cho phép tạo ra các segment mạng riêng biệt cho từng chức năng – mạng điều khiển, mạng giám sát, mạng dữ liệu – mà không cần thiết bị mạng bổ sung.

Tiết kiệm năng lượng: Kiến trúc RISC-V mang lại hiệu quả năng lượng cao, phù hợp với xu hướng green computing và yêu cầu hoạt động 24/7 trong môi trường công nghiệp.

Tính ổn định: Không cần quạt làm mát, hoạt động êm ái và ổn định trong thời gian dài, phù hợp với môi trường công nghiệp khắc nghiệt.

Khả năng tích hợp AI: Với hiệu năng AI 2.0 TOPS, thiết bị có thể xử lý các tác vụ AI edge như phân tích hình ảnh, nhận dạng mẫu và ra quyết định tự động ngay tại chỗ.

Orange Pi R2S là lựa chọn lý tưởng cho các doanh nghiệp, nhà máy và tổ chức tại Việt Nam muốn triển khai các giải pháp gateway thông minh và hệ thống điều khiển công nghiệp hiện đại với chi phí hợp lý và hiệu năng cao.

Chia sẻ trên WhatsAppChia sẻ trên FacebookChia sẻ trên TwitterGửi email cho bạn bèGhim trên PinterestChia sẻ trên LinkedIn

superadmin

Để lại một bình luận Hủy

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \

Bình luận \

Tên \

Email \

Trang web

Δ

- Tìm kiếm:

- Orange Pi Việt Nam
 - Giới thiệu về máy tính nhúng
 - Hướng dẫn đặt hàng
 - Chính sách Bảo hành
 - Thư ủy quyền phân phối tại Việt Nam
 - Chính sách bảo mật
 - Liên hệ
- Shop
 - Bo Mạch Orange Pi
 - Chip H3
 - Chip H6
 - RK3399
 - RK3588, RK3566
 - Chip H616, H618
 - Allwinner A733
 - RAM 1GB
 - RAM 2GB
 - RAM 4GB
 - RAM 6GB
 - RAM 8GB
 - Phụ kiện Orange Pi
 - Màn hình
 - Vỏ Mica lắp ghép
 - Vỏ thép kiêm tản nhiệt
 - Vỏ nhôm nhẹ tản nhiệt tốt
 - Nguồn Orange Pi
 - Thẻ nhớ microSD
 - Compute Module
- Blog
 - Giới thiệu
 - Hướng dẫn
 - Trình diễn
- Đăng nhập
- Hotline: 0923449899

Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \Bắt buộc

Mật khẩu \Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

Quên mật khẩu?


Đây là trang Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.

## 🧠 Giới thiệu về `llama.cpp`

[`llama.cpp`](https://github.com/ggerganov/llama.cpp) là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn **offline**, **không cần GPU**, và **tối ưu để chạy trên CPU** – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer), đặc biệt là Orange Pi như Orange Pi RV2 (RISC-V 64-bit)

Điểm mạnh của `llama.cpp`:

- Hỗ trợ nhiều định dạng mô hình `.gguf` hiệu quả

- Hỗ trợ OpenBLAS, SIMD, AVX, NEON

- Có thể chạy tốt trên các thiết bị ARM, x86, RISC-V với bộ nhớ giới hạn

- Hữu ích cho các dự án AI edge/offline không cần đám mây.

![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/llamacpp.webp)

# Các bước cài đặt

## 🛠 Bước 1: Cài đặt compiler RISC-V

**llama.cpp** yêu cầu compile C phiên bản 14, nếu bạn cài HDH Ubuntu 24.04 sẵn của hãng, bạn chỉ có bản version 12, do đó phải cài bản 14 cho phù hợp

`sudo apt install gcc-14-riscv64-linux-gnu g++-14-riscv64-linux-gnu

sudo apt install libc6-riscv64-cross`

* * *

## 📥 Bước 2: Tải mã nguồn llama.cpp

`git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp

`

* * *

## ⚙ Bước 3: Cấu hình `cmake` để compile cho RISC-V

`cmake -DCMAKE_SYSTEM_NAME=Linux \

-DCMAKE_C_COMPILER=/usr/bin/riscv64-linux-gnu-gcc-14 \

-DCMAKE_CXX_COMPILER=/usr/bin/riscv64-linux-gnu-g++-14 \

.

`

Nếu gặp lỗi, hãy cấu hình lại GCC mặc định:

`sudo update-alternatives --install \

/usr/bin/riscv64-linux-gnu-gcc riscv64-linux-gnu-gcc /usr/bin/riscv64-linux-gnu-gcc-14 100`

`sudo update-alternatives --install \

/usr/bin/riscv64-linux-gnu-g++ riscv64-linux-gnu-g++ /usr/bin/riscv64-linux-gnu-g++-14 100`

`sudo update-alternatives --config riscv64-linux-gnu-gcc`

* * *

## 🧱 Bước 4: Cài thư viện OpenBLAS và build

`sudo apt-get install libopenblas-dev

make LLAMA_OPENBLAS=1  # Bật tăng tốc OpenBLAS

`

* * *

## 🧠 Bước 5: Chọn mô hình phù hợp

| Thiết bị | RAM | Mô hình đề xuất | Ghi chú |
| --- | --- | --- | --- |
| Orange Pi RV2 (4GB RAM) | 4GB | ✅ **TinyLlama 1.1B**, Phi-2 Q4 | Nhẹ, tốc độ nhanh, đủ cho tác vụ đơn giản |
| Orange Pi RV2 (8GB RAM) | 8GB | ✅ **LLaMA-2 7B Chat Q4\_K\_M**, Mistral Q4\_K\_M | Cần tối ưu zram/swap để không bị thiếu bộ nhớ |

* * *

## 📦 Bước 6: Tải mô hình `.gguf`

### 👉 Dành cho Orange Pi RV2 4GB:

`mkdir -p models/tinyllama-1.1b-chat`

`cd models/tinyllama-1.1b-chat

wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/tinyllama-1.1b-chat-v1.0.Q2_K.gguf

`

### 👉 Dành cho Orange Pi RV2 8GB:

`mkdir -p models/llama-2-7b-chat

cd models/llama-2-7b-chat

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf

`

* * *

## 🧪 Bước 7: Chạy thử mô hình

`./bin/llama-cli -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2_K.gguf -p "What is the capital of France?" -n 64

`

Hoặc với LLaMA 2 7B:

`./bin/llama-cli -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4_K_M.gguf -p "Tell me a joke." -n 64

`

* * *

## 📊 Bước 8: Benchmark hiệu năng

`./bin/llama-bench -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2_K.gguf -t 8 -n 128

`

Hoặc:

`./bin/llama-bench -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4_K_M.gguf -t 4 -n 128

`

> `-t`: số luồng CPU (nên = số lõi thực), `-n`: số lượng token

* * *

## 🧩 Bước 9: Tối ưu bộ nhớ bằng zram hoặc swap (khuyến nghị cho 8GB)

Các mô hình như LLaMA-2 7B yêu cầu nhiều RAM, nên nếu bị lỗi `killed` khi chạy, bạn nên kích hoạt zram hoặc swap để tránh quá tải bộ nhớ.

### ✅ Cài zram (ưu tiên)

`sudo apt install zram-tools

`

Sau đó chỉnh file cấu hình (nếu có):

`sudo nano /etc/default/zramswap

`

Đảm bảo dòng sau có:

`PERCENT=100   # Sử dụng 100% RAM làm zram (tuỳ chỉnh)

`

Khởi động lại dịch vụ:

`sudo systemctl restart zramswap

`

Kiểm tra:

`swapon --show

`

* * *

### ✅ Hoặc tạo swap thủ công

`sudo fallocate -l 4G /swapfile

sudo chmod 600 /swapfile

sudo mkswap /swapfile

sudo swapon /swapfile

`

Thêm vào `/etc/fstab` để tự động bật mỗi lần khởi động:

`echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

`

* * *

## ✅ Kết luận

Với `llama.cpp`, bạn hoàn toàn có thể triển khai AI offline ngay trên thiết bị Orange Pi RV2. Dù là 4GB hay 8GB, chỉ cần chọn mô hình phù hợp và tối ưu bộ nhớ tốt, bạn đã có một hệ thống AI mini cho riêng mình.

[Chia sẻ trên WhatsApp](whatsapp://send?text=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29%20-%20https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fhuong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html&media=https://orangepi.vn/wp-content/uploads/2025/06/Cai-dat-LLAMACPP-tren-Orange-Pi-RV2-1-800x800.webp&description=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29 "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html&title=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29 "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

Bạn cần trợ giúp?

[![Messenger](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/fbmessenger.svg)Messenger](https://m.me/orangepivietnam "Messenger") [![Zalo Official Account](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/zalo.svg)Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [![Telegram](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/telegram.svg)Telegram](https://t.me/maytinhnhung "Telegram") [![Whatsapp](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/whatsapp.svg)Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")

![Orange Pi Việt Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/logo-transparent.png)

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- [Hotline](tel:0923449899 "Hotline")
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)

Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) - Orange Pi Viet Nam

🧠 Giới thiệu về llama.cpp

llama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer), đặc biệt là Orange Pi như Orange Pi RV2 (RISC-V 64-bit)

Điểm mạnh của llama.cpp:

- Hỗ trợ nhiều định dạng mô hình .gguf hiệu quả

- Hỗ trợ OpenBLAS, SIMD, AVX, NEON

- Có thể chạy tốt trên các thiết bị ARM, x86, RISC-V với bộ nhớ giới hạn

- Hữu ích cho các dự án AI edge/offline không cần đám mây.

Các bước cài đặt

🛠 Bước 1: Cài đặt compiler RISC-V

llama.cpp yêu cầu compile C phiên bản 14, nếu bạn cài HDH Ubuntu 24.04 sẵn của hãng, bạn chỉ có bản version 12, do đó phải cài bản 14 cho phù hợp

sudo apt install gcc-14-riscv64-linux-gnu g++-14-riscv64-linux-gnu

sudo apt install libc6-riscv64-cross

📥 Bước 2: Tải mã nguồn llama.cpp

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp

⚙ Bước 3: Cấu hình cmake để compile cho RISC-V

cmake -DCMAKESYSTEMNAME=Linux \

-DCMAKECCOMPILER=/usr/bin/riscv64-linux-gnu-gcc-14 \

-DCMAKECXXCOMPILER=/usr/bin/riscv64-linux-gnu-g++-14 \

.

Nếu gặp lỗi, hãy cấu hình lại GCC mặc định:

sudo update-alternatives --install \

/usr/bin/riscv64-linux-gnu-gcc riscv64-linux-gnu-gcc /usr/bin/riscv64-linux-gnu-gcc-14 100

sudo update-alternatives --install \

/usr/bin/riscv64-linux-gnu-g++ riscv64-linux-gnu-g++ /usr/bin/riscv64-linux-gnu-g++-14 100

sudo update-alternatives --config riscv64-linux-gnu-gcc

🧱 Bước 4: Cài thư viện OpenBLAS và build

sudo apt-get install libopenblas-dev

make LLAMAOPENBLAS=1 # Bật tăng tốc OpenBLAS

🧠 Bước 5: Chọn mô hình phù hợp

| Thiết bị | RAM | Mô hình đề xuất | Ghi chú |
| --- | --- | --- | --- |
| Orange Pi RV2 (4GB RAM) | 4GB | ✅ TinyLlama 1.1B, Phi-2 Q4 | Nhẹ, tốc độ nhanh, đủ cho tác vụ đơn giản |
| Orange Pi RV2 (8GB RAM) | 8GB | ✅ LLaMA-2 7B Chat Q4\K\M, Mistral Q4\K\M | Cần tối ưu zram/swap để không bị thiếu bộ nhớ |

📦 Bước 6: Tải mô hình .gguf

👉 Dành cho Orange Pi RV2 4GB:

mkdir -p models/tinyllama-1.1b-chat

cd models/tinyllama-1.1b-chat

wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/tinyllama-1.1b-chat-v1.0.Q2K.gguf

👉 Dành cho Orange Pi RV2 8GB:

mkdir -p models/llama-2-7b-chat

cd models/llama-2-7b-chat

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4KM.gguf

🧪 Bước 7: Chạy thử mô hình

./bin/llama-cli -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2K.gguf -p "What is the capital of France?" -n 64

Hoặc với LLaMA 2 7B:

./bin/llama-cli -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4KM.gguf -p "Tell me a joke." -n 64

📊 Bước 8: Benchmark hiệu năng

./bin/llama-bench -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2K.gguf -t 8 -n 128

Hoặc:

./bin/llama-bench -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4KM.gguf -t 4 -n 128

> -t: số luồng CPU (nên = số lõi thực), -n: số lượng token

🧩 Bước 9: Tối ưu bộ nhớ bằng zram hoặc swap (khuyến nghị cho 8GB)

Các mô hình như LLaMA-2 7B yêu cầu nhiều RAM, nên nếu bị lỗi killed khi chạy, bạn nên kích hoạt zram hoặc swap để tránh quá tải bộ nhớ.

✅ Cài zram (ưu tiên)

sudo apt install zram-tools

Sau đó chỉnh file cấu hình (nếu có):

sudo nano /etc/default/zramswap

Đảm bảo dòng sau có:

PERCENT=100 # Sử dụng 100% RAM làm zram (tuỳ chỉnh)

Khởi động lại dịch vụ:

sudo systemctl restart zramswap

Kiểm tra:

swapon --show

✅ Hoặc tạo swap thủ công

sudo fallocate -l 4G /swapfile

sudo chmod 600 /swapfile

sudo mkswap /swapfile

sudo swapon /swapfile

Thêm vào /etc/fstab để tự động bật mỗi lần khởi động:

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

✅ Kết luận

Với llama.cpp, bạn hoàn toàn có thể triển khai AI offline ngay trên thiết bị Orange Pi RV2. Dù là 4GB hay 8GB, chỉ cần chọn mô hình phù hợp và tối ưu bộ nhớ tốt, bạn đã có một hệ thống AI mini cho riêng mình.

Chia sẻ trên WhatsAppChia sẻ trên FacebookChia sẻ trên TwitterGửi email cho bạn bèGhim trên PinterestChia sẻ trên LinkedIn

superadmin

Để lại một bình luận Hủy

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \

Bình luận \

Tên \

Email \

Trang web

Δ

- Tìm kiếm:

- Orange Pi Việt Nam
 - Giới thiệu về máy tính nhúng
 - Hướng dẫn đặt hàng
 - Chính sách Bảo hành
 - Thư ủy quyền phân phối tại Việt Nam
 - Chính sách bảo mật
 - Liên hệ
- Shop
 - Bo Mạch Orange Pi
 - Chip H3
 - Chip H6
 - RK3399
 - RK3588, RK3566
 - Chip H616, H618
 - Allwinner A733
 - RAM 1GB
 - RAM 2GB
 - RAM 4GB
 - RAM 6GB
 - RAM 8GB
 - Phụ kiện Orange Pi
 - Màn hình
 - Vỏ Mica lắp ghép
 - Vỏ thép kiêm tản nhiệt
 - Vỏ nhôm nhẹ tản nhiệt tốt
 - Nguồn Orange Pi
 - Thẻ nhớ microSD
 - Compute Module
- Blog
 - Giới thiệu
 - Hướng dẫn
 - Trình diễn
- Đăng nhập
- Hotline: 0923449899

Bạn cần trợ giúp?

Messenger Zalo Official Account Telegram Whatsapp

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- Hotline
- Facebook
- Zalo

Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \Bắt buộc

Mật khẩu \Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

Quên mật khẩu?