Orange Pi RV2 là một sản phẩm thuần RISC-V được ra mắt hồi đầu năm 2025 của hãng Orange Pi. Mặc dù mang tên là Orange Pi RV2 nhưng nó lại không có liên quan gì hết với sản phẩm Orange Pi RV đầu tiên của hãng, với việc sử dụng cấu trúc bo mạch khác nhau và con chip SoC cũng khác nhau.

Nếu như trước đây, sản phẩm [**Orange Pi RV1**](https://orangepi.vn/orange-pi-gia-nhap-vao-cuoc-chay-dua-risc-v.html) được ra mắt như cú “chào sân” vào cuộc chạy đua RISC-V của hãng với chip thuần RISC-V **StarFive JH7110**, thì lần này [**Orange Pi RV2**](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) được trang bị một chip SoC 100% RISC-V cực mạnh đến từ T-Head, một bộ phận của Tập đoàn Alibaba, đó chính là **Ky X1.**

> [Orange Pi RV2 – máy tính đơn bo mạch chuyên hiệu năng cho Trí tuệ nhân tạo (AI)](https://orangepi.vn/orange-pi-rv2-may-tinh-don-bo-mach-chuyen-hieu-nang-cho-tri-tue-nhan-tao-ai.html)

**Ky X1** là một bộ xử lý 8 lõi RISC-V AI CPU, có sức mạnh NPU là 2 TOPS (2 triệu tỉ phép tính mỗi giây). Bộ xử lý này được tích hợp trên máy tính bo mạch đơn (SBC) như [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-4a-phien-ban-4gb-ram), đánh dấu một bước tiến quan trọng trong lĩnh vực xử lý RISC-V và AI. Nhưng cũng giống như các sản phẩm khác, sau khi ra mắt, Hãng bắt đầu mới cập nhật User Manual và các phần mềm liên quan đế mở rộng khả năng sử dụng của bo mạch.

Với việc có 2 cổng LAN Gigabit, trước đây tôi dã nghĩ đến việc biến Orange Pi RV2 thành router chạy trên hệ đièu hành Ubuntu 24.04 (Noble Numbat) được built của hãng. Tuy nhiên sau đó, với việc ra đời phiên bản OpenWRT dành riêng cho Orange Pi RV2 thì việc chạy routing mạng trên Ubuntu có vẻ hơi thừa, vì OpenWRT là HDH mã nguồn mở quá chuyên dụng và quá nổi tiếng cho routing mạng rồi.

> [Các phiên bản hệ điều hành cho Orange Pi RV2](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

Các phiên bản hệ điều hành cho Orange Pi RV2 - Orange Pi Viet Nam

[Các phiên bản hệ điều hành cho Orange Pi RV2](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/04/orangepirv2-big.webp)](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html)

Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho OrangePi RV2 – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất.

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-32x32.webp)Orange Pi Viet Nam](https://orangepi.vn/)

[0 Bình luận](https://orangepi.vn/cac-phien-ban-he-dieu-hanh-cho-orangepi-rv2.html#respond)

- Nhúng WordPress
- Nhúng HTML

Copy và dán URL này vào trang WordPress của bạn để được nhúng vào.

Sao chép đoạn mã này vào trang web của bạn để nhúng

Ngoài ra, Canonical, nhà phát hành Ubuntu, mới đây vừa công bố phát hành các bản Ubuntu developer images dành cho [Orange Pi RV2](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-8gb-ram) – một máy tính đơn bảng (SBC) giá rẻ sử dụng kiến trúc RISC-V. Đây là bước tiến nhằm mở rộng hệ sinh thái phần cứng được chứng nhận của Ubuntu, giúp các nhà phát triển dễ dàng tiếp cận công nghệ phần cứng và phần mềm mã nguồn mở mới nhất. Link gốc: [https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc](https://canonical.com/blog/ubuntu-developer-images-now-available-for-orangepi-rv2-a-low-cost-risc-v-sbc)

Do vậy, việc sử dụng Ubuntu trên **Orange Pi RV2** sau này sẽ thuận tiện hơn rất nhiều. Và gần đây, hãng đã đăng lên các phần mềm và model dể triển khai LLM trên **OrangePi RV2,** vì thế tôi đã tải về và nghiên cứu thử triển khai luôn cho nóng.

## Chạy mô hình LLM trên Orange Pi RV2

🛠️ **Các bước thực hiện**:

1. **Tải mã nguồn:**


```
https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python
```

2. **Cài đặt thư viện:**


```
pip3 install ./onnxruntime_genai-0.4.0.dev1-cp312-cp312-linux_riscv64.whl ./ky_ort-1.2.2-cp312-cp312-linux_riscv64.whl --break-system-packages
export PATH="$PATH:/home/orangepi/.local/bin"
```

3. **Tải mô hình đã chuyển đổi:**


Tại thư mục gốc, tôi có viết 1 script bash để chạy tải về mô hình đã chuyển đổi được tôi lưu trên GG Drive, các bạn chỉ cần chạy lệnh sau và điền ID vào, file bash sẽ tự tải và giải nén.

```
pip install gdown --break-system-packages
sudo chmod +x download_models.sh
bash download_models.sh
```

Bảng mô hình có sẵn và ID GGDrive

| GDrive ID | File name | Model name |
| --- | --- | --- |
| 1XVLXUlrJZyOwDlrqOwyH4kxhAd9d5QWz | minicpm-1b-int4-blk64-fusion.tar.gz | minipcm |
| 1N9sHii6Cl5UyKS59l8DD3s2W23fF9t6k | phi-3-mini-int4-3.8b.tar.gz | phi3 |
| 1Q7qyorYStCm3gv2jQUNODBO6m63223mQ | llama3-int4-8b-blk64-fusion.tar.gz | llama3 |
| 1g3\_Ni7sZg-\_JR8u9Kx8hxHzPx9bE-Z-k | qwen2-int4-1.5b.tar.gz | qwen2 |

Trường hợp các bạn muốn tự mình tải về để nghiên cứu, đây là link GGDrive cho các bạn xem: [https://drive.google.com/drive/folders/1\_S2slyQPmSETDCaMOQqrd1hCZF3wqRPV](https://drive.google.com/drive/folders/1_S2slyQPmSETDCaMOQqrd1hCZF3wqRPV)

4. **Chạy thử mô hình:**


Để xem đầy đủ các tham số của câu lệnh, các bạn dùng

```
python3 llm_qa.py --help
usage: llm_qa.py [-h] -m MODEL -e {qwen2,minicpm,tinyllama,phi2,gemma,phi3,llama3} [-i MIN_LENGTH] [-l MAX_LENGTH] [-ds] [-p TOP_P] [-k TOP_K] [-t TEMPERATURE]
                 [-r REPETITION_PENALTY] [-v] [-g]
```

ví dụ để chạy qwen2-1.5B, bạn dùng

```
python3 llm_qa.py -m ./models/qwen2-int4-1.5b -l 128 -e qwen2 -v -g
```

[![](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/opiv2-llm-genai-800x340.webp)](https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/opiv2-llm-genai.webp)

📌 **Lưu ý**:

[Orange Pi RV2 RAM 4GB](https://orangepi.vn/shop/orange-pi-rv2-phien-ban-4gb-ram) chạy tốt các mô hình nhỏ (1B–1.5B)

[Orange Pi RV2 RAM 8GB](https://orangepi.vn/shop/orange-pi-5-ultra-8gb-ram) mới đủ cho mô hình lớn hơn (3.8B–8B)

Khi bạn mua bo mạch nên chú ý mua đủ nguồn, tản nhiệt, và bộ nhớ. Các bạn có thể dùng 1 trong 3 loại bộ nhớ sau: SDCard, eMMC Module hoăc ổ cứng SSD M2. Đối với việc chạy LLM, các models thường có kích thước lớn nên tốt nhất bạn dùng ổ cứng SSD M2 vừa đảm bảo được đủ dung lượng, vừa có tốc độ tốt nhất trong các loại bộ nhớ trên. Các ổ cứng M2 NVME chuẩn 2280 cho Orange Pi RV2 giờ cũng rất rẻ, bạn chỉ cần ổ cứng 256GB là đủ cả HDH lẫn các mô hình thoải mái nghiên cứu.

> [Ổ cứng M2 SSD KINGMAX Zeus PQ3480 256GB NVMe M.2 2280 PCIe Gen 3.0](https://orangepi.vn/shop/o-cung-m2-ssd-kingmax-zeus-pq3480-256gb-nvme-m-2-2280-pcie-gen-3-0)

## Convert các mô hình LLM khác sang định dạng chạy trên Orange Pi RV2

Lưu ý là Orange Pi RV2 có NPU chỉ thích hợp với việc chạy và triển khai mô hình, việc đào tạo (training) hay chuyển đổi (convert) mô hình từ định dạng khác sang định dạng chạy được trên Orange Pi RV2 cần phải được triển khai trên các máy tính có cấu hình mạnh, có GPU để làm.

Bạn cũng cần clone github này về: [https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo](https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo)

1. **Chuẩn bị môi trường chuyển đổi**

Sao chép mã nguồn

```
https://github.com/thanhtantran/RiscV-KyX1-LLM-Demo
cd RiscV-KyX1-LLM-Demo/python
```

cài phụ thuộc

```
cd python/genai-builder
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
```

2. **Chuyển đổi mô hình**

```
python builder.py \
    -m Qwen/Qwen2-1.5B \
    -o qwen2-1.5b-int4-blk64 \
    -p int4 \
    -e cpu \
    -c model_cache \
    --extra_options int4_accuracy_level=4 int4_block_size=64
# Recommended parameter accuracy_level=4 (W4A8 GroupWise quantization, block_size=64)
```

Hiện tại chỉ có các mô hình thuộc nhóm mô hình Qwen, Phi, LLAMA, Gemma, … là đang có thể chuyển đổi được.

Video hướng dẫn chi tiết:

\[Youtube\]

Chúc các bạn thành công!

[Chia sẻ trên WhatsApp](whatsapp://send?text=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1%20-%20https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên WhatsApp")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên Facebook")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Chia sẻ trên Twitter")[Gửi email cho bạn bè](mailto:?subject=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fhuong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html "Gửi email cho bạn bè")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html&media=https://orangepi.vn/wp-content/uploads/2025/06/RiscV-KyX1-LLM-Web-1200x800.webp&description=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1 "Ghim trên Pinterest")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html&title=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLM%20AI%20tr%C3%AAn%20Orange%20Pi%20RV2%20v%E1%BB%9Bi%20RISC-V%20KyX1 "Chia sẻ trên LinkedIn")

![](https://secure.gravatar.com/avatar/fedf9d992f1e8a3e3109ac596191d91386f32fb01a7f6a91e35636c5eefb761e?s=90&d=mm&r=g)

##### superadmin

### Để lại một bình luận [Hủy](https://orangepi.vn/huong-dan-cai-dat-va-chay-llm-ai-tren-orange-pi-rv2-voi-risc-v-kyx1.html\#respond)

Email của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \*

Bình luận \*

Tên \*

Email \*

Trang web

Δ

- Tìm kiếm:

- [![](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/cropped-logo-transparent-280x280.png)Orange Pi Việt Nam](https://orangepi.vn/)
  - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)
  - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)
  - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)
  - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)
  - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)
  - [Liên hệ](https://orangepi.vn/lien-he)
- [Shop](https://orangepi.vn/shop)
  - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)
    - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)
    - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)
    - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)
    - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)
    - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)
    - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)
    - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)
    - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)
    - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)
    - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)
    - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)
  - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)
    - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)
    - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)
    - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)
    - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)
    - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)
    - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)
  - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)
- [Blog](https://orangepi.vn/blog)
  - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)
  - [Hướng dẫn](https://orangepi.vn/category/huong-dan)
  - [Trình diễn](https://orangepi.vn/category/trinh-dien)
- [Đăng nhập](https://orangepi.vn/my-account "Đăng nhập")
- [**Hotline: 0923449899**](tel:0923449899)

Bạn cần trợ giúp?

[![Messenger](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/fbmessenger.svg)Messenger](https://m.me/orangepivietnam "Messenger") [![Zalo Official Account](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/zalo.svg)Zalo Official Account](https://oa.zalo.me/1687181280533723118 "Zalo Official Account") [![Telegram](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/telegram.svg)Telegram](https://t.me/maytinhnhung "Telegram") [![Whatsapp](https://orangepi.vn/wp-content/plugins/chat-bubble/assets/images/whatsapp.svg)Whatsapp](https://api.whatsapp.com/send?phone=84923449899 "Whatsapp")

![Orange Pi Việt Nam](https://orangepivn.b-cdn.net/wp-content/uploads/2017/02/logo-transparent.png)

Orange Pi Việt NamNhà phân phối chính thức

Xin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?

- [Hotline](tel:0923449899 "Hotline")
- [Facebook](https://www.facebook.com/orangepivietnam "Facebook")
- [Zalo](https://oa.zalo.me/1687181280533723118 "Zalo")

## Đăng nhập

Sign In - Google Accounts

Continue with GoogleContinue with Google. Opens in new tab

Tên tài khoản hoặc địa chỉ email \*Bắt buộc

Mật khẩu \*Bắt buộc

Ghi nhớ mật khẩuĐăng nhập

[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)