74 lines
18 KiB
JSON
74 lines
18 KiB
JSON
{
|
||
"success": true,
|
||
"data": {
|
||
"markdown": "[Bỏ qua nội dung](https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html#main)\n\nĐể chạy các mô hình ngôn ngữ lớn (LLM) trên các bo mạch sử dụng SoC RK3588 như Orange Pi 5, 5B hay 5 Plus, 5 Pro 5 MAX, trước đây chúng ta vẫn dùng các phiên bản như [RKLLAMA dựa trên OLLAMA](https://youtu.be/tUsGf12h0ps) hoặc phiên bản chạy [RKLLM sử dụng Gradio](https://www.facebook.com/orangepivietnam/videos/running-rkllm-gradio-on-orange-pi-5-max/1137460501110419/). Mặc dù rất mong muốn chạy **LLaMA.CPP** trên Orange Pi bằng NPU để tối đa hiệu quả của bo mạch Edge AI này, nhưng vẫn chưa có mã nguồn nào đáp ứng việc này. Gần đây, thật tuyệt vời, có 1 bên đã chia sẻ mã nguồn trên github chạy LLaMA.CPP (invisiofficial/rk-llama.cpp) và thế là tôi đã nghiên cứu fork về để cài đặt và hướng dẫn các bạn cùng cài đặt để trải nghiệm LLM trên mã nguồn hiệu năng tốt nhất hiện nay này.\n\n# 1\\. LLaMA.CPP là gì?\n\n\n\n**LLaMA.CPP** là một thư viện mã nguồn mở giúp chạy các mô hình ngôn ngữ LLaMA và nhiều mô hình tương thích khác trực tiếp trên CPU với hiệu năng cao. Nó được viết bằng C++ với trọng tâm tối ưu hóa cho các thiết bị không có GPU mạnh, như máy tính cá nhân, laptop hoặc SBC (Single Board Computer). LLaMA.CPP sử dụng định dạng mô hình **GGUF**, cho phép nén, lượng tử hóa và tải mô hình nhanh hơn. Nhờ tối ưu hóa sâu, LLaMA.CPP có thể chạy mô hình AI ngay trên thiết bị cục bộ, không cần kết nối internet. Đây là lựa chọn phổ biến cho những ai muốn triển khai AI ngoại tuyến, nhẹ và dễ tích hợp vào ứng dụng.\n\n**RK-LLaMA.CPP** là phiên bản code đã được chỉnh sửa từ mã nguồn **LLaMA.CPP** gốc, nhằm **tích hợp hỗ trợ NPU của Rockchip** (ví dụ Rockchip RK3588) làm backend cho thư viện GGML, để có thể chạy các mô hình LLM trên phần cứng Rockchip với tăng tốc NPU, tận dụng tối đa sức mạnh của các lõi NPU có trên chip Rockchip như RK3588 và RK3576. Sau khi build xong, cũng không cần phải dùng các mô hình model LLM đã convert thành RKLLM để chạy, mà có thể chạy trực tiếp các mô hình định dạng GGUF trên HuggingFace, cực kỳ tiện lợi.\n\n### ✅ Những gì **RK-LLaMA.CPP** làm được\n\n- **RK-LLaMA.CPP** giữ gần như toàn bộ thiết kế gốc của **LLaMA.CPP**, nhưng thêm phần “backend NPU” — dùng NPU trên Rockchip (thường là RKNPU / RKNPU2) để thực hiện tính toán ma trận tuyến tính/linear algebra, thay vì chỉ CPU\n\n- Điều này giúp mô hình ngôn ngữ lớn (LLM) có thể “chạy mượt hơn” và khả thi hơn trên các thiết bị nhúng, thiết bị cận biên (edge devices), hoặc các máy ARM/Rockchip (ví dụ máy tính đơn bo mạch — SBC) mà không cần GPU rời.\n\n- Trong tương lai, việc tích hợp NPU vào **LLaMA.CPP** có thể “mở ra” khả năng deploy LLM trên các thiết bị cầm tay, thiết bị edge, nơi tiêu thụ điện năng thấp — điều mà dùng CPU đơn thuần rất khó đạt được.\n\n\n# 2\\. Chuẩn bị cài đặt\n\nNếu các bạn theo dõi website [Orange Pi Việt Nam](https://orangepi.vn/), trước đây tôi cũng đã từng hướng dẫn các bạn cài đặt **LLaMA.CPP** trên Orange Pi RV2, một thiết bị sử dụng chip SoC RISC-V mạnh, tuy nhiên mặc dù RISC-V có khả năng tính toán cao hơn ARM nhiều, nhưng hiệu năng chạy **LLaMA.CPP** cũng không thể bằng có NPU trên các chip Rockchip hỗ trợ\n\n> [Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit)](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html)\n\nHướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) - Orange Pi Viet Nam\n\n[Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit)](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html)\n\n[](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html)\n\nllama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer).\n\n[Orange Pi Viet Nam](https://orangepi.vn/)\n\n[0 Bình luận](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html#respond)\n\n- Nhúng WordPress\n- Nhúng HTML\n\nCopy và dán URL này vào trang WordPress của bạn để được nhúng vào.\n\nSao chép đoạn mã này vào trang web của bạn để nhúng\n\nĐể có thể trải nghiệm **LLaMA.CPP** các bạn cần có bo mạch sử dụng các chip RK3588 hoặc RK3576, tôi khuyến nghị dùng [Orange Pi 5 phiên bản 8GB](https://orangepi.vn/shop/orange-pi-5-chip-rk3588s-ram-8gb) để có thể load mô hình LLM tối thiểu 3B, nhưng nếu các bạn chỉ cần mô hình dạng 1B để trải nghiệm, các bạn có thể thử dùng [Orange Pi 5 Plus 4GB RAM](https://orangepi.vn/shop/orange-pi-5-plus-4gb-ram) với chi phí ít hơn. Tất nhiên, tất cả các phiên bản trong [Orange Pi 5 series](https://orangepi.vn/tu-khoa-san-pham/opi5series) đều có thể dùng được, thậm chí các mạch Compute Module như [Orange Pi CM5](https://orangepi.vn/tu-khoa-san-pham/compute-module) cũng chạy tốt. Nếu muốn dùng RK3576, các bạn có thể thử Firefly AI BOX mới được phân phối bởi chúng tôi tại đây.\n\nNgoài ra, bo mạch cần trang bị thêm tản nhiệt quạt để đề phòng việc chạy mô hình AI trở nên quá nóng, nguồn điện từ 4A trở lên như [Nguồn USB type C 5v 4A chính hãng](https://orangepi.vn/shop/nguon-usb-type-c-5v-4a-chinh-hang)\n\nHãy sử dụng thẻ nhớ 64GB để có thể vừa cài được HDH, vừa tải được mã nguồn và lưu mô hình. Nếu muốn lưu nhiều mô hình hơn, hãy cân nhắc việc sử dụng các ổ cứng M2 SSD.\n\nGiờ chúng ta bắt đầu.\n\n# 3\\. Hướng dẫn cài đặt\n\nMã nguồn này được tôi chia sẻ công khai ở Github: [https://github.com/thanhtantran/rk-llama.cpp](https://github.com/thanhtantran/rk-llama.cpp)\n\nCác bạn có thể làm theo hướng dẫn trên đó hoặc theo video này.\n\nVideo hướng dẫn:\n\nHướng dẫn chạy RK-LLAMA.CPP trên Orange Pi 5 - YouTube\n\nTap to unmute\n\n[Hướng dẫn chạy RK-LLAMA.CPP trên Orange Pi 5](https://www.youtube.com/watch?v=0W4Klgh_lWI) [Orange Pi Vietnam](https://www.youtube.com/channel/UCl0lVmXFHAhZybuOIzu2CaA)\n\n\n\nOrange Pi Vietnam1.83K subscribers\n\n[Watch on](https://www.youtube.com/watch?v=0W4Klgh_lWI)\n\n# 4\\. Kết luận\n\n**RK-LLaMA.CPP** là một fork thực sự đáng chú ý nếu bạn muốn **chạy LLM (theo định dạng GGML / GGUF) trên thiết bị dùng chip Rockchip với NPU**, thay vì chỉ CPU. Nó mở ra khả năng dùng LLM trên các thiết bị nhúng, edge, hoặc board nhỏ — phù hợp cho chạy AI “gần sát phần cứng” mà không cần máy mạnh hoặc GPU, không cần kết nối Internet mà “tự thân vận động” với mô hình đã được đào tạo.\n\nChúc các bạn thành công!\n\n[Chia sẻ trên WhatsApp](whatsapp://send?text=%C4%90%C3%A3%20c%C3%B3%20b%E1%BA%A3n%20fork%20LLaMA.CPP%20ch%E1%BA%A1y%20b%E1%BA%B1ng%20NPU%20tr%C3%AAn%20RK3588%20-%20https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html \"Chia sẻ trên WhatsApp\")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html \"Chia sẻ trên Facebook\")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html \"Chia sẻ trên Twitter\")[Gửi email cho bạn bè](mailto:?subject=%C4%90%C3%A3%20c%C3%B3%20b%E1%BA%A3n%20fork%20LLaMA.CPP%20ch%E1%BA%A1y%20b%E1%BA%B1ng%20NPU%20tr%C3%AAn%20RK3588&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fda-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html \"Gửi email cho bạn bè\")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html&media=https://orangepi.vn/wp-content/uploads/2025/12/ChatGPT-Image-Dec-9-2025-08_56_28-PM-1200x800.webp&description=%C4%90%C3%A3%20c%C3%B3%20b%E1%BA%A3n%20fork%20LLaMA.CPP%20ch%E1%BA%A1y%20b%E1%BA%B1ng%20NPU%20tr%C3%AAn%20RK3588 \"Ghim trên Pinterest\")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html&title=%C4%90%C3%A3%20c%C3%B3%20b%E1%BA%A3n%20fork%20LLaMA.CPP%20ch%E1%BA%A1y%20b%E1%BA%B1ng%20NPU%20tr%C3%AAn%20RK3588 \"Chia sẻ trên LinkedIn\")\n\n\n\n##### superadmin\n\n### Để lại một bình luận [Hủy](https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html\\#respond)\n\nEmail của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \\*\n\nBình luận \\*\n\nTên \\*\n\nEmail \\*\n\nTrang web\n\nΔ\n\n- Tìm kiếm:\n\n- [Orange Pi Việt Nam](https://orangepi.vn/)\n - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)\n - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)\n - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)\n - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)\n - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)\n - [Liên hệ](https://orangepi.vn/lien-he)\n- [Shop](https://orangepi.vn/shop)\n - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)\n - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)\n - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)\n - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)\n - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)\n - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)\n - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)\n - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)\n - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)\n - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)\n - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)\n - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)\n - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)\n - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)\n - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)\n - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)\n - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)\n - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)\n - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)\n - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)\n- [Blog](https://orangepi.vn/blog)\n - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)\n - [Hướng dẫn](https://orangepi.vn/category/huong-dan)\n - [Trình diễn](https://orangepi.vn/category/trinh-dien)\n- [Đăng nhập](https://orangepi.vn/my-account \"Đăng nhập\")\n- [**Hotline: 0923449899**](tel:0923449899)\n\nBạn cần trợ giúp?\n\n[Messenger](https://m.me/orangepivietnam \"Messenger\") [Zalo Official Account](https://oa.zalo.me/1687181280533723118 \"Zalo Official Account\") [Telegram](https://t.me/maytinhnhung \"Telegram\") [Whatsapp](https://api.whatsapp.com/send?phone=84923449899 \"Whatsapp\")\n\n\n\nOrange Pi Việt NamNhà phân phối chính thức\n\nXin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?\n\n- [Hotline](tel:0923449899 \"Hotline\")\n- [Facebook](https://www.facebook.com/orangepivietnam \"Facebook\")\n- [Zalo](https://oa.zalo.me/1687181280533723118 \"Zalo\")\n\n## Đăng nhập\n\nSign In - Google Accounts\n\nContinue with GoogleContinue with Google. Opens in new tab\n\nTên tài khoản hoặc địa chỉ email \\*Bắt buộc\n\nMật khẩu \\*Bắt buộc\n\nGhi nhớ mật khẩuĐăng nhập\n\n[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)",
|
||
"metadata": {
|
||
"robots": [
|
||
"index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1",
|
||
"noindex, follow"
|
||
],
|
||
"ogUrl": "https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html",
|
||
"og:url": "https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html",
|
||
"og:title": "Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 - Orange Pi Viet Nam",
|
||
"twitter:data1": "superadmin",
|
||
"og:site_name": "Orange Pi Viet Nam",
|
||
"twitter:label2": "Ước tính thời gian đọc",
|
||
"ogSiteName": "Orange Pi Viet Nam",
|
||
"publishedTime": "2025-12-12T16:38:21+00:00",
|
||
"ogLocale": "vi_VN",
|
||
"msapplication-TileImage": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-270x270.webp",
|
||
"generator": [
|
||
"dominant-color-images 1.2.1",
|
||
"Site Kit by Google 1.180.0",
|
||
"webp-uploads 2.6.1"
|
||
],
|
||
"twitter:site": "@orangepi_me",
|
||
"title": "Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 - Orange Pi Viet Nam",
|
||
"language": "vi",
|
||
"og:description": "Đây là trang Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"og:locale": "vi_VN",
|
||
"referrer": [
|
||
"no-referrer",
|
||
"origin"
|
||
],
|
||
"og:image": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/12/ChatGPT-Image-Dec-9-2025-08_56_28-PM.webp",
|
||
"twitter:card": "summary_large_image",
|
||
"article:publisher": "https://www.facebook.com/orangepivietnam/",
|
||
"ogImage": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/12/ChatGPT-Image-Dec-9-2025-08_56_28-PM.webp",
|
||
"og:type": "article",
|
||
"twitter:data2": "6 phút",
|
||
"description": "Đây là trang Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"author": "superadmin",
|
||
"og:image:type": "image/png",
|
||
"og:image:width": "1536",
|
||
"og:image:height": "1024",
|
||
"ogTitle": "Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 - Orange Pi Viet Nam",
|
||
"google-site-verification": "aChCo9My21XgiT2Vte3H89FgebzV7TIv4Ol3OkXaIFU",
|
||
"twitter:creator": "@orangepi_me",
|
||
"article:published_time": "2025-12-12T16:38:21+00:00",
|
||
"twitter:label1": "Được viết bởi",
|
||
"ogDescription": "Đây là trang Đã có bản fork LLaMA.CPP chạy bằng NPU trên RK3588 của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"viewport": [
|
||
"width=device-width, initial-scale=1",
|
||
"width=device-width, initial-scale=1",
|
||
"width=device-width, initial-scale=1.0",
|
||
"initial-scale=1,minimum-scale=1,maximum-scale=1,user-scalable=no"
|
||
],
|
||
"favicon": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-32x32.webp",
|
||
"scrapeId": "019eb412-15fc-7659-a124-cb9b5c410c17",
|
||
"sourceURL": "https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html",
|
||
"url": "https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html",
|
||
"statusCode": 200,
|
||
"contentType": "text/html; charset=UTF-8",
|
||
"timezone": "America/New_York",
|
||
"proxyUsed": "basic",
|
||
"cacheState": "miss",
|
||
"indexId": "6e04c6e6-9adc-4c9e-805e-8b1aa13233c3",
|
||
"creditsUsed": 1,
|
||
"concurrencyLimited": false
|
||
}
|
||
},
|
||
"_http_status": 200,
|
||
"_source_url": "https://orangepi.vn/da-co-ban-fork-llama-cpp-chay-bang-npu-tren-rk3588.html",
|
||
"_scraped_at": "2026-06-11T00:25:49.791621+00:00"
|
||
} |