72 lines
16 KiB
JSON
72 lines
16 KiB
JSON
{
|
||
"success": true,
|
||
"data": {
|
||
"markdown": "[Bỏ qua nội dung](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html#main)\n\n## 🧠 Giới thiệu về `llama.cpp`\n\n[`llama.cpp`](https://github.com/ggerganov/llama.cpp) là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn **offline**, **không cần GPU**, và **tối ưu để chạy trên CPU** – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer), đặc biệt là Orange Pi như Orange Pi RV2 (RISC-V 64-bit)\n\nĐiểm mạnh của `llama.cpp`:\n\n- Hỗ trợ nhiều định dạng mô hình `.gguf` hiệu quả\n\n- Hỗ trợ OpenBLAS, SIMD, AVX, NEON\n\n- Có thể chạy tốt trên các thiết bị ARM, x86, RISC-V với bộ nhớ giới hạn\n\n- Hữu ích cho các dự án AI edge/offline không cần đám mây.\n\n\n\n\n# Các bước cài đặt\n\n## 🛠️ Bước 1: Cài đặt compiler RISC-V\n\n**llama.cpp** yêu cầu compile C phiên bản 14, nếu bạn cài HDH Ubuntu 24.04 sẵn của hãng, bạn chỉ có bản version 12, do đó phải cài bản 14 cho phù hợp\n\n`sudo apt install gcc-14-riscv64-linux-gnu g++-14-riscv64-linux-gnu\n\nsudo apt install libc6-riscv64-cross`\n\n* * *\n\n## 📥 Bước 2: Tải mã nguồn llama.cpp\n\n`git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp\n\n`\n\n* * *\n\n## ⚙️ Bước 3: Cấu hình `cmake` để compile cho RISC-V\n\n`cmake -DCMAKE_SYSTEM_NAME=Linux \\\n\n-DCMAKE_C_COMPILER=/usr/bin/riscv64-linux-gnu-gcc-14 \\\n\n-DCMAKE_CXX_COMPILER=/usr/bin/riscv64-linux-gnu-g++-14 \\\n\n.\n\n`\n\nNếu gặp lỗi, hãy cấu hình lại GCC mặc định:\n\n`sudo update-alternatives --install \\\n\n/usr/bin/riscv64-linux-gnu-gcc riscv64-linux-gnu-gcc /usr/bin/riscv64-linux-gnu-gcc-14 100`\n\n`sudo update-alternatives --install \\\n\n/usr/bin/riscv64-linux-gnu-g++ riscv64-linux-gnu-g++ /usr/bin/riscv64-linux-gnu-g++-14 100`\n\n`sudo update-alternatives --config riscv64-linux-gnu-gcc`\n\n* * *\n\n## 🧱 Bước 4: Cài thư viện OpenBLAS và build\n\n`sudo apt-get install libopenblas-dev\n\nmake LLAMA_OPENBLAS=1 # Bật tăng tốc OpenBLAS\n\n`\n\n* * *\n\n## 🧠 Bước 5: Chọn mô hình phù hợp\n\n| Thiết bị | RAM | Mô hình đề xuất | Ghi chú |\n| --- | --- | --- | --- |\n| Orange Pi RV2 (4GB RAM) | 4GB | ✅ **TinyLlama 1.1B**, Phi-2 Q4 | Nhẹ, tốc độ nhanh, đủ cho tác vụ đơn giản |\n| Orange Pi RV2 (8GB RAM) | 8GB | ✅ **LLaMA-2 7B Chat Q4\\_K\\_M**, Mistral Q4\\_K\\_M | Cần tối ưu zram/swap để không bị thiếu bộ nhớ |\n\n* * *\n\n## 📦 Bước 6: Tải mô hình `.gguf`\n\n### 👉 Dành cho Orange Pi RV2 4GB:\n\n`mkdir -p models/tinyllama-1.1b-chat`\n\n`cd models/tinyllama-1.1b-chat\n\nwget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/tinyllama-1.1b-chat-v1.0.Q2_K.gguf\n\n`\n\n### 👉 Dành cho Orange Pi RV2 8GB:\n\n`mkdir -p models/llama-2-7b-chat\n\ncd models/llama-2-7b-chat\n\nwget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf\n\n`\n\n* * *\n\n## 🧪 Bước 7: Chạy thử mô hình\n\n`./bin/llama-cli -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2_K.gguf -p \"What is the capital of France?\" -n 64\n\n`\n\nHoặc với LLaMA 2 7B:\n\n`./bin/llama-cli -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4_K_M.gguf -p \"Tell me a joke.\" -n 64\n\n`\n\n* * *\n\n## 📊 Bước 8: Benchmark hiệu năng\n\n`./bin/llama-bench -m ./models/tinyllama-1.1b-chat/tinyllama-1.1b-chat-v1.0.Q2_K.gguf -t 8 -n 128\n\n`\n\nHoặc:\n\n`./bin/llama-bench -m ./models/llama-2-7b-chat/llama-2-7b-chat.Q4_K_M.gguf -t 4 -n 128\n\n`\n\n> `-t`: số luồng CPU (nên = số lõi thực), `-n`: số lượng token\n\n* * *\n\n## 🧩 Bước 9: Tối ưu bộ nhớ bằng zram hoặc swap (khuyến nghị cho 8GB)\n\nCác mô hình như LLaMA-2 7B yêu cầu nhiều RAM, nên nếu bị lỗi `killed` khi chạy, bạn nên kích hoạt zram hoặc swap để tránh quá tải bộ nhớ.\n\n### ✅ Cài zram (ưu tiên)\n\n`sudo apt install zram-tools\n\n`\n\nSau đó chỉnh file cấu hình (nếu có):\n\n`sudo nano /etc/default/zramswap\n\n`\n\nĐảm bảo dòng sau có:\n\n`PERCENT=100 # Sử dụng 100% RAM làm zram (tuỳ chỉnh)\n\n`\n\nKhởi động lại dịch vụ:\n\n`sudo systemctl restart zramswap\n\n`\n\nKiểm tra:\n\n`swapon --show\n\n`\n\n* * *\n\n### ✅ Hoặc tạo swap thủ công\n\n`sudo fallocate -l 4G /swapfile\n\nsudo chmod 600 /swapfile\n\nsudo mkswap /swapfile\n\nsudo swapon /swapfile\n\n`\n\nThêm vào `/etc/fstab` để tự động bật mỗi lần khởi động:\n\n`echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab\n\n`\n\n* * *\n\n## ✅ Kết luận\n\nVới `llama.cpp`, bạn hoàn toàn có thể triển khai AI offline ngay trên thiết bị Orange Pi RV2. Dù là 4GB hay 8GB, chỉ cần chọn mô hình phù hợp và tối ưu bộ nhớ tốt, bạn đã có một hệ thống AI mini cho riêng mình.\n\n[Chia sẻ trên WhatsApp](whatsapp://send?text=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29%20-%20https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html \"Chia sẻ trên WhatsApp\")[Chia sẻ trên Facebook](https://www.facebook.com/sharer.php?u=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html \"Chia sẻ trên Facebook\")[Chia sẻ trên Twitter](https://twitter.com/share?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html \"Chia sẻ trên Twitter\")[Gửi email cho bạn bè](mailto:?subject=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29&body=Xem%20n%C3%A0y%3A%20https%3A%2F%2Forangepi.vn%2Fhuong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html \"Gửi email cho bạn bè\")[Ghim trên Pinterest](https://pinterest.com/pin/create/button?url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html&media=https://orangepi.vn/wp-content/uploads/2025/06/Cai-dat-LLAMACPP-tren-Orange-Pi-RV2-1-800x800.webp&description=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29 \"Ghim trên Pinterest\")[Chia sẻ trên LinkedIn](https://www.linkedin.com/shareArticle?mini=true&url=https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html&title=H%C6%B0%E1%BB%9Bng%20d%E1%BA%ABn%20c%C3%A0i%20%C4%91%E1%BA%B7t%20v%C3%A0%20ch%E1%BA%A1y%20LLaMA.CPP%20tr%C3%AAn%20Orange%20Pi%20RV2%20%28RISC-V%2064-bit%29 \"Chia sẻ trên LinkedIn\")\n\n\n\n##### superadmin\n\n### Để lại một bình luận [Hủy](https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html\\#respond)\n\nEmail của bạn sẽ không được hiển thị công khai.Các trường bắt buộc được đánh dấu \\*\n\nBình luận \\*\n\nTên \\*\n\nEmail \\*\n\nTrang web\n\nΔ\n\n- Tìm kiếm:\n\n- [Orange Pi Việt Nam](https://orangepi.vn/)\n - [Giới thiệu về máy tính nhúng](https://orangepi.vn/gioi-thieu-ve-may-tinh-nhung)\n - [Hướng dẫn đặt hàng](https://orangepi.vn/dat-hang-tai-orange-pi-viet-nam)\n - [Chính sách Bảo hành](https://orangepi.vn/chinh-sach-ban-hang-va-bao-hanh)\n - [Thư ủy quyền phân phối tại Việt Nam](https://orangepi.vn/thu-uy-quyen-phan-phoi-tai-viet-nam)\n - [Chính sách bảo mật](https://orangepi.vn/chinh-sach-bao-mat)\n - [Liên hệ](https://orangepi.vn/lien-he)\n- [Shop](https://orangepi.vn/shop)\n - [Bo Mạch Orange Pi](https://orangepi.vn/danh-muc-san-pham/bo-mach-orange-pi)\n - [Chip H3](https://orangepi.vn/tu-khoa-san-pham/chip-h3)\n - [Chip H6](https://orangepi.vn/tu-khoa-san-pham/chip-h6)\n - [RK3399](https://orangepi.vn/tu-khoa-san-pham/chip-rk3399)\n - [RK3588, RK3566](https://orangepi.vn/tu-khoa-san-pham/rk3588)\n - [Chip H616, H618](https://orangepi.vn/tu-khoa-san-pham/chip-h616)\n - [Allwinner A733](https://orangepi.vn/tu-khoa-san-pham/allwinner-a733)\n - [RAM 1GB](https://orangepi.vn/tu-khoa-san-pham/ram-1gb)\n - [RAM 2GB](https://orangepi.vn/tu-khoa-san-pham/ram-2gb)\n - [RAM 4GB](https://orangepi.vn/tu-khoa-san-pham/ram-4gb)\n - [RAM 6GB](https://orangepi.vn/tu-khoa-san-pham/ram-6gb)\n - [RAM 8GB](https://orangepi.vn/tu-khoa-san-pham/ram8gb)\n - [Phụ kiện Orange Pi](https://orangepi.vn/danh-muc-san-pham/phu-kien-orange-pi)\n - [Màn hình](https://orangepi.vn/tu-khoa-san-pham/man-hinh)\n - [Vỏ Mica lắp ghép](https://orangepi.vn/tu-khoa-san-pham/vo-mica)\n - [Vỏ thép kiêm tản nhiệt](https://orangepi.vn/tu-khoa-san-pham/vo-thep)\n - [Vỏ nhôm nhẹ tản nhiệt tốt](https://orangepi.vn/tu-khoa-san-pham/vo-nhom)\n - [Nguồn Orange Pi](https://orangepi.vn/tu-khoa-san-pham/nguon-orange-pi)\n - [Thẻ nhớ microSD](https://orangepi.vn/tu-khoa-san-pham/the-nho-microsd)\n - [Compute Module](https://orangepi.vn/tu-khoa-san-pham/compute-module)\n- [Blog](https://orangepi.vn/blog)\n - [Giới thiệu](https://orangepi.vn/category/gioi-thieu)\n - [Hướng dẫn](https://orangepi.vn/category/huong-dan)\n - [Trình diễn](https://orangepi.vn/category/trinh-dien)\n- [Đăng nhập](https://orangepi.vn/my-account \"Đăng nhập\")\n- [**Hotline: 0923449899**](tel:0923449899)\n\nBạn cần trợ giúp?\n\n[Messenger](https://m.me/orangepivietnam \"Messenger\") [Zalo Official Account](https://oa.zalo.me/1687181280533723118 \"Zalo Official Account\") [Telegram](https://t.me/maytinhnhung \"Telegram\") [Whatsapp](https://api.whatsapp.com/send?phone=84923449899 \"Whatsapp\")\n\n\n\nOrange Pi Việt NamNhà phân phối chính thức\n\nXin chào! 👋🏼👋🏼👋🏼 Tôi có thể giúp gì được bạn?\n\n- [Hotline](tel:0923449899 \"Hotline\")\n- [Facebook](https://www.facebook.com/orangepivietnam \"Facebook\")\n- [Zalo](https://oa.zalo.me/1687181280533723118 \"Zalo\")\n\n## Đăng nhập\n\nSign In - Google Accounts\n\nContinue with GoogleContinue with Google. Opens in new tab\n\nTên tài khoản hoặc địa chỉ email \\*Bắt buộc\n\nMật khẩu \\*Bắt buộc\n\nGhi nhớ mật khẩuĐăng nhập\n\n[Quên mật khẩu?](https://orangepi.vn/my-account/lost-password)",
|
||
"metadata": {
|
||
"description": "Đây là trang Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"og:title": "Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) - Orange Pi Viet Nam",
|
||
"twitter:label2": "Ước tính thời gian đọc",
|
||
"og:image:width": "1024",
|
||
"msapplication-TileImage": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-270x270.webp",
|
||
"ogSiteName": "Orange Pi Viet Nam",
|
||
"ogTitle": "Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) - Orange Pi Viet Nam",
|
||
"ogLocale": "vi_VN",
|
||
"twitter:label1": "Được viết bởi",
|
||
"article:published_time": "2025-06-10T15:12:17+00:00",
|
||
"language": "vi",
|
||
"generator": [
|
||
"dominant-color-images 1.2.1",
|
||
"Site Kit by Google 1.180.0",
|
||
"webp-uploads 2.6.1"
|
||
],
|
||
"og:description": "Đây là trang Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"twitter:data1": "superadmin",
|
||
"modifiedTime": "2025-06-21T07:24:24+00:00",
|
||
"twitter:creator": "@orangepi_me",
|
||
"publishedTime": "2025-06-10T15:12:17+00:00",
|
||
"google-site-verification": "aChCo9My21XgiT2Vte3H89FgebzV7TIv4Ol3OkXaIFU",
|
||
"og:url": "https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html",
|
||
"og:site_name": "Orange Pi Viet Nam",
|
||
"og:locale": "vi_VN",
|
||
"twitter:card": "summary_large_image",
|
||
"ogUrl": "https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html",
|
||
"og:type": "article",
|
||
"og:image:type": "image/jpeg",
|
||
"author": "superadmin",
|
||
"ogImage": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Cai-dat-LLAMACPP-tren-Orange-Pi-RV2-1.webp",
|
||
"og:image:height": "1024",
|
||
"og:image": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/06/Cai-dat-LLAMACPP-tren-Orange-Pi-RV2-1.webp",
|
||
"twitter:site": "@orangepi_me",
|
||
"title": "Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) - Orange Pi Viet Nam",
|
||
"ogDescription": "Đây là trang Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit) của Orange Pi Viet Nam là nhà phân phối chính thức của Orange Pi tại Việt Nam, chuyên cung cấp máy tính nhúng cho dự án, nghiên cứu, hợp tác, phát triển sản phẩm.",
|
||
"twitter:data2": "3 phút",
|
||
"robots": "index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1",
|
||
"viewport": [
|
||
"width=device-width, initial-scale=1",
|
||
"width=device-width, initial-scale=1.0",
|
||
"initial-scale=1,minimum-scale=1,maximum-scale=1,user-scalable=no"
|
||
],
|
||
"article:modified_time": "2025-06-21T07:24:24+00:00",
|
||
"referrer": [
|
||
"no-referrer",
|
||
"origin"
|
||
],
|
||
"article:publisher": "https://www.facebook.com/orangepivietnam/",
|
||
"favicon": "https://orangepivn.b-cdn.net/wp-content/uploads/2025/01/cropped-fb-logo-big-png-32x32.webp",
|
||
"scrapeId": "019eb21a-dd36-71c6-a079-bfb0635bf96f",
|
||
"sourceURL": "https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html",
|
||
"url": "https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html",
|
||
"statusCode": 200,
|
||
"contentType": "text/html; charset=UTF-8",
|
||
"timezone": "America/New_York",
|
||
"proxyUsed": "basic",
|
||
"cacheState": "miss",
|
||
"indexId": "3fb95b0b-9ce2-402e-9b00-309621416666",
|
||
"creditsUsed": 1,
|
||
"concurrencyLimited": false
|
||
}
|
||
},
|
||
"_http_status": 200,
|
||
"_source_url": "https://orangepi.vn/huong-dan-cai-dat-va-chay-llama-cpp-tren-orange-pi-rv2-risc-v-64-bit.html",
|
||
"_scraped_at": "2026-06-10T15:16:09.708670+00:00"
|
||
} |