Product Guide
Linux PC
AI アクセラレーターカード
LLM-8850 カード
LLM
リアルタイム音声アシスタント
XiaoZhi ボイスアシスタント
AtomS3R-M12 Volcengine Kit
Industrial Control
IoT Measuring Instruments
Air Quality
PowerHub
Module13.2 PPS
VAMeter
T-Lite
Ethernet Camera
PoECAM
Wi-Fi Camera
Unit CamS3/-5MP
AI Camera
LoRa & LoRaWAN
Motor Control
ファームウェアの初期化
ディップスイッチ＆ピン切り替え
Qwen3-1.7B
- モデルを手動でダウンロードして raspberrypi5 にアップロードするか、以下のコマンドでモデルリポジトリを取得します。
ヒント
git lfs がインストールされていない場合は、事前に [git lfs インストールガイド](./
m5_llm_8850_git_lfs) を参照してインストールしてください。
git clone https://huggingface.co/AXERA-TECH/Qwen3-1.7Bファイル説明
m5stack@raspberrypi:~/rsp/Qwen3-1.7B$ ls -lh
total 21M
-rw-rw-r-- 1 m5stack m5stack 0 Aug 12 09:07 config.json
-rw-rw-r-- 1 m5stack m5stack 1.1M Oct 13 09:46 main_api_ax650
-rw-r--r-- 1 m5stack m5stack 132 Oct 13 11:45 main_api_axcl_aarch64
-rw-rw-r-- 1 m5stack m5stack 8.5M Oct 13 09:46 main_api_axcl_x86
-rw-rw-r-- 1 m5stack m5stack 963K Oct 13 09:46 main_ax650
-rw-rw-r-- 1 m5stack m5stack 1.7M Oct 13 09:46 main_axcl_aarch64
-rw-rw-r-- 1 m5stack m5stack 8.1M Oct 13 09:46 main_axcl_x86
-rw-rw-r-- 1 m5stack m5stack 277 Aug 12 09:07 post_config.json
drwxrwxr-x 2 m5stack m5stack 4.0K Aug 12 09:07 qwen2.5_tokenizer
drwxrwxr-x 2 m5stack m5stack 4.0K Oct 13 11:46 qwen3-1.7b-ax650
drwxrwxr-x 2 m5stack m5stack 4.0K Aug 12 09:10 qwen3_tokenizer
-rw-rw-r-- 1 m5stack m5stack 7.6K Aug 12 09:07 qwen3_tokenizer_uid.py
-rw-rw-r-- 1 m5stack m5stack 12K Oct 13 09:43 README.md
-rw-rw-r-- 1 m5stack m5stack 2.5K Oct 13 09:43 run_qwen3_1.7b_int8_ctx_ax650.sh
-rw-rw-r-- 1 m5stack m5stack 2.5K Oct 13 09:43 run_qwen3_1.7b_int8_ctx_axcl_aarch64.sh
-rw-rw-r-- 1 m5stack m5stack 2.5K Oct 13 09:43 run_qwen3_1.7b_int8_ctx_axcl_x86_api.sh
-rw-rw-r-- 1 m5stack m5stack 2.5K Oct 13 09:43 run_qwen3_1.7b_int8_ctx_axcl_x86.shヒント
以前に qwen の仮想環境を作成している場合は、再作成せずにアクティブ化するだけでOKです。
- 仮想環境を作成
python -m venv qwen- 仮想環境をアクティブ化
source qwen/bin/activate- 依存パッケージをインストール
pip install transformers jinja2- tokenizer パーサーを起動
python qwen3_tokenizer_uid.py --port 12345- tokenizer サービスを実行（Host IP はデフォルトで localhost、ポート番号は 12345）。実行後の表示例：
(qwen) m5stack@raspberrypi:~/Qwen3-0.6B $ python qwen3_tokenizer_uid.py --port 12345
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
Server running at http://0.0.0.0:12345ヒント
以下の操作は、新しい raspberrypi ターミナルで実行してください。
- 実行権限を付与
chmod +x main_axcl_aarch64 run_qwen3_1.7b_int8_ctx_axcl_aarch64.sh- Qwen3 モデル推論サービスを起動
./run_qwen3_1.7b_int8_ctx_axcl_aarch64.sh起動成功時の表示例：
m5stack@raspberrypi:~/rsp/Qwen3-1.7B$ ./run_qwen3_1.7b_int8_ctx_axcl_aarch64.sh
[I][ Init][ 136]: LLM init start
[I][ Init][ 34]: connect http://127.0.0.1:12345 ok
[I][ Init][ 57]: uid: 95e7d5f3-fc8d-48ea-b489-1de9f37924d1
bos_id: -1, eos_id: 151645
3% | ██ | 1 / 31 [1.08s<33.54s, 0.92 count/s] tokenizer init ok[I][ Init][ 45]: LLaMaEmbedSelector use mmap
6% | ███ | 2 / 31 [1.08s<16.77s, 1.85 count/s] embed_selector init ok
[I][ run][ 30]: AXCLWorker start with devid 0
100% | ████████████████████████████████ | 31 / 31 [64.75s<64.75s, 0.48 count/s] init post axmodel ok,remain_cmm(3788 MB)
[I][ Init][ 237]: max_token_len : 2559
[I][ Init][ 240]: kv_cache_size : 1024, kv_cache_num: 2559
[I][ Init][ 248]: prefill_token_num : 128
[I][ Init][ 252]: grp: 1, prefill_max_token_num : 1
[I][ Init][ 252]: grp: 2, prefill_max_token_num : 512
[I][ Init][ 252]: grp: 3, prefill_max_token_num : 1024
[I][ Init][ 252]: grp: 4, prefill_max_token_num : 1536
[I][ Init][ 252]: grp: 5, prefill_max_token_num : 2048
[I][ Init][ 256]: prefill_max_token_num : 2048
________________________
| ID| remain cmm(MB)|
========================
| 0| 3788|
¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯
[I][ load_config][ 282]: load config:
{
"enable_repetition_penalty": false,
"enable_temperature": false,
"enable_top_k_sampling": true,
"enable_top_p_sampling": false,
"penalty_window": 20,
"repetition_penalty": 1.2,
"temperature": 0.9,
"top_k": 1,
"top_p": 0.8
}
[I][ Init][ 279]: LLM init ok
Type "q" to exit, Ctrl+c to stop current running
[I][ GenerateKVCachePrefill][ 335]: input token num : 21, prefill_split_num : 1 prefill_grpid : 2
[I][ GenerateKVCachePrefill][ 372]: input_num_token:21
[I][ main][ 236]: precompute_len: 21
[I][ main][ 237]: system_prompt: You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
prompt >> hello
[I][ SetKVCache][ 628]: prefill_grpid:2 kv_cache_num:512 precompute_len:21 input_num_token:12
[I][ SetKVCache][ 631]: current prefill_max_token_num:1920
[I][ Run][ 869]: input token num : 12, prefill_split_num : 1
[I][ Run][ 901]: input_num_token:12
[I][ Run][1030]: ttft: 796.38 ms
<think>
</think>
Hello! How can I assist you today?
[N][ Run][1182]: hit eos,avg 7.38 token/s
[I][ GetKVCache][ 597]: precompute_len:46, remaining:2002
prompt >>API 利用
- tokenizer サービスが起動中であることを確認
(qwen) m5stack@raspberrypi:~/Qwen3-0.6B $ python qwen3_tokenizer_uid.py --port 12345
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
Server running at http://0.0.0.0:12345- run_qwen3_1.7b_int8_ctx_axcl_x86_api.sh を run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh にコピーし、実行権限を付与
cp run_qwen3_1.7b_int8_ctx_axcl_x86_api.sh run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh
chmod +x main_api_axcl_aarch64 run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh- run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh を編集し以下の内容にする
./main_api_axcl_aarch64 \
--system_prompt "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
--template_filename_axmodel "qwen3-1.7b-ax650/qwen3_p128_l%d_together.axmodel" \
--axmodel_num 28 \
--url_tokenizer_model "http://127.0.0.1:12345" \
--filename_post_axmodel qwen3-1.7b-ax650/qwen3_post.axmodel \
--filename_tokens_embed qwen3-1.7b-ax650/model.embed_tokens.weight.bfloat16.bin \
--tokens_embed_num 151936 \
--tokens_embed_size 2048 \
--use_mmap_load_embed 1 \
--devices 0注意
StackFlow の openai-api サービスが稼働中の場合、手動で sudo systemctl stop llm-openai-api を実行して停止する必要があります。
- Qwen3 モデル推論 API サービスを起動
./run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh起動成功時の表示例：
m5stack@raspberrypi:~/rsp/Qwen3-1.7B $ ./run_qwen3_1.7b_int8_ctx_axcl_aarch_api.sh
[I][ Init][ 130]: LLM init start
[I][ Init][ 34]: connect http://127.0.0.1:12345 ok
[I][ Init][ 57]: uid: 3f3c54ef-ddfa-4fbc-bd2f-74523109857e
bos_id: -1, eos_id: 151645
3% | ██ | 1 / 31 [0.95s<29.33s, 1.06 count/s] tokenizer init ok[I]
[I][ Init][ 221]: max_token_len : 2047
[I][ Init][ 224]: kv_cache_size : 1024, kv_cache_num: 2047
[I][ Init][ 232]: prefill_token_num : 128
[I][ Init][ 236]: grp: 1, prefill_max_token_num : 1
[I][ Init][ 236]: grp: 2, prefill_max_token_num : 128
[I][ Init][ 236]: grp: 3, prefill_max_token_num : 256
[I][ Init][ 236]: grp: 4, prefill_max_token_num : 384
[I][ Init][ 236]: grp: 5, prefill_max_token_num : 512
[I][ Init][ 236]: grp: 6, prefill_max_token_num : 640
[I][ Init][ 236]: grp: 7, prefill_max_token_num : 768
[I][ Init][ 236]: grp: 8, prefill_max_token_num : 896
[I][ Init][ 236]: grp: 9, prefill_max_token_num : 1024
[I][ Init][ 240]: prefill_max_token_num : 1024
________________________
| ID| remain cmm(MB)|
========================
| 0| 3665|
¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯
[I][ load_config][ 282]: load config:
{
"enable_repetition_penalty": false,
"enable_temperature": false,
"enable_top_k_sampling": true,
"enable_top_p_sampling": false,
"penalty_window": 20,
"repetition_penalty": 1.2,
"temperature": 0.9,
"top_k": 1,
"top_p": 0.8
}
[I][ Init][ 263]: LLM init ok
Server running on port 8000...API 一覧
| メソッド | パス | 機能 |
|---|---|---|
| GET | /api/stop | 現在の推論タスクを停止 |
| POST | /api/reset | コンテキストをリセット（新しい system prompt 設定可） |
| POST | /api/generate | 非同期テキスト生成（ストリーミング出力は /api/generate_provider から取得） |
| GET | /api/generate_provider | 現在生成中の増分出力を取得（ポーリング用） |
| POST | /api/chat | 同期型Q&A（1ターン） |
1. POST /api/generate
curl -X POST "http://localhost:8000/api/generate" \
-H "Content-Type: application/json" \
-d '{
"prompt": "Hello, please introduce yourself.",
"temperature": 0.7,
"top-k": 40
}'レスポンス例：
{"status": "ok"}説明
- prompt は必須
- temperature, top-k, top-p, repetition_penalty などは任意のサンプリング設定
- 呼び出しは即座に "status":"ok" を返し、バックグラウンドで生成が開始されます。
2. GET /api/generate_provider
生成中の内容と進捗を取得（ストリーミングポーリング用）：
curl "http://localhost:8000/api/generate_provider"レスポンス例：
{"done":false,"response":"<think>\n\n</think>\n\nHello! I'm a large language model developed by Alibaba"}"done": true で生成完了
200〜500ms 間隔でリクエストを送信することで、クライアントはモデルの出力をストリーミング形式で取得できます。
3. POST /api/reset
LLM コンテキストをリセット（履歴削除）、必要に応じて新 system prompt を設定可能
curl -X POST "http://localhost:8000/api/reset" \
-H "Content-Type: application/json" \
-d '{"system_prompt": "You are a helpful assistant."}'レスポンス例：
{"status": "ok"}KV キャッシュのクリアや会話シナリオの切り替えに使用します。
4. GET /api/stop
現在の生成タスクを即時停止：
curl "http://localhost:8000/api/stop"レスポンス例：
{"status": "ok"}5. POST /api/chat
1回でメッセージを送り同期的に結果取得（非ストリーミング）
curl -X POST "http://localhost:8000/api/chat" \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "user", "content": "Hello, please introduce yourself in one sentence."}
],
"temperature": 0.7
}'レスポンス例：
{"done":true,"message":"<think>\n\n</think>\n\nHi there! I'm a large language model developed by Alibaba Cloud, designed to assist with a wide range of tasks and answer questions."}注意
/api/generate + /api/generate_provider → 非同期／ストリーミングモード（UI向け）
/api/chat → 同期ブロッキングモード（完全な回答が必要な場合）
モデル稼働中にリクエストすると以下が返ります：
{"error": "llm is running"}モデルが初期化されていない場合：
{"error": "Model not init"}典型的非同期呼び出しフロー
POST /api/generate で prompt 送信
クライアントから数百ミリ秒間隔で GET /api/generate_provider
"done": true でポーリング停止