モデル一覧

このインターフェースは、現在デバイスにインストールされているモデルリストを取得するために使用されます。

モデルのインストールと確認

使用前に、対応するデバイスのソフトウェアアップデートチュートリアルを参照し、M5Stack apt ソフトウェアリポジトリ情報の追加とモデルリストの更新を完了してください。

利用可能な llm deb パッケージリストを確認します。llm-model-name 形式で名前が付けられているものがモデルパッケージです。

apt list | grep llm-model-

必要に応じて apt コマンドを使用してソフトウェアパッケージをインストールします。例えば、llm-model-qwen2.5-0.5b-p256-ax630c パッケージをインストールする場合です。これは、プラットフォームに応じて対応するモデルを選択する必要があります。ModuleLLM/LLM630 Compute Kit プラットフォームのモデル接尾辞は -ax630c、AI Pyramid プラットフォームは -ax650、LLM8850 プラットフォームは -axcl です。詳細はモデル紹介のセクションを参照してください。

apt install llm-model-qwen2.5-0.5b-p256-ax630c

利用可能なモデルの確認

インストールされたモデルは、OpenAI API を介してデバイスで利用可能なモデルリストを直接照会できます。プログラムを実行する前に、以下の base_url の IP 部分をデバイスの実際の IP アドレスに変更してください。

注意

新しいモデルをインストールするたびに、モデルリストを更新するために手動で systemctl restart llm-openai-api を実行する必要があります。

Curl 呼び出し

curl http://127.0.0.1:8000/v1/models \
  -H "Content-Type: application/json"

Python 呼び出し

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://192.168.20.186:8000/v1"
)

client.models.list()
print(client.models.list()) 

レスポンス例

SyncPage[Model](data=[
Model(id='melotts_zh-cn', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-prefill-20e', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-20M-2023-02-17', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_english_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-p256-ax630c', created=0, object='model', owned_by='user', permission=[], root='')
],
object='list')

Next 概要

デバイスとクイックスタート

AI Pyramid

Module LLM

LLM630 Compute Kit

モデルの紹介

Qwen2.5

Qwen3

DeepSeek-R1

SmolVLM

MeloTTS

Whisper

Llama

AI Pyramid Applications

アプリケーション

Audio

CVビジョンアプリケーション

VLMマルチモーダル

大規模言語モデル (LLM)

音声アシスタント

OpenAI API