pdf-icon

Product Guide

Industrial Control

Real-Time AI Voice Assistant

Offline Voice Recognition

Thread

Module Gateway H2

IoT Measuring Instruments

IoT Cloud

Ethernet Camera

LoRa & LoRaWAN

ディップスイッチ使用ガイド

Module ExtPort For Core2

モデルリスト

このエンドポイントは、デバイスに現在インストールされているモデルサービスの一覧を取得するために使用されます。

モデルのインストールと表示

  1. 使用前に、対応するデバイスのソフトウェア更新チュートリアルを参照し、M5Stack apt リポジトリ情報とインデックスを追加・更新してください。
  1. 使用可能な llm deb パッケージのリストを表示します。llm-model-name 形式で命名されたものがモデルパッケージです。
apt list | grep llm-model-
  1. 必要に応じて apt コマンドを使用してパッケージをインストールします。たとえば、llm-model-qwen2.5-0.5b-p256-ax630c パッケージをインストールします。モデルは大きな容量を占有するため、必要に応じてインストールすることをお勧めします。
apt install llm-model-qwen2.5-0.5b-p256-ax630c

利用可能なモデルの表示

PC 端から OpenAI API を介して、デバイスで現在利用可能なモデルの一覧を照会できます。プログラムを実行する前に、以下の base_url の IP 部分をデバイスの実際の IP アドレスに変更してください。

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://192.168.20.186:8000/v1"
)

client.models.list()
print(client.models.list())

レスポンス例

SyncPage[Model](data=[
Model(id='melotts_zh-cn', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='qwen2.5-0.5B-prefill-20e', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='sherpa-ncnn-streaming-zipformer-20M-2023-02-17', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='single_speaker_english_fast', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='single_speaker_fast', created=0, object='model', owned_by='user', permission=[], root=''), 
Model(id='qwen2.5-0.5B-p256-ax630c', created=0, object='model', owned_by='user', permission=[], root='')
], 
object='list')
On This Page