このエンドポイントは、デバイスに現在インストールされているモデルサービスの一覧を取得するために使用されます。
llm-model-name
形式で命名されたものがモデルパッケージです。apt list | grep llm-model-
apt
コマンドを使用してパッケージをインストールします。たとえば、llm-model-qwen2.5-0.5b-p256-ax630c
パッケージをインストールします。モデルは大きな容量を占有するため、必要に応じてインストールすることをお勧めします。apt install llm-model-qwen2.5-0.5b-p256-ax630c
PC 端から OpenAI API を介して、デバイスで現在利用可能なモデルの一覧を照会できます。プログラムを実行する前に、以下の base_url
の IP 部分をデバイスの実際の IP アドレスに変更してください。
from openai import OpenAI
client = OpenAI(
api_key="sk-",
base_url="http://192.168.20.186:8000/v1"
)
client.models.list()
print(client.models.list())
SyncPage[Model](data=[
Model(id='melotts_zh-cn', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-prefill-20e', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-20M-2023-02-17', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_english_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-p256-ax630c', created=0, object='model', owned_by='user', permission=[], root='')
],
object='list')