Qwen2.5-HA-0.5B-Instruct

紹介

Qwen2.5-HA-0.5B-Instruct は、Qwen2.5-0.5B-Instruct をベースに微調整されたスマートホーム向けモデルで、パラメータ数は約 5 億です。本モデルの主な特徴は以下のとおりです。

• モデルタイプ：因果言語モデル（Causal Language Model）
• 学習フェーズ：事前学習および事後学習
• アーキテクチャ：Transformer。RoPE、SwiGLU、RMSNorm、Attention QKV バイアスおよび共有語彙埋め込みを採用
• パラメータ数：4.9 億（非埋め込みパラメータ 3.6 億）
• レイヤー数：24 層
• アテンションヘッド数（GQA）：クエリヘッド 14、キー・バリューヘッド 2
• コンテキスト長：最大 32,768 トークンをサポート、生成上限 8,192 トークン

本モデルは、指示理解、長文生成、構造化データ理解において大幅な向上を実現しており、英語・中国語・フランス語など 29 言語の多言語対応をサポートします。スマートホーム向けデータセットで微調整されており、システムプロンプトを設定することで構造化出力が可能です。

利用可能な NPU モデル

Home Assistant 微調整モデル

qwen2.5-ha-0.5b-ctx-ax630c

• ベースモデルと比較して、より長いコンテキストを提供し、Home Assistant 専用の JSON 形式データを安定して構造化出力
• 1024 長のコンテキストウィンドウをサポート
• 最大出力 1280 トークン
• 対応プラットフォーム：LLM630 コンピューティングキット、Module LLM、Module LLM キット
• TTFT：533.19ms
• 平均生成速度：9.76 token/s

インストール

apt install llm-model-qwen2.5-0.5b-int4-ax630c

• llm-model-qwen2.5-0.5b-int4-ax630c をダウンロード

qwen2.5-ha-0.5b-ctx-ax650

• ベースモデルと比較して、より長いコンテキストを提供し、Home Assistant 専用の JSON 形式データを安定して構造化出力
• 1024 長のコンテキストウィンドウをサポート
• 最大出力 1280 トークン
• 対応プラットフォーム：AI Pyramid
• TTFT：143.02ms
• 平均生成速度：25.5 token/s

インストール

apt install llm-model-qwen2.5-ha-0.5b-ctx-ax650

• llm-model-qwen2.5-ha-0.5b-ctx-ax650 をダウンロード