Qwen2.5-HA-0.5B-Instruct

説明

Qwen2.5-HA-0.5B-Instruct は、Qwen2.5-0.5B-Instruct をベースにファインチューニングされたスマートホーム向けモデルで、パラメータ数は約5億です。
このモデルの主な特徴は以下の通りです：

• モデルタイプ：因果言語モデル（Causal Language Model）
• トレーニング段階：事前学習および事後学習
• アーキテクチャ：Transformer、RoPE、SwiGLU、RMSNorm、Attention QKV バイアスおよび結合語埋め込みを採用
• パラメータ数：4.9億（埋め込みを除くパラメータ 3.6億）
• レイヤー数：24層
• アテンションヘッド数（GQA）：クエリヘッド 14、キー・バリューヘッド 2
• コンテキスト長：最大 32,768 トークンに対応、最大生成 8,192 トークン
  このモデルは、指示の理解、長文生成、構造化データ理解において大きく向上し、英語、中国語、フランス語など29言語に対応する多言語能力を備えています。スマートホーム用データセットでファインチューニングされており、システムプロンプトを設定するだけで構造化出力が可能です。

利用可能な NPU モデル

ベースモデル

qwen2.5-HA-0.5B-ctx-ax630c

• 1024トークンのコンテキストウィンドウに対応
• 最大出力 1024 トークン
• 対応プラットフォーム：LLM630 計算キット、Module LLM、および Module LLM キット
• TTFT（初回生成時間）：525.85ms
• 平均生成速度：10.04 トークン/秒

インストール

apt install llm-model-qwen2.5-ha-0.5b-ctx-ax630c

• llm-model-qwen2.5-0.5B-prefill-20e をダウンロード