InternVL2_5-1B-MPO

紹介

InternVL 2.5 はマルチモーダル大規模言語モデル（MLLM）シリーズであり、InternVL 2.0 を基盤として構築されています。コアとなるモデルアーキテクチャを維持しつつ、学習戦略、評価手法、データ品質の各面で大幅な最適化が行われています。

利用可能な NPU モデル

基本モデル（Base Model）

internvl2.5-1B-364-ax630c

基本モデル は 256 のコンテキストウィンドウを提供し、最大 1,024 トークンを出力できます。
対応プラットフォーム：LLM630 Compute Kit、Module LLM、Module LLM Kit

• コンテキストウィンドウ：256
• 最大出力トークン数：1,024
• 初回生成遅延（ttft）：1117.27 ミリ秒
• 平均生成速度：10.56 token/s
• 画像エンコードサイズ：364×364
• 画像エンコード時間：1164.61 ミリ秒

インストール

apt install llm-model-internvl2.5-1b-364-ax630c

• llm-model-internvl2.5-1b-364-ax630c をダウンロード

internvl2.5-1B-448-ax650

基本モデル は 320 のコンテキストウィンドウを提供し、最大 1,024 トークンを出力できます。
対応プラットフォーム：AI Pyramid

• コンテキストウィンドウ：320
• 最大出力トークン数：1,024
• 初回生成遅延（ttft）：433.87 ミリ秒
• 平均生成速度：29.48 token/s
• 画像エンコードサイズ：448×448
• 画像エンコード時間：362.22 ミリ秒

インストール

apt install llm-model-internvl2.5-1b-448-ax650

• llm-model-internvl2.5-1b-448-ax650 をダウンロード