Megrez-3B-Omni: 初のエッジ側全モーダル理解オープンソースモデル

モデル紹介

Megrez-3B-Omniは、無問芯穹（Infinigence AI）によって開発されたエッジ側の全モーダル理解モデルで、無問の大言語モデルMegrez-3B-Instructを拡張し、画像、テキスト、音声の3つのモーダルデータを理解・分析する能力を持ち、各分野で最優精度を達成しています。

画像理解においては、SigLip-400Mをベースに画像Tokenを構築し、OpenCompassランキング（8つの主要なマルチモーダル評価基準を総合）で平均66.2点とし、LLaVA-NeXT-Yi-34Bなどのよりパラメーターが多いモデルを凌駕します。Megrez-3B-Omniはまた、MME、MMMU、OCRBenchなどのテストセットで現在最高精度の画像理解モデルの一つであり、シーン理解、OCRなどで良好なパフォーマンスを示しています。 言語理解においては、Megrez-3B-Omniはモデルのテキスト処理能力を犠牲にせず、シングルモーダルバージョン（Megrez-3B-Instruct）に比べて総合精度が2％以内に抑えられており、C-EVAL、MMLU/MMLU Pro、AlignBenchなどの複数のテストセットで最優精度を維持し、前世代の14Bモデルを超える能力を発揮しています。 音声理解においては、Qwen2-Audio/whisper-large-v3のEncoderを音声入力として使用し、中国語と英語の音声入力と複数ラウンド対話をサポートし、入力画像に対する音声質問に対応し、音声コマンドに基づいて直接テキストをレスポンスするなど、数多くの基準タスクで领先した結果を達成しています。

基本情報

画像理解能力

上図はMegrez-3B-Omniと他のオープンソースモデルが主流の画像マルチモーダルタスクにおける性能比較です。

下図はMegrez-3B-OmniがOpenCompassテストセットでの実績で、画像はInternVL 2.5 Blog Postから引用します。

文書処理能力

注：Qwen2-1.5Bモデルの指標が論文とQwen2.5報告で点数が不一致の場合がありますが、今回は原論文の精度を採用しています。

音声理解能力

速度

请注意，表格中的"-"表示没有提供数据或者不适用。"CER"是Character Error Rate（文字誤り率）的缩写，用于衡量语音识别系统的准确性。

実験設定：

テスト環境：NVIDIA H100、vLLM下で128個のText tokenと1480x720サイズの画像を入力し、128個のtokenを出力し、num_seqsを固定して8

快速開始

オンライン体験 HF Chat Demo

ローカルデプロイ 環境インストールとvLLM推論コードなどのデプロイ問題については、Infini-Megrez-Omniを参照してください。

以下はtransformersを使用して推論を行う例です。contentフィールドにtext、image、audioを渡すことで、図文/図音などの多種多様なモーダルとモデルと対話できます。

import torch
from transformers import AutoModelForCausalLM

path = "{{PATH_TO_PRETRAINED_MODEL}}"  # Change this to the path of the model.

model = (
    AutoModelForCausalLM.from_pretrained(
        path,
        trust_remote_code=True,
        torch_dtype=torch.bfloat16,
        attn_implementation="flash_attention_2",
    )
    .eval()
    .cuda()
)

# テキストと画像でチャット
messages = [
    {
        "role": "user",
        "content": {
            "text": "Please describe the content of the image.",
            "image": "./data/sample_image.jpg",
        },
    },
]

# 音声と画像でチャット
messages = [
    {
        "role": "user",
        "content": {
            "image": "./data/sample_image.jpg",
            "audio": "./data/sample_audio.m4a",
        },
    },
]

MAX_NEW_TOKENS = 100
response = model.chat(
    messages,
    sampling=False,
    max_new_tokens=MAX_NEW_TOKENS,
    temperature=0,
)
print(response)

注意事項： 画像はできるだけ初回入力で読み取ることをお勧めします。音声とテキストはこの制限にとらわれず、自由に切り替え可能です。 音声認識（ASR）シナリオでは、content['text']を「音声を文字に変換してください。」と変更します。 OCRシナリオでは、サンプリングを有効にすると言語モデルの幻觉が原因で文字が変化する可能性があるため、推論 を行う際にはサンプリングをオフすることを検討してください（sampling=False），しかし、サンプリングをオフするとモデルの反復が引き起こされる可能性があります。

オープンソース契約および使用声明： 契約：本レポジトリのコードはApache-2.0契約に基づいてオープンソースです。 幻觉：大きなモデルは自然に幻觉の問題を持ち、ユーザーはモデル生成の内容を完全に信用しないでください。 価値観および安全性：本モデルはトレーニング過程で使用されるデータの規制に従い、全力を尽くしましたが、データの大量及び複雑さのために予期せぬ問題が生じる可能性があります。もしもオープンソースモデルの使用によって生じたいかなる問題も、データセキュリティ問題、公衆の世論リスク、またはモデルが誤解、滥用、伝播、不当な使用に遭ったリスクや問題によって生じた責任や義務については、一切の責任を負いかねます。

aiスピーキング

ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？