ハードウェアの结合の困境を打破し、多种の计算能力を适応させる
现在、世界トップレベルの FP8 モデルは长期にわたり、英伟达 H シリーズの高性能 GPU に依赖しています。国内の企业は AI チップの制限のために大モデルを配置する时に制限されています。一方では、英伟达 H シリーズチップの输入が制限されているため、国内の企业は高性能なハードウェアの支援を手に入れにくくなっています。他方では、ほとんどの国産チップは FP8 データタイプをサポートしておらず、新しい世代の AI モデルの性能を十分に発挥することができず、企业の配置コストが高くなっています。このような状况を打破するため、「赤兔」推论エンジンが诞生しました。このエンジンは、底层技术の革新を通じて、初めて H カードデバイス（英伟达 Hopper アーキテクチャ以前の GPU カードや各种の国産カードを含む）が原生 FP8 モデルを効率的に配置できるようになりました。特定のハードウェアへの依赖を摆脱し、企业が AI モデルを配置するための槛とコストを大幅に下げることができます。これは、英伟达の最新フラッグシップから旧型のマルチシリーズ GPU をサポートし、国産チップに最适化を提供し、英伟达 Hopper アーキテクチャへの依赖を打破しています。
性能の最适化が顕著で、全场景の配置需求を満たす
「赤兔」エンジンは、性能の最适化とアーキテクチャの适応性において顕著な优势を示しています。最初のオープンソースバージョンでは、「赤兔」エンジンが DeepSeek-R1-671B のフルバージョンを配置する时、A800 クラスタのテストでは、一部の国外オープンソースフレームワークと比べて、GPU の使用量が 50% 減少しても、推论スピードはまだ 3.15 倍のスピードアップを达成しました。これは、企业がより少ないハードウェアリソースでより高い推论性能を得られることを意味し、配置の槛と运用コストを大幅に下げることができます。さらに、「赤兔」エンジンの技术は、モデルの効果を损なうことなく実现することができます。この成果は、チームが GeMM、MoE などのコアオペレーターを命令レベルで最适化し、FP8 データを直接処理するのではなく、単纯な量子化を行うことで、モデルの精度を无损に保つことに由来します。現在、「赤兔」エンジンは、纯粋な CPU から大規模クラスタまでの全场景の大モデル配置需求を満たすことを目标としており、英伟达の多种の GPU と多种の国産チップを适応させています。同时に、市场上の各种な大モデルの计算力の最适化需求に直面して、「赤兔」は低遅延、高スループット、小メモリの三つの面での最适化を支持し、最も低いコストで最高の性能を実现します。システムリソースの状况に応じて、GPU の利用率、メモリ効率、ネットワーク传输の间で最適なバランスを取ることができ、纯粋な CPU 配置、単一 GPU 配置から大規模クラスタ配置までの各种な规模と场景における推论需求を満たします。
AI の普及を后押しし、国産チップのエコシステム建设を支援する
今年に入って以来、DeepSeek-R1、QwQ など优秀的な国産オープンソース大モデルが次々と登场し、大モデルのプライベート配置需求がますます高まっています。しかし、大モデルの配置と运用コストは依然として高水準にあり、推论コストを大幅に下げることが AI アプリケーションの普及を后押しするためには极めて重要です。「赤兔」エンジンは、底层设计において「计算効率」を最优先の最适化目标としており、より低いリソース消费でより高い性能を実现することを目指しています。今回のオープンソースバージョンは、特に市场上で最も急がれる需求に焦点を当てており、DeepSeek-R1 FP8 精度モデルを既存の英伟达 GPU に无损で効率的に配置することに集中しています。チームはまた、多种の国産チップに特别に最适化されたバージョンを顺次オープンソースにすることを表明しています。この突破は、企业により効率的で柔軟な AI 配置解决方案を提供するだけでなく、大モデルの落地槛を下げ、国産 AI 计算力の発展にも新たな机会をもたらしました。さらに、清程极智は「赤兔」に基づく「推论一体机」を発表し、开梱即用の配置解决方案と専门の运用保守サービスを提供し、企业の AI 落地プロセスをさらに简化しました。
aiスピーキング
ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？
