1 プロジェクト概要 魔搭プラットフォームにログインし、アリyunアカウントを関連付けて無料のCPUクラウド計算資源を獲得します。
Jupyter Notebookを通じて相应のプロジェクトデプロイ環境に入り、モデルのデプロイを完了させます。
2～3つの異なるモデルに対していくつかの応用シーンをテストし、異なるモデル間の横比較を行います。
当プロジェクトでは横比較が行われるモデルは以下の通りです：
通義千問Qwen-7B-Chat
智譜ChatGLM3-6B
百川2-7B-対話モデル
応用シーンの例は以下の通りです：
次の二つの文の違いを説明してください。1、冬：能穿多少穿多少（冬：着れるだけ着て）2、夏：能穿多少穿多少（夏：着れるだけ着て）
この二つの文の違いを説明してください。独身の原因は二つあります、一つは誰も気にしない、もう一つも誰も気にしない。
彼は私があなたが彼が知らないことを知っているか？この文では、誰が何を知らないのか？
明は明の白を知っているが、彼女は言わない。この文では、明と白は誰が誰を好きですか？
上司：これは何の意味ですか？小明：別に意味はありません。意味は意味です。上司：それは意味がありません。小明：それは少し意味がありません。上司：あなたは本当に面白いです。小明：別に他の意味はありません。上司：では、私は恥ずかしいです。小明：それは私にとって恥ずかしいです。問い：上記の「意味」はそれぞれ何を意味しますか。
2 設定プロセス
2.1 クラウドサーバーの設定
2.2 環境設定
コマンドラインに入り、当プロジェクトはlinuxオペレーティングシステムのサーバーを例として使用します。
ターミナルコマンドライン環境で以下のコマンドを入力して、環境ディレクトリ/opt/conda/envs 下に新しいフォルダitrexを作ります：
cd /opt/conda/envs mkdir itrex wgetコマンドを使用して実行環境镜像ファイル（実行環境の鏡像ファイル）をコピーし、クラウドホストのitrexディレクトリで実行環境を復元します：
// 次の二つから一つ選んでください wget https://idz-ai.oss-cn-hangzhou.aliyuncs.com/LLM/itrex.tar.gz wget https://filerepo.idzcn.com/LLM/itrex.tar.gz ファイルの解凍：
tar -zxvf itrex.tar.gz -C itrex/ ファイルの有効化：
conda activate itrex 対応kernelのインストール：
python -m ipykernel install --name itrex 2.3 大規模言語モデルのダウンロード 作業ディレクトリに切り替えます：
cd /mnt/workspace 対応する大規模言語モデルをダウンロードします
got clone +[目標モデルのネットワークアドレス]
2.4 チャットボットの構築と使用
NotebookのLauncherでitrexを基にした環境を選択し、新しい.ipynbファイルを作成します。
チャットボットを構築します。
INT4ウェイトのみの量子化、AMX INT8での計算でチャットボットを構築します。 from intel_extension_for_transformers.neural_chat import build_chatbot, PipelineConfig from intel_extension_for_transformers.transformers import RtnConfig config = PipelineConfig(model_name_or_path="./chatglm3-6b", optimization_config=RtnConfig(bits=4, compute_dtype="int8", weight_dtype="int4_fullrange")) chatbot = build_chatbot(config) 新しいセルを作成し、回答を生成します。
推論/回答を生成します。 response = chatbot.predict(query="上海有哪些景点") # 上海にはどんな観光スポットがありますか？ print(response) 実行をクリックすると回答を確認できます。responseのqueryパラメーターを他の文脈下的の問題に置き換えることができます。
ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？
