はじめに
QwQ-32B-Previewは、Qwenチームによって開発された実験的な研究モデルで、AIの推理能力をadvanceさせることに焦点を当てています。プレビューリリースとして、いくつかの重要な制限があるにもかかわらず、有望な分析能力を示しています。
- 1.言語の混在とコード切り替え：モデルは予期せずに言語を混在させたり切り替えたりし、応答の明確さを影響を与える可能性があります。
- 2.再帰的推理ループ：モデルは循環的な推理パターンに入る可能性があり、結論的な答えなしで長ったらしい応答を招くことがあります。
- 3.安全性と倫理的な考慮：モデルは信頼性とセキュリティを確保するために強化された安全対策が必要です。ユーザーはそれを展開する際に注意を払う必要があります。
- 4.性能とベンチマークの制限：モデルは数学やコーディングでは優れていますが、常識的な推理や繊細な言語理解などの他の分野では改善の余地があります。
仕様：
タイプ：原因言語モデル トレーニングステージ：プリトレーニング＆ポストトレーニング アーキテクチャ：RoPE、SwiGLU、RMSNorm、Attention QKVバイアスを備えたtransformers パラメーター数：32.5B パラメーター数（埋め込み込み除く）：31.0B レイヤー数：64 注意ヘッド数（GQA）：Qは40、KVは8 コンテキスト長：フル32,768トークン 詳細については、私たちのブログを参照してください。また、Qwen2.5 GitHubやDocumentationを確認することもできます。
要件
Qwen2.5のコードは最新のHugging face transformersにあります。transformersの最新バージョンを使用することをお勧めします。
transformersが4.37.0未満の場合、以下のエラーが発生します：
KeyError: 'qwen2' クイックスタート apply_chat_templateを使用するコードスニペットを提供し、トークナイザーとモデルをロードし、コンテンツを生成する方法を示します。
from modelscope import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/QwQ-32B-Preview"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "How many r in strawberry."
messages = [
{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)引用
もし私たちの作業が役立ちましたら、引用をしてください。
@misc{qwq-32b-preview, title = {QwQ: Reflect Deeply on the Boundaries of the Unknown}, url = {https://qwenlm.github.io/blog/qwq-32b-preview/}, author = {Qwen Team}, month = {November}, year = {2024} }
@article{qwen2, title={Qwen2 Technical Report}, author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan}, journal={arXiv preprint arXiv:2407.10671}, year={2024} }
aiスピーキング
ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？
