▲ なぜ信頼できるAIが必要なのでしょうか？
人工知能技術が各業界に深く浸透するにつれ、AIがもたらすリスクや脅威も明らかになっています。これには、顔データの誤用、アルゴリズムによる差別、アルゴリズムのロバスト性などが含まれます。AIが隠すリスクもますます一般に注目を集めています。AIは確かに各業界に新しい加速器を提供していますが、徐々に一般からの信頼を失っていく一方です。このため、信頼できるAIがますます頻繁に提起され、多くの政府や企業が信頼できるAIの開発と共同建設に参加しています。信頼できるAIはグローバルな共通認識であり、業界の発展の必然のトレンドです。では、信頼できるAIとは何でしょうか。AIが信頼できることを確保して評価する方法はありますか？
▲ 信頼できるAIの発展
信頼できるAIは学界、政府、企業で多くの発展と推進があります。
学界では、信頼できるAIに関連する技術コミュニティがあります。これにはAcm Facct、Fair & Responsible AI CHI2020、RAI ICLRなどが含まれます。Acm Facctはフェアネス、アカウンタビリティ、トランスペアレンシーに重点を置いています。政府レベルでは、近年EUが複数のAI法案を公布し、モデルの安全性と説明可能性に明確な要求をしています。中国国内では、深圳が「深圳経済特別区人工知能産業促進条例」を発表し、AIの信頼性、倫理的安全性などに明確な政策要求をしています。
政策要求以外に、各種標準団体も信頼できるAIに関する検討と定義を行っています。ISO/IECの信頼できる人工知能ワーキンググループは、モデルのロバスト性に関連する標準要求を持っています。中国国内では、TC28が発表した「信頼できる標準化ホワイトペーパー」やAIIAが業界と共同で定めた「信頼できる人工知能の研究開発管理ガイドライン」では、信頼できるAIに対して安定性、安全性、フェアネス、信頼性などの要求を明確にしています。
学問や政策の要求以外に、主要企業も積極的に政策要求に応えています。国际上にはグーグル、マイクロソフト、IBMなどが信頼できるAIの発展に対して大きな投資をしており、AIの説明不可能性、フェアネス問題などに関連するツールの開発を発表しています。グーグルのmodel cards、マイクロソフトのFairlearn、IBMのAI Fairness 360などがあります。中国国内ではアリババ、百度、ファーウェイ、メガビジョンなどが信頼できる研究に関するチームを立ち上げており、百度はセキュリティとプライバシーに関連するツールであるPaddleSleeveを発表しています。
▲ 信頼できるAIとは何ですか？
信頼できるAIが業界の発展トレンドであり、各組織でも一定の発展があることを前提に、信頼できるAIとは一体何でしょうか？
AIIAが信頼できるAIのために定めた「信頼できる人工知能の研究開発管理ガイドライン」によると、信頼できるAIは主に以下の次元から構成されています：信頼性とコントロールの可能性、透明性と説明の可能性、データ保護、責任の明確性、多様性と包括性。
信頼性にはAIのレスポンスタイム、同時並行性、AIの認識効果の正確さ、AIのロバスト性や安全性などが含まれています。透明性と説明の可能性では、AIの決定が透明で説明可能で、その説明が合理的であるかどうかが話されています。データ保護は主にAIのデータの誤用とプライバシーの安全性に焦点を当てています。責任の明確性はAIの決定がリスク事故を引き起こした後の責任分担を意味し、AIの決定がトレーサブルで監査可能で、それに関連するポリシー、倫理、規制の制約も含まれています。多様性と包括性は主にAIのフェアネス問題を指しています。
▲ 私たちは何をしていますか？
会社のオープンソースコラボレーションの発展に伴い、私たちは各大専門評価チームと共同でAI評価Oteamを立ち上げ、各大AIチームのサービスに努めています。信頼できるAIの業界発展トレンドに伴い、AI評価Oteamも信頼できるAIチームと共同で、標準、信頼できるアルゴリズム、信頼できる評価から共同で信頼できるAIを構築しています。
現在のAIアルゴリズムは、フリーランチニング定理に従い、特定のシナリオに焦点を当てた垂直アルゴリズムです。そのアプリケーションシナリオは、特定のクローズドワールドに基づいており、そのワールドに基づく実際のデータ分布を形成しています。AIアルゴリズムのトレーニング中、トレーニングデータは開発者の先验知識に基づいて構築され、トレーニングデータの分布と実際のデータ分布には違いがあります。その差異はアルゴリズムの効果に直接影响を与えます。アルゴリズムの評価段階では、評価データの分布にも差異があります。評価データの分布はできるだけ実際のデータ分布に近づくべきです。また、評価全体において、私たちは評価セットに基づいてアルゴリズムを評価し、アルゴリズムの良し悪しは完全に評価セットの分布に依存します。
信頼できるに関する定義とビジネスプラクティスに基づき、信頼できる評価を3つの段階に分けています。可用性、信頼性、信頼性です。
1、可用性
可用性とは、AIアルゴリズムが実際のデータ分布に対してその分布のデータを認識する確率や期待値を指します。
可用性は全体的な認識効果に焦点を当てています。
可用性評価段階では、評価セットはクローズドワールドに比べて、どのような収集方法を用いても、最終的に実際の分布に対してはバイアスを持っています。評価セット自体と実際のデータ分布の類似度はどの程度か、どのように評価セットの分布をスコアリングまたは誤差推定を行うか？可用性評価の評価方法と指標は科学的で合理か？評価指標の信頼区間とは？など、可用性評価段階で解決する必要のある問題です。
可用性評価には、AIアルゴリズムサービスの可用性も含まれており、サービスの同時並行性やサービスの安定性などが含まれます。
キーワード： 評価セット分布の合理性、評価方法と指標、指標の信頼度
2、信頼性
信頼性とは、AIアルゴリズムが実際のデータ分布に対してその分布から逸脱したデータを認識する確率や期待値を指します。
信頼性はアルゴリズムのリスク抵抗力に焦点を当てており、モデルのロバスト性やロバスト性を考察しています。
リスクはどこから来るのですか？リスクは実際の分布に比べてのout-of-distribution data(OOD)から来ます。OODデータは実際の分布にとって未知のデータであり、未知のデータは既知の分布のデータに一定のオフセットを加えたものです。小さなオフセットはノイズで、大きなオフセットは外れ値です。
小さなオフセットはデータ拡張を使用して、モデルの決定境界にあるデータを生み出そうとし、これらの境界データの効果はモデルの汎化性を測るのに非常に役立ち、過適合かどうかを判断できます。良いモデルは決定境界をできるだけ平坦にすべきです。既知のデータに基づいてデータを揺らし、アルゴリズムが揺らしデータに対する抗干扰能力を見ることで、ノイズレベルのリスク処理能力を測ることができます。大きなオフセットは対抗的または生成的な方法を使用して顕著なOODデータを生成する必要がありますし、またはセキュリティ攻撃を使用してセキュリティ攻撃サンプルを構築し、モデルがこれらのデータに対して決定する際の不確実性が高いです。
キーワード： データ拡張、モデル対抗、モデルセキュリティ攻撃
3、信頼性
信頼性とは、AIアルゴリズムが実際のデータ分布に対して認識結果が信頼できる確率を指します。
信頼性はアルゴリズムの認識結果の信頼可能性に焦点を当てており、信頼性、可用性、安全性、透明性/説明可能性、フェアネスなどが含まれます。
そのうち、透明性（説明可能性）やフェアネスはどう評価するかが解決する必要のある問題です。説明可能性の評価とは、モデル決定の信頼性を評価し、モデル説明の合理性、一貫性などを測ることです。また、モデルが出力結果の不確実性を評価し、モデル決定の信頼度をどれだけ持っているかを測りますか？フェアネスとは、モデルが特定の保護グループに対する扱いがフェアであるかどうかを評価することです。例えば、異なる性别の音声認識効果はフェアですか？異なる肌色の顔認識効果はフェアですか？などです。
信頼性評価には、人工知能のトレーサビリティまたはアカウンタビリティも含まれており、ログやその他の方法を使用して認識パスを追跡し、異常が発生した際に責任分担を行うことができます。
信頼性評価には、人工知能のデータ信頼性も含まれており、アルゴリズムが使用するデータが規則に従い、プライバシーポリシー、AI倫理に合致しているかどうかが問題です。
キーワード： 説明可能性、不確実性評価、フェアネス、アカウンタビリティ、プライバシー保護
可用性はAIアルゴリズムの能力の上限を評価し、信頼性は能力の下限を評価します。信頼性はAIアルゴリズムの最終目標であり、能力の上限と下限を知る前提で、能力が認められる程度です。
▲ 私たちはどのように行っていますか？ AI評価プロセス全体を組み合わせて、AI評価を3つの能力に分解しています。方法+データ+ツール。
方法とは評価方法を指し、私たちはそれを評価基準に昇華させています。基準的な方法で、私たちは常に会社の基準チームと共に、信頼できるAI評価の方法と考え方を外部にアウトプットし、会社の内部で対応する企業基準を蓄積しています。ツールでは、信頼できるAIの評価フレームワークART（available, reliable, trustworthy）を構築し、AIアルゴリズムが可用性、信頼性、信頼性を有するかどうかを評価し、音声、画像、テキストの3つの分野のAIアルゴリズムをカバーしています。同時に、AIE評価プラットフォームを蓄積し、多种のAIアルゴリズムのワンクリック評価ツールを網羅し、体系的にAI評価の各リンクの複雑な仕事を解決し、公平で信頼性のあることを期待しています。データでは、aidataチームと共に多くの説明可能性の評価セットを構築し、データの質とデータの説明でさらに多くの記事をします。
可用性、信頼性、信頼性の評価角度では、可用性は評価セット分布の合理性、指標の誤差、アルゴリズムのフェア比較などを描写します。信頼性はデータ揺らしを使用してモデルがノイズに対する抗干扰能力を測る方法と、モデル対抗を使用してOOD(out-of-distribution)データのリスクを測ります。信頼性はモデル説明の合理性、モデルが保護グループに対するフェアネス検出などを評価します。
aiスピーキング
ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？
