概要
RunwayのAct-One機能は、AIビデオ制作に革命的な変化をもたらしました。この機能により、ユーザーは簡単な入力だけで、豊かな表情を持つキャラクターアニメーションを迅速に生成することができます。Act-Oneは、技術的ハードルを下げることで、より多くのクリエイターが新しい物語表現形式や芸術表現方法を探求できるようにし、インディペンデント映画制作やデジタルメディア分野に革新的な意味を持っています。Act-Oneは、顔の表情をキャプチャする能力においても優れており、複雑なシーンでの俳優の感情の深さと演技スタイルを正確に捉えることができます。
背景
2022年末に最初のAIビデオモデルが登場して以来、AIビデオ技術は画面のリアルさ、解像度、忠実度の向上、およびユーザー入力のテキストヒントやビデオ説明とのマッチング度向上など、多くの方面で著しい進歩を遂げてきました。しかし、多くのAIビデオクリエイターにとって、顔の表情をキャプチャし、AI生成キャラクターにリアルに再現することが長期的な課題でした。通常、AIキャラクターの表情は、予想される自然さや正確さに達することができず、創作の自由度を制限していました。
Act-Oneの登場
この長期的な課題に解決策が登場しました。ニューヨークのAIスタートアップ企業Runwayは、Googleなどの大企業の支援を受け、革命的な新機能「Act-One」を発表しました。この機能により、ユーザーはスマートフォンに内蔵されたビデオカメラを含む任意のビデオカメラを使用して、自分自身や俳優の顔の表情を録画することができます。その後、これらの表情は非常に高い精度でAI生成キャラクターにマッピングされ、これまでにないリアルさを実現します。この革新的なツールの登場は、AIビデオ制作分野に革命をもたらすでしょう。
Act-Oneの提供開始
Runwayの最新ブログによると、彼らは当日からこの無料の革新的なツールを段階的に提供開始します。「すべてのRunwayユーザーがAct-Oneを試すことができます」とのことですが、積み上げられたポイントが十分で、Gen-3 Alphaモデルを使用したことがあるユーザーのみが、すべての機能を使用することができるでしょう。
Gen-3 Alphaモデルは、先進的なAIビデオ生成能力を持ち、テキスト記述、画像、または既存のビデオから新しいコンテンツを生成することができます。ユーザーはシーンの説明を提供し、静止画像やビデオをアップロードし、甚至これらの異なる入力要素を組み合わせることができます。Gen-3 Alphaはこれらの情報を総合し、ユーザーのニーズに合致した新しいビデオシーンを生成します。
伝統的な複雑で機材の多い制作プロセスの簡略化
従来、顔アニメーションの制作は、モーションキャプチャ装置、手動の顔バインド、マルチアングルのリファレンス映像など、複雑で煩雑なプロセスでした。ファンは、『ロード・オブ・ザ・リング』シリーズ、『アバター』、『猿の惑星』などのSFやアクション映画のメイキングを見ながら、このプロセスの複雑さと挑戦を感じ取ることができます。俳優たちの頭にはしばしば重い機材がついていました。
豊かな顔の表情を正確にキャプチャするために、デビッド・フィンチャー監督とそのチームは『ベンジャミン・バトン/時間の贈りもの』の制作中に新しい3Dモデリング技術を開発し、この革新が彼らにアカデミー賞をもたらしました。
近年、ソフトウェアやAIスタートアップ企業、例えばMoveは、正確なモーションキャプチャに必要な機材を減らすことを試みました。RunwayのAct-Oneは、モーションキャプチャ装備や複雑なキャラクターバインドに頼ることなく、様々なスタイルやデザインのキャラクターに簡単にアニメーションを追加することができます。ユーザーは単に簡単なビデオを提供するだけで、演技の細部、例えば微妙な目の動き、繊細な顔の表情、リズムの正確な把握などを一つまたは複数のスタイルの異なるAI生成キャラクターに転送することができます。このプロセスはアニメーション制作を大幅に簡略化し、クリエイターが現実世界の演技を仮想キャラクターの生き生きとした表現に簡単に変換できるようにします。
Runwayはソーシャルメディア上で次のように述べています。「Act-Oneは、単一のビデオソースからの演技の細部を多様なキャラクターデザインと異なる表現形式に変換することができます。」
Runwayのこの方法は、アニメーター、ゲーム開発者、映画製作者にとって顕著な利点をもたらし、俳優の顔の表情を正確にキャプチャしながら、異なるキャラクターデザインや体型比例に適応し、本物の感情と個性を持つユニークなキャラクターの創造に無限の可能性を提供します。
各種カメラアングルで映画級のリアル感を提供
Act-Oneの強みは、多様なカメラアングルと異なる焦点距離で、映画品質のリアルな画面を作り出せる点にあります。この特性により、クリエイターはキャラクターを使って感情豊かな物語を語りやすくなります。過去、これは高価な機材と複雑な制作が必要でした。
このツールは、俳優が複雑なシーンで表現する感情の深さと独特の演技スタイルを正確にキャプチャし、最も微妙な表情や動作も逃しません。この技術の進歩により、クリエイターたちはキャラクターに活力を注入する新しい方法で、真人撮影やアニメーション制作において、より豊かな物語表現の可能性を示すことができます。
Runwayは以前にもビデオからビデオのAI変換技術をサポートしていましたが、ユーザーは自分のビデオをアップロードし、Gen-3 AlphaやGen-2などの早期のRunway AIビデオモデルを使って、キャラクターの「スキンチェンジ」にAIエフェクトを適用することができました。しかし、Act-Oneの新機能は顔のマッピングとエフェクトに特に最適化されています。
より広いビデオ物語表現能力の開拓
Act-Oneは、その卓越した機能によりビデオ物語表現の可能性を大幅に高めました。現在では、普通のコンシューマーカメラ一台で、一人の俳優が異なるキャラクターを演じ、Act-Oneがそれぞれのキャラクターにユニークな表現を創造することができます。この技術は、物語コンテンツ制作方法の革新を予兆しており、特にリソースに制限されるインディペンデント映画やデジタルメディア分野では、クリエイターにかつてないほど便利さを提供します。
公人キャラクターの安全と保護に関して、Act-OneはRunwayの他の製品と同様に、包括的な安全対策が備わっています。これらの対策には、公人キャラクターの未承諾の生成を防止するものや、音声の使用権を確保する技術ツールが含まれます。
未来への展望
Act-Oneの段階的な導入に伴い、Runwayはアーティスト、映画製作者、以及其他クリエイターがこの新しいツールを使ってどのようにアイデアを実現するかを熱望しています。Act-Oneがあれば、複雑なアニメーション技術はより広いクリエイターのグループにとって手の届くものとなり、より多くの人々が新しい物語表現形式や芸術表現方法を探求することができます。
この記事は「騰訊科技」から来ており、翻訳：無忌、36氪は許可を得て発表しました。
この記事の見解は著者自身のものであり、36氪プラットフォームはただ情報保存空間サービスを提供するだけです。
aiスピーキング
ドルフィンAIは言語学習アプリケーションのためのプロフェッショナルな発音評価API(pronunciation assessment api)ソリューションを提供します。音素、単語、文章、チャプター、発音矯正、単語矯正、クイズ、フリーダイアログ、多肢選択問題など幅広く提供しています。当社の発音評価製品（pronunciation assessment）は、英語と中国語、クラウドAPI、オンプレミス、オフラインデバイスの展開をサポートしています。当社の発音評価API（pronunciation assessment api）は、正確性、流暢性、完全性、リズムの次元をカバーする豊富な評価指標を提供し、音素、単語、文の異なるレベルの評価スコアも提供します。また、音素、単語、文の異なるレベルでの評価スコアも提供します。数千万人のユーザーに安定した効率的で安全なサービスを提供しています。ドルフィンAIの発音評価製品（pronunciation assessment）を試してみませんか？
