研究概要

研究背景

スマートフォンやソーシャル・ネットワーキング・サービス（SNS）の普及により，誰でも画像・映像・音声・自然言語などのメディアを発信・共有することが可能になった．人工知能（AI）技術は，SNSの利便性や価値を大幅に高め，ユーザのニーズに応じた機械翻訳，音声テキスト変換などのメディア処理や，大量のメディアからユーザの嗜好を分析することが容易となっている．一方で，AIの技術進化と計算機資源の充実により，顔，音声，身体，自然言語などの人間由来の情報を大量に学習することで，本物と見紛うフェイク映像，フェイク音声，フェイク文書といったフェイクメディア（FM）の生成が技術的に可能となり，社会問題となっている．

新型コロナウイルス感染症（COVID-19）の感染拡大時には，科学的根拠のない予防法や治療法に関わるフェイクニュースや，望遠レンズ付きカメラで特定の方向から街中を撮影して意図的に密集状態を演出した写真がSNS上で拡散され，社会に恐怖や混乱を引き起こす不確かな情報の氾濫「インフォデミック」が生じた．今後，愉快犯や，明確な意図を持った攻撃者グループにより，AIを用いて本物と見紛うフェイク映像，フェイク音声，フェイク文書を自由自在に生成し，SNS上で拡散させることで，インフォデミックを引き起こすことや，事実ではない特定の情報を繰り返し視聴させることによる思考誘導や世論操作が容易に実行可能となる恐れがある．人間中心の健全なサイバー社会を実現するためには，このような脅威に適切に対処することで，情報の信頼性を向上させ，同時に，多様なコミュニケーションと意思決定を支援することが不可欠となる．

研究目的

本研究課題は，AIにより生成されたFMがもたらす潜在的な脅威に適切に対処すると同時に，多様なコミュニケーションと意思決定を支援するソーシャル情報基盤技術を確立することを目的とする．具体的には，AIにより生成されたフェイク映像，フェイク音声，フェイク文書などの多様なモダリティによるFMを用いた高度な攻撃を検出・防御する一方で，信頼性の高い多様なメディアを積極的に取り込むことで人間の意思決定や合意形成を促し，サイバー空間における人間の免疫力を高めるソーシャル情報基盤技術を確立する．本研究課題では，AIにより生成されるFMとして3つの型を取り上げる．具体的には，本物に限りなく近いが本物ではないメディアクローン（MC）型FM，世論操作などを目的として素材となるメディアを意図的に編集して生成したプロバガンダ（PG）型FM，人間には識別困難だが，AI技術を誤動作・誤判定させることを目的に生成した敵対的サンプル（AE）型FMを取り上げ，これらのFMを生成，検出する技術を確立する．さらに，FMによる思考誘導，誤動作・誤判定が生じないように，FMをメディア処理した上で通常のメディアとして活用する「無毒化」についても検討を行う．これらの技術を用いて意思決定の補助情報を提示する実験用SNSを構築し，1,000人規模の行動実験によって検証する．

研究実施項目

本課題はSecurity(SEC)領域（国立情報学研究所越前グループ），Multimedia(MM)領域（大阪大学馬場口グループ），Computational Social Science(CSS)領域（東京工業大学笹原グループ）が各領域における専門知識を駆使して，領域間の連携を取りながら以下の研究実施項目に相補的に取り組む．

多様なモダリティによる高度なFM生成技術（主担当：MM領域）：今後のサイバー社会で脅威となるFM生成技術を確立する．映像（顔，身体など），音声，文書などの多様なモダリティに対して，人間またはAI技術を騙す，あるいはその双方を騙すことを目的としたFM生成技術を確立するとともに，FM生成の法律的側面についても検討する．
FM検出・防御技術（主担当：SEC領域）：(1)で生成した多様なFMを対象とした高度な検出・防御技術を確立する．本課題では，FMの検出だけではなく，FMがどのような意図（例：騙す対象は人間かAI技術か）で生成されたのか，説明可能な形式でユーザに情報を提供することを目指す．
FM無毒化技術（主担当：MM領域，SEC領域）：人間やAI技術を対象とした，思考誘導，誤動作・誤判定が生じないようにFMを無毒化し，通常のメディアとして機械学習モデルの学習データに活用するFM無毒化技術を確立する．
インフォデミックを緩和し多様な意思決定を支援する情報技術（主担当：CSS領域）：SEC領域とMM領域で開発するFMの生成・検出や無毒化に関する要素技術を最大限に活かし，情報の信頼性を高める社会システムの原理と技術を確立する．