生体情報の合成となりすまし検知

Fake facial videoの検知

　顔，音声，自然言語などの人間由来のデータを大量にAIに学習させることで，本物と見紛う顔映像，音声，文章といった「シンセティックメディア」の生成が技術的に可能となりました．このような技術には私たちの社会を豊かにする活用方法も多く考えられますが，悪用された場合には詐称や情報操作などが起きる可能性もあります．とりわけ，映像中に映りこんだ顔を他人の顔に置き換えたDeepfake映像が，現在では社会的に問題になっています．私たちは，2018年に世界で初めてCNNベースによるfake facial videoの検出手法を発表しました．CNNベースの検出器はfake facial video検出の精度を上げるために，多層化や層のサイズ増大が必須となるため，私たちは2019年にコンピュータビジョンのタスクに用いられていたCapsule Networkを改良して，Capsule-Forensicsと呼ばれるfake facial video検出手法を提案しています．さらに，Multi-task learningを用いて，fake facial videoの真贋判定と改ざん領域推定を同時に行うモデルも提案しています．現在，さらなる精度向上と軽量化を目指した改良を行っています．

Capsule-Forensicsの原理

Realとfakeビデオの判別

参考文献

D. Afchar, V. Nozick, J. Yamagishi, and I. Echizen, "MesoNet: a Compact Facial Video Forgery Detection Network", Proc. of the IEEE International Workshop on Information Forensics and Security (WIFS 2018), pp.1-7, December 2018, Preprint, Demo video, code
Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen, "Capsule-forensics: using capsule networks to detect forged images and videos", Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 5 pages, (May 2019), Preprint, Demo video, code
Huy H. Nguyen, Fuming Fang, Junichi Yamagishi, Isao Echizen,"Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos", Proc. of the BTAS 2019,8 pages,(September 2019) Preprint, Demo video, code
Huy H. Nguyen, "Deepfake Generation and Detection – An Overview", 第27回画像センシングシンポジウム, June 2021, Slides, Presentation Video

Fake review / fake newsの生成・検知

　GPT-3やBARTといったニューラル言語モデルの進展により，自然で流暢な文章の自動生成が容易になりつつあり，文書分類や自動要約などの様々な用途に用いられています．一方で，ニューラル言語モデルの悪用により，ECサイトの商品・サービスに対するフェイクレビューの自動生成や，ネット上のフェイクニュースの自動生成に用いられるといった脅威が存在します．私たちは，ニューラル言語モデルを用いて，人間が作成した商品やサービスに対するレビューをシードとして，positive/negativeといった感情を維持しつつ大量のフェイクレビューを自動生成する手法を考案し，同時に生成されたフェイクレビューを検知する手法について検討しています．さらに，人間が作成したニュース記事をシードとして，ニュース記事の左派／右派といったバイアス度合いを強調した大量のフェイクニュースを自動生成する手法およびそれらのニュースを検知する手法についても検討しています．

Fake biased reviewの生成と検知

Biased fake newsの生成と検知

参考文献

David Ifeoluwa Adelani, Haotian Mai, Fuming Fang, Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, "Generating Sentiment-Preserving Fake Online Reviews Using Neural Language Models and Their Human- and Machine-based Detection", Advanced Information Networking and Applications (AINA 2020), pp.1341-1354, April 2020, Link
S. Gupta, H. Nguyen, J. Yamagishi, and I. Echizen, "Viable Threat on News Reading: Generating Biased News Using Natural Language Models", Proc. of the NLP+CSS Workshop at EMNLP 2020, 11 pages, November 2020, Preprint

Fake facial image/video検出の性能向上を目指した高品質な大規模データセットの構築

　現在，多くのfake facial image/video検出手法が提案されていますが，これまでの検出手法は，顔検出が既に行われているという前提でモデルが作られており，モデルへの入力は常に検出された1枚の顔画像でした．その結果，画像の中に複数の顔が映りこんでいる場合は，一つ一つの顔画像を検出してからシーケンシャルにモデルで真贋判定を行うため，非常に非効率という問題がありました．近年，画像内の複数のオブジェクトを同時に検出するというobject detectionモデルが提案されており，将来的にはfake facial image/video検出もそのようなモデルになるだろうと想定しています．そこで私たちは，自然画像の中に複数顔が写る画像を大量に含む高品質なfake facial image/video検出および改ざん領域推定用のデータセットを構築しようと考え，OpenForensicsと呼ばれる3万4千個の顔を配した11万5000枚の画像からなるデータセットを構築し，公開しました．

OpenForensics datasetの概要

参考文献

Trung-Nghia Le, Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, "OpenForensics: Large-Scale Challenging Dataset For Multi-Face Forgery Detection And Segmentation In-The-Wild" ICCV 2021, accepted, October 2021, Preprint presentation video, dataset

Master faces: 顔認証システムに対するウルフ攻撃

　顔認証をはじめとするバイオメトリクス認証は、その利便性からますます主流になりつつありますが、攻撃者の格好の標的となっています。代表的な攻撃方法として、プレゼンテーション攻撃やフェイスモーフィングがあります。これまでの研究で，指紋認証は，ウルフサンプルが多数の登録ユーザのテンプレートと一致するウルフ攻撃に弱いことがわかっています。私たちは，機械学習モデルにより生成したMaster faceと呼ばれる合成顔により，顔認証システムを危険にさらす可能性があること、そしてMaster faceの概念を一般化できることを示しました。具体的には，顔生成器であるStyleGANを用いて、潜在変数進化と呼ばれるプロセスにより、高品質なMaster faceを生成し，Master faceによる攻撃が可能なことを実証しました。

Master facesの概要

参考文献

Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, Sebastien Marcel, "Generating Master Faces for Use in Performing Wolf Attacks on Face Recognition Systems", Proc. of the 2020 International Joint Conference on Biometrics (IJCB 2020) , 10 pages, Sept. 2020 Preprint
Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, Sebastien Marcel, " Master Face Attacks on Face Recognition Systems", Preprint

メディア処理に耐性を持つ敵対的サンプルの生成

　私たちがSNS等で共有する写真や映像には，自身または他人の顔や姿が映りこむケースがありますが，これらを機械学習モデルで解析することで，被撮影者や撮影者のプライバシーが侵害される可能性があります．このような脅威を含め，サイバー空間で共有したコンテンツを不用意に第三者に解析されないことを目的として，画像を対象にした敵対的サンプルの生成手法を検討しました．本手法で生成される敵対的サンプルの要件として，見た目の違和感を低減するtransparencyと，写真を共有する際に施されるJPEGなどのメディア処理に対しても敵対的サンプルとしての有効性を維持するrobustnessとの両立が重要となります．具体的な検討として，person segmentationを解析の例として取り上げ，Target Imageの衣服の領域に対してテクスチャを変更することで，transparencyを維持しながらperson segmentationを不能とし，かつJPEG圧縮に対して一定のrobustnessを持つFashion-Guided Adversarial Attackを提案しました．

Fashion-Guided Adversarial Attackの概要

参考文献

Marc Treu, Trung-Nghia Le, Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, "Fashion-Guided Adversarial Attack on Person Segmentation", Computer Vision and Pattern Recognition WORKSHOP ON MEDIA FORENSICS 2021, accepted, June 2021, Preprint, Presentation Video, code/dataset

顔と音声の同時変換

　人の顔と音声を他人の顔と音声に変換する技術は多く提案されていますが，顔の表情と音声には強い相関があるにも関わらず，これまでは，顔と音声の変換はそれぞれ別の処理として扱われていました．そこで，顔と音声の同時変換手法を提案しました．変換モデルはまずソース話者に対して，顔の特徴と音声の特徴を抽出します．次に抽出した顔特徴と音響特徴を同時変換モデルに入力し，特徴を融合させます．最後に出力した特徴からターゲット話者の顔映像及び音声波形に戻すことで変換を行います．

顔と音声の同時変換仕組み

参考文献

Fang, Fuming, et al. "Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics." ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019.
Fang, Fuming, et al. "High-quality nonparallel voice conversion based on cycle-consistent adversarial network." 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018.