GAN (Generative Adversarial Networks) によって医用画像のデータ拡張を行う研究の結果を日本医用画像工学会の学会誌 Medical Imaging Technology に論文発表しました。リサーチアシスタントの韓さんとRCMBの村尾特任准教授、佐藤センター長の連名の論文です。

GANを利用して医用画像をデータ拡張する方法をチュートリアル形式で紹介し、脳のMRI画像からPGGANによって腫瘍の脳転移画像を生成する実例を紹介しました。このデータ拡張により、脳転移腫瘍の検出精度を10パーセント前後向上させうることを示しました。

Changhee Han, Kohei Murao, Shin’ichi Satoh, Hideki Nakayama

Medical Imaging Technology, May 2019, Volume 37, Issue 3, pp 137–142

Abstract

Convolutional Neural Network (CNN)-based accurate prediction typically requires large-scale annotated training data. In Medical Imaging, however, both obtaining medical data and annotating them by expert physicians are challenging; to overcome this lack of data, Data Augmentation (DA) using Generative Adversarial Networks (GANs) is essential, since they can synthesize additional annotated training data to handle small and fragmented medical images from various scanners―those generated images, realistic but completely novel, can further fill the real image distribution uncovered by the original dataset. As a tutorial, this paper introduces GAN-based Medical Image Augmentation, along with tricks to boost classification/object detection/segmentation performance using them, based on our experience and related work. Moreover, we show our first GAN-based DA work using automatic bounding box annotation, for robust CNN-based brain metastases detection on 256×256 MR images; GAN-based DA can boost 10% sensitivity in diagnosis with a clinically acceptable number of additional False Positives, even with highly-rough and inconsistent bounding boxes.

https://doi.org/10.11409/mit.37.137

この号のMITには、名古屋大学森研究室の小田先生が特集「医用画像処理におけるGenerative Adversarial Networksの利用」を組まれました。GANによる画像変換、データ拡張、超解像に関する4編の論文が掲載され、本論文発表はこの4編の論文の一つです。奈良先端科学技術大学院大学佐藤研究室からも2編の論文が出ています。併せてお読みください。

https://www.jstage.jst.go.jp/browse/mit/37/3/_contents/-char/ja

Medical Imaging Technology, Vol. 37, No. 3, 2019

特集／医用画像処理におけるGenerative Adversarial Networksの利用

発行日: 2019/05/25
公開日: 2019/06/12


特集／医用画像処理におけるGenerative Adversarial Networksの利用 -序文-
p. 123-124
小田 昌宏一


GANを用いた実X線画像からの疑似X線画像変換 ―骨盤傾斜角推定手法の実画像への適用―
p. 125-129
日朝 祐太, 大竹 義人, 松岡 拓未, 高尾 正樹, 菅野 伸彦, 佐藤 嘉伸
人工股関節全置換術において，立位姿勢での骨盤傾斜角は，カップの至適設置角度の術前計画で重要である．立位姿勢での骨盤傾斜角は，仰臥位で撮影されるCT画像からは解析できないため，立位で撮影可能なX線画像を用いた研究が報告されている．これまでに，X線画像と患者個別のCT画像との2D-3D位置合わせ手法が提案されているが，CT画像の撮影には高線量被曝が伴うため，通常臨床では応用範囲が限られている．この問題に対して，われわれは，畳み込みニューラルネットワークによりX線画像のみから骨盤傾斜角を推定する手法を提案し，疑似X線画像を用いたシミュレーション実験を行ってきた．しかし，実画像への適用は，画像中のノイズやX線スペクトラムによる影響のため困難であった．本稿では，敵対的生成ネットワーク（GAN）を用いて実X線画像から疑似X線画像に変換するネットワークを導入し，従来の骨盤傾斜角推定ネットワークを実問題に適用した例について紹介する．


CycleGANを用いたCT-マルチパラメトリックMR画像変換
p. 130-136
松岡 拓未, 日朝 祐太, 大竹 義人, 高尾 正樹, 高嶋 和磨, 菅野 伸彦, 佐藤 嘉伸
医用画像は，撮像モダリティーによって異なるコントラスト特徴を示す．臨床では一般に，用途に応じて異なる複数のモダリティーの画像が撮影されるが，複数モダリティーでの撮影は時間やコストがかかる．本研究では，1つのモダリティーの画像から，別のモダリティーと同様のコントラスト特徴を有する画像を生成することを目的とする．従来，異種モダリティー画像生成には，同一患者を同一肢位で，複数モダリティーで撮影した「対応あり」の学習データが必要であったが，近年CycleGANとよばれる，対応なしの学習データでも画像生成が可能で，かつ双方向の生成が可能な手法が提案された．これまでに報告されているCycleGANを用いたCT-MR間の画像生成技術は，1種類のシーケンスで撮影されたMR画像のみを扱っていた．本稿では，CycleGANを用いて，3種類のシーケンスで撮影された股関節周辺のMR画像とCT画像の相互変換を行うアルゴリズムについて報告する．


医用画像におけるGANを用いた超解像処理
p. 143-146
戸澤 賢樹, 斉藤 篤, 清水 昭伸
Generative Adversarial Networks（GAN）は，ノイズ除去，画像変換，超解像など幅広いタスクに応用され，品質の高い画像を復元できることで知られている．本稿では，医用画像処理におけるGANを用いた超解像処理について述べる．具体的には，高解像度（high resolution: HR）画像を生成するGeneratorと，生成されたHR画像か訓練データ内のHR画像かを識別するDiscriminatorの2つのネットワークから構成される．これらのネットワークを交互に訓練することによって，HR画像を生成するGeneratorを訓練する．GANを使うことによって，復元HR画像からボケが消え，視覚的に優れたHR画像が得られることを示す．