NII RCMBでは、2021年度より順天堂大学ならびに名古屋大学と共同で国立研究開発法人情報通信研究機構 (National Institute of Information and Communications Technology, NICT) の委託研究「ウイルス等感染症対策に資する情報通信技術の研究開発」に取り組んでいます。研究課題は「課題A ウイルス等感染症により発生するパンデミック対策に資するICT (採択番号 222A03)」です。

研究開発の背景と目的

SARS-CoV-2 (新型コロナウイルス) 感染によって引き起こされる感染症COVID-19のパンデミックは医療サービスを供給するリソースの逼迫を来たし、COVID-19患者への対応のみならず、それ以外の医療受給者への深刻なサービス水準の低下をもたらしました。このような世界的な緊急事態に際しては、平常時と同程度の医療サービス水準を維持することに加えて、緊急事態に対応した適切な医療サービスを迅速に供給することが求められます。医療サービスを供給するリソースの第一は医師や看護師、技師などの人的資源なのですが、緊急事態に柔軟に対応できる経験豊かな優れた人材を多数、かつ即座に確保することはとても困難です。

そこで、ICTを活用した診断支援技術を速やかに開発し、医療現場に迅速に投入することができれば、いくらかであっても人的資源の逼迫を緩和することができます。ここで、例えば医療現場のX線CT画像撮影装置にAI によるCOVID-19肺炎症状診断支援機能を搭載し、感染者の瞬時の特定、重症度や予後の判定を行うことができれば、医療現場の負担を大きく軽減することができます。加えて、画像情報だけでなく検査値や所見文などの医療情報を収集、統合したAI診断技術の研究開発も、さらなる精度向上のために必要です。そのためには、画像を含めた医療情報をICT活用により全国の病院から一元的に蓄積、活用するプラットフォームを常時稼働しておくことが不可欠です。

この課題では、上述のようなAIによる診断支援技術を平常時から研究開発し、緊急事態にあっては必要な医療支援を速やかに臨床現場へ供することを可能とするために、ICTを活用した医療情報の蓄積と機械学習によるデータ解析の機能を統合したプラットフォームであるクラウド基盤を整備・運用します。さらに、毎日蓄積している医療情報を統合解析し、必要なときに必要な学習データを迅速に準備して診断支援AIの研究開発を加速するプラットフォームを目指します。

研究開発の概要

具体的には、次の二つの研究開発を実行しています。

  1. 日本医学放射線学会が運営する日本医用画像データベース (J-MID) から学術ネットワークSINETを通じて悉皆的にCT画像を受け入れる仕組みを利用し、COVID-19肺炎症例および対照症例をアノテーション情報を含めて収集し、学習データを準備する。
  2. NIIが運用する医療ビッグデータの収集、解析プラットフォームであるクラウド基盤について、SINETを通じた外部の計算リソースとの基盤連携を行う。

NICT 222A03 付図説明 – クラウド基盤に日々送られてくるCT画像から肺野のシリーズを抽出し、COVID-19肺炎の典型度を判定する診断補助AIを稼働しました。判定結果を日毎に集計してサーベイランスとしています。基盤連携では、名古屋大学で情報基盤センターのスーパーコンピュータとSINET6を経由して接続し、機械学習計算を遠隔の計算資源を利用して実行する環境を整備しています。グラフ中の日毎のCOVID-19による死亡者数 (灰色棒グラフ) は厚生労働省のオープンデータを利用しました。
厚生労働省オープンデータ https://www.mhlw.go.jp/stf/covid-19/open-data.html

NIIと順天堂大学、名古屋大学は分担して以下の各研究開発項目に取り組みました。

NII: 研究開発項目1 データベース基盤とネットワークを活用したAI学習基盤

  • COVID-19肺炎にかかる学習用データセットの作成
  • 大規模データベース（NII）と遠隔地にある計算資源（名古屋大学）との基盤連携を実現する実験

順天堂大学: 研究開発項目2 COVID-19 肺炎のCT画像収集と臨床的な評価

  • 2,164例の放射線診断専門医の読影によるRSNA分類とアノテーション付与
  • 順天堂大学附属順天堂医院で実証実験用ソフトウェアの適用
  • サーベイランスシステムのためのAI陽性判定症例数の経時的な収集

名古屋大学: 研究開発項目3 AIアルゴリズム開発と実証用ソフト実現

  • CT画像からの自動識別を行うCOVID-19診断補助AIの改善実施、約92%の分類精度を実現
  • 診断補助AIを用いた実証実験用ソフトウェアを実装
  • 継続的にAIの自動判別結果を得ることでサーベイランスシステムの運用

研究成果

NII: 研究開発項目1 データベース基盤とネットワークを活用したAI学習基盤

  • COVID-19肺炎にかかる学習用データセットの作成
    • CT画像によるCOVID-19肺炎の典型度判定を行うAIの研究開発に必要な十分な数の学習データを得るために、日々収集されるCT画像から適切なデータを抽出するワークフローを構築しました。J-MIDよりNIIへ送られてくるCT画像は全身を対象としたものであり、その中には頭頸部のみ、あるいは腹部のみといった、肺野が含まれないものも多く含まれます。したがって、まず肺野が含まれるCT画像のシリーズへ絞り込む必要があります。学習用データには、放射線学会が指定した基準で付与されたアノテーションが必須です。クラウド基盤上には多施設から送られてくるアノテーション情報を画像や所見文などとは別に収集する仕組みを持っており、今回これをCOVID-19肺炎の判定用に利用しました。その結果、毎日十数万枚送られてくるCT画像から、合計で2,164例のCT画像シリーズを得て開発用のデータセットを作成しました。後述するサーベイランスシステム用のデータについては、所見文から肺に関する情報を検索し、これを利用することで肺野を含むCT画像シリーズを効率よく抽出することができました。

  • 大規模データベース（NII）と遠隔地にある計算資源（名古屋大学）との基盤連携を実現する実験
    • NIIが保有する医療画像大規模データベースと名古屋大学情報基盤センターのスーパーコンピュータを接続し、COVID-19画像解析を実施するための方式を検討し、実証実験環境を設計、試行しました。実験に際して、セキュリティを確保しつつ計算性能を担保することを考慮し、起こりうる障害に対する耐性や反応についても考慮しています。まずセキュリティを確保するため、NII柏分館に設置した試行実験用のストレージサーバと名古屋大学に設置したGPUサーバとを学術ネットワークSINET6 L2VPNを用いて接続しました。接続方式としては、元データをGPUサーバに残さないことを前提に、NFSやSSHFS、その他のオープンソースのツールを検討した結果、SSHFSを採用する方針となりました。実際にNII柏分館に置いたデータに300km以上遠隔地の名古屋大学のGPUサーバから機械学習のI/Oを動作させ、速度性能に問題の無いことを確認しています (回線速度10Gbps：逐次処理で約0.8Gbps、3並列処理で約1.6Gbpsの速度)。SSHFSでも接続オプションの選択でセキュリティの問題が発生しないようノウハウを蓄積しています。起こりうる障害については、特に機械学習中のネットワーク切断やストレージサーバのダウンについて検証を行い、セキュリティ上やメンテナンス上の問題が発生しないことを確認しました。以上の基盤連携の設計・検証により、2023年度以降に実運用に入れる目途が立ちました。

順天堂大学: 研究開発項目2 COVID-19 肺炎のCT画像収集と臨床的な評価

  • 2,164例の放射線診断専門医の読影によるRSNA分類とアノテーション付与
    • COVID-19感染患者の胸部CTを放射線診断専門医の提言に従って、
    （１）COVID-19肺炎に典型的な所見を有するもの
    （２）典型的とは言えない非特異的な所見で不確定なもの
    （３）非典型的なもの
    （４）肺炎の所見がないもの
    の4つに分類しました。2020年7月から2021年6月までに撮影されたCTのうち、PCR検査でCOVID-19感染が証明された症例を抽出し、それぞれの症例を放射線診断専門医が読影して（１）〜（４）に分類しました。その結果にEIRLアノテーションソフトでアノテーションを付与、合計2,164例のCOVID-19肺炎に関連するアノテーション付き画像データをJ-MIDオンプレミスサーバーを経由してNIIクラウド基盤に送信しました。

  • 順天堂大学附属順天堂医院で実証実験用ソフトウェアの適用
    • 順天堂大学附属順天堂医院で利用しているAIプラットフォームに名古屋大学で開発した実証実験用ソフトウェアを組み込みました。このプラットフォームでは1分毎にPACSにQ/Rをかけ、自動的に胸部CT画像を抽出し、AIの検証を行っています。医療機器ではないため判定結果をPACSに返すことはできないのですが、リモートデスクトップを利用して読影端末上からプラットフォーム上のAI判定結果「COVID-19 Probability」を参照することは可能です。1日毎の結果をリスト化してCSVに書き出し、順天堂医院でのサーベイランスも行いました。また、ある一日に撮影された胸部CT（90件、有病率0.03）のAI診断結果を検証したところ、RSNA分類を基準にした感度は0.65、特異度は0.74であり、臨床診断では感度1.00、特異度0.68でした。COVID-19肺炎の臨床診断に対する感度が高いものの、特異度はやや低いため、国内における比較的低い有病率の下で発生頻度の軽微な変化を捉えることは難しいですが、常時モニタリングすることで肺炎の発生状況のトレンドを知ることは可能と考えています。

  • サーベイランスシステムのためのAI陽性判定症例数の経時的な収集
    • COVID-19肺炎の発生状況をモニタリングするサーベイランスシステムについては、NIIクラウド基盤に登録されたデータを解析しています。順天堂大学ではJ-MIDに蓄積された140万件を超えるレポートをデータベース化することで機械的に突合できるような環境を整備し、AI陽性判定症例数の正確な経時的な変化を求めることを可能にしました。

名古屋大学: 研究開発項目3 AIアルゴリズム開発と実証用ソフト実現

  • CT画像からの自動識別を行うCOVID-19診断補助AIの改善実施、約92%の分類精度を実現
    • CT画像からの自動識別を行うCOVID-19診断補助AIの性能向上を図るために、AIの構成要素である「(1)肺野・異常陰影セグメンテーションAI」、画像所見に基づいてCOVID-19症例の可能性を判定する「(2)判別AI」それぞれの精度を改善しました。「(1)肺野・異常陰影セグメンテーションAI」では、肺の炎症発生の平均的な位置を表すAverage Templateを導入し、Average Templateを用いた炎症領域セグメンテーション手法を開発しました。この手法は学習データが少ない場合においてもセグメンテーション実施を高める効果があります。「(2)判別AI」では、3D Convolutional Neural Network (3D CNN) を用いた自動判別に対し、近年注目される新しい画像分類モデルであるVision Transformer、Vision Transformerと類似した構造を持つMLP-Mixerを併用して判別精度の向上を図っています。実験の結果、3D CNNのみを用いる場合と比較して、Vision TransformerやMLP-Mixerを併用することで自動判別精度の向上が確認されました。MLP-Mixerを使用した場合に、3D CNNのみと比べて約5%の判別精度向上が見られ、さらに、3D CNNとattention機構を併用した自動判別手法を開発して約92%の自動判別性能を得ています。

  • 診断補助AIを用いた実証実験用ソフトウェアを実装
    • 順天堂大学附属順天堂医院で撮影した胸部単純CTを実証実験用ソフトウェアである診断補助AIで検証するために、順天堂の医療情報システムと連携したシステムの構築を検討し、順天堂医院で利用しているAIプラットフォームへの適応が可能であることを確認しました。

  • 継続的にAIの自動判別結果を得ることでサーベイランスシステムの運用
    • 診断補助AIを用いた実証実験用ソフトウェアを継続的に適用し、データベース基盤に順次格納される最新のCT画像に対してAIの自動判別を行いました。これにより、近年の新たな感染傾向を反映した統計的データを得ています。また、この成果を順天堂大学におけるCT撮影装置と連動した診断補助AIとして実装し、運用しました。

COVID-19 pneumoniae surveillance

サーベイランス　(インタラクティブグラフ版)

研究成果の外部発表

  1. COVID-19 lung infection and normal region segmentation from CT volumes using FCN with local and global spatial feature encoder, Masahiro Oda, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Kensaku Mori. Computer Assisted Radiology and Surgery (CARS 2021）, オンライン, International Journal of Computer Assisted Radiology and Surgery, Vol.16, Sup.1, pp.S19-20, 2021/6/21

  2. J-MIDと連携した国立情報学研究所のクラウド基盤におけるAI研究開発, 村尾 晃平, 第34回電子情報研究会・第4回日本医用画像人工知能研究会合同研究会, オンライン, 依頼講演（第57回日本医学放射線学会秋季臨床大会3日目）特別企画「日本医用画像データベース（J-MID）シンポジウム」, 2021/9/19

  3. J-MID（Japan-Medical Image Database）とは？, 明石 敏昭, 第34回電子情報研究会・第4回日本医用画像人工知能研究会合同研究会, オンライン, 依頼講演（第57回日本医学放射線学会秋季臨床大会3日目）特別企画「日本医用画像データベース（J-MID）シンポジウム」, 2021/9/19

  4. COVID-19 Infection Segmentation from Chest CT Images Based on Scale Uncertainty, Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori. CLIP 2021, 10th MICCAI CLIP Workshop, Clinical Image-Based Procedures, Distributed and Collaborative Learning, Artificial Intelligence for Combating COVID-19 and Secure and Privacy-Preserving Machine Learning, オンライン, LNCS 12969, pp.88-97, 2021/9/27

  5. 胸部CT像からのCOVID-19症例の自動分類手法, 小田 昌宏, 鄭 通, 林 雄一郎, 大竹 義人, 橋本 正弘, 明石 敏昭, 森 健策. 第40回日本医用画像工学会大会（JAMIT2021), オンライン, 第40回日本医用画像工学会大会予稿集, P1-01, pp.65-67, 2021/10/13

  6. CT像の非等方性を考慮した3D CNNによるCOVID‒19症例の自動分類手法, 小田 昌宏, 鄭 通, 林　雄一郎, 大竹 義人, 橋本 正弘, 明石 敏明, 青木 茂樹, 森　健策. 第30回日本コンピュータ外科学会大会（JSCAS 2021）, オンライン, 第30回日本コンピュータ外科学会大会特集号, Vol.23, No.4, pp.265-266, 21(7)-4, 2021/11/22

  7. Mechanism Of AIs In COVID-19 CAD And Techniques To Improve AI Performance, Masahiro Oda, Yuichiro Hayashi, Zheng Tong, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori, Masahiro Hashimoto, Hiroshi Natori. RSNA 2021, Chicago/McCormick Place, CHEE-123-HC, 2021/11/28

  8. 機械学習技術を用いたCOVID-19 CT画像解析と画像データベース基盤, 森　健策, 第13回呼吸機能イメージング研究会学術集会, オンライン, 依頼公演, 2022/1/22

  9. 胸部CT像からのCOVID-19に関連した所見文の自動生成の検討, 岡崎 真治, 林 雄一郎, 小田 昌宏, 橋本 正弘, 陣崎 雅弘, 明石 敏昭, 青木 茂樹, 森 健策. 電子情報通信学会技術研究報告(MI), オンライン, MI2021-57, vol.121, no.347, pp. 49-54, 2022/1/26

  10. Automated classification method of COVID-19 cases from chest CT volumes using 2D and 3D hybrid CNN for anisotropic volumes, Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori. SPIE Medical Imaging 2022 On-Demand, オンライン, 2022/3/21

  11. AIによる画像診断の現状とこれから, 明石 敏昭, 青木 茂樹, 待鳥 詔洋. 第119回日本内科学会総会, 京都市 ロームシアター京都, 依頼公演, 第119回日本内科学会総会・講演会抄録, p.18, シンポジウム2「AIと内科診療」, 2022/4/16

  12. Japan Safe Radiologyのための日本医用画像データベース開発とそのデータ利活用, 明石 敏昭, 待鳥 詔洋, 西江 昭弘, 陣崎 雅弘, 富山 憲幸, 阿部 修, 石神 康生, 郷原 英夫, 中本 裕士, 青木 茂樹. 第81回日本医学放射線学会総会, 横浜市 パシフィコ横浜, 教育展示, 2022/4/15

  13. ⽇本医学放射線学会による画像診断ナショナルデータベース（J-MID）の開発とその発展, 明石 敏昭. 第41回日本医用画像工学会大会（JAMIT2022）, 名古屋市　 名古屋大学東山キャンパス豊田講堂, 依頼公演, シンポジウム「医用画像データベースとネットワーク」, 2022/7/30

  14. Erosion Consistency Training for Semi-Supervised CT Segmentation of COVID-19, 柳 凱, 小田 昌宏, 鄭 通, 林 雄一郎, 大竹 義人, 橋本 正弘, 明石 敏昭, 青木 茂樹, 森 健策. 第41回日本医用画像工学会大会（JAMIT 2022）, 名古屋市 名古屋大学東山キャンパス豊田講堂, OP4-5, 2022/7/30

  15. 医療ビッグデータクラウド基盤：多施設の医師と情報系研究者によるAI画像解析研究開発の場, 村尾 晃平, CloudWeek2022, 札幌市 北海道大学百年記念会館, 依頼公演, アカデミックインタークラウドシンポジウム2022 https://www.iic.hokudai.ac.jp/news/1842/, 2022/9/7

  16. COVID-19: radiology response in Japan, Toshiaki Akashi. The 50th SIRM National Congress, “La Nuvola” Congress Center Rome, 依頼公演, セッション：COVID-19: radiology response across the globe, 2022/10/8

  17. Vision transformerとCNNの混合モデルによる胸部CT画像のCOVID-19典型度分類, 遠田 涼, 小田 昌宏, 林 雄一郎, 大竹 義人, 橋本 正弘, 明石敏昭, 青木 茂樹, 森 健策. 2022年度日本生体医工学会東海支部大会, 名古屋市 株式会社スズケン本社, 2022年度日本生体医工学会東海支部大会プログラム・抄録集, p.9 https://drive.google.com/file/d/1ak7SBW6qLyE91GdNJdh1_1YklT-wtQuI/view, 2022/10/29

  18. Improved method for COVID-19 classification of complex-architecture CNN from chest CT volumes using orthogonal ensemble networks, Ryo Toda, Masahiro Oda, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori. SPIE Medical Imaging 2023, Town and Country Resort & Convention Center San Diego, California, USA, 12465-11, https://spie.org/conferences-and-exhibitions/medical-imaging/program, 2023/2/20

  19. Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-mixer, Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori. SPIE Medical Imaging 2023, Town and Country Resort & Convention Center San Diego, California, USA, 12465-113, https://spie.org/conferences-and-exhibitions/medical-imaging/program, 2023/2/20

  20. Segmentation of Infected Regions from Chest CT Scans of COVID-19 Cases using Average Template, Kai Liu, Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori. 電子情報通信学会技術研究報告 (MI), 沖縄市 沖縄県青年会館, https://ken.ieice.org/ken/program/index.php?tgs_regid=9dd71603fb1b52a69f38a21b66a648144321a15d30abe23674a03560c8868784&tgid=IEICE-MI, 2023/3/6

First published on 28 July 2022
Revised on 2 June 2023