身体記号学クロージングカンファレンス
第三部：招待講演[JPN/IS]
2025年2月10日、11日の二日間にわたって開催された「身体記号学クロージングカンファレンス」の第三部では、「AI技術と手話： 慣習化された手話を越えて」と題し、Kearsy Cormier氏, （DCAL–Deafness Cognition and Language Research Centre, University College London）が英国の事例を交え、これまでの成果と今後のプロジェクトの展望について講演をしました。続いて、「ジェスチャー・メタファー・空間言語」と題し、喜多壮太郎氏（University of Warwick）がジェスチャーと音声言語の相互的な関係性と我々の思考にどのように関係しているのかについて講演をしました。
第三部
招待講演「AI技術と手話： 慣習化された手話を越えて」Prof. Kearsy Cormier （DCAL–Deafness Cognition and Language Research Centre, University College London）
招待講演「ジェスチャー・メタファー・空間言語」Prof. 喜多壮太郎（University of Warwick)
招待講演「AI技術と手話： 慣習化された手話を越えて」Prof. Kearsy Cormier（DCAL–Deafness Cognition and Language Research Centre, University College London）
ろう者のコミュニケーションと認知についてのヨーロッパ最大の研究機関であるDCAL（Deafness Cognition and Language Research Centre） のディレクター、Kearsy Cormier氏 (ロンドン大学倫理言語科学部言語学科手話言語学・教授) は「AI技術と手話：慣習化された手話を越えて」と題し、日本手話コーパスのモデルプロジェクトとなった英国手話コーパスの構築とその周辺の技術開発に関わって来た経験について詳細を語りました。そして今後、慣習化されている手話だけにとどまらず、手話の種類の垣根を越え研究を可能にしていくための技術開発について英国の事例をとりあげながら語りました。
既存の英国手話（BSL）コーパス、手話研究などでは技術的な制限により、慣習化された手話（語彙手話、指文字）がコーパスや認識技術で取り扱われる対象であったが、慣習化されていないタイプの手話（指さし手話、描写手話（CL））などのデータも多く収集して、手話言語の自動認識や生成、翻訳等のさらなる精度向上を目指していく必要があると述べました。これまで英国では、手話の機械学習を可能にするために大規模なデータセット収集が行われてきました。BSLコーパスでは合計125時間を収集しました。さらにデータを増やすためにTVの手話・字幕付き放送を合計1,400時間ほど収集し、BOBSLという手話言語データセットとしてウェブサイト上で公開していると語りました。また、これらの膨大なデータセットを利用し、BSLから英語への自動翻訳などを開発中である。ただ、アノテーションには多くの時間と労力がかかることから、その負荷を軽減させるツールを開発することが必要であると述べました。そして現在、サリー大学・オックスフォード大学と協力し、「手話セグメンテーションツール」と「手話スポッティングツール」の二つのツール開発に携わっていると話しました。「手話セグメンテーションツール」はアノテーションのスピードアップを可能にするツールとなります。収録した短い動画をインポートし、自動で手話を編集し、キャプションを付ける。そして単語に合わせて色分けがされるような仕様になっており、その精度は70%以上である。しかし、このツールはまだ人間の確認作業も必要としており、完全な自動化には至っていないと説明しました。もう一つの「手話スポッティングツール」は辞書からマッチする手話を見つけるツールとなっています。辞書の用例から確認する方法と、マウシング（口の形）から特定する方法があると話しました。また、今後の精度向上と一般利用が期待されるその他のテクノロジーとして、手話合成技術があげられると話しました。これらの技術が発展することにより、さまざまな研究分野で利用が可能になる、そして一般利用も倫理面を検討しつつすすんでいくだろうと語りました。
Cormier氏は英国でのあらたなプロジェクト、「手話GPTプロジェクト（SignGPT）」（2025-2029、関連広報記事）が始動すると語りました。これは、サリー大学が主導し、オックスフォード大学とロンドン大学が協力をして推進する新しいプロジェクトとなります。手話言語の自動認識・生成の精度向上と進化を目指し、さらなるデータの追加収集を目的としていると述べました。またデータ収集ではBBCの「See Hear」というテレビ番組にも協力をしてもらい、ろう者による自発的な手話データを多く収集する等、データ収集の効率化を図っていく予定であるとも述べました。また、最後にCormier氏は今後のプロジェクトの課題と目標についてこのように語りました。慣習化されている手話に限らず、すべての手話タイプをターゲットに、機械が非慣習化された手話構造をどのように、どの程度認識し、生成するのかなど深層に迫る研究をしていく。そして膨大なデータセットを処理できるアノテーションツールを開発（様々な手話ツールをELANに統合）し、作業の効率化を目指す。これらのことをするには手話言語技術に関するより多くの社会的・言語学的研究を取れ入れる必要があると言えるが、なにより重要となるのはもっと多くのろう者の研究への協力である。アノテーター、研究者、エンジニア、リーダー、さまざまな人材の力を借りて、これまで課題としてきた部分に積極的にアプローチしたいと語り、招待講演を締めくくりました。
招待講演「ジェスチャー・メタファー・空間言語」Prof. 喜多壮太郎（University of Warwick)
喜多壮太郎氏（University of Warwick）は、「ジェスチャー・メタファー・空間言語」と題し、実験心理学的なアプローチを用い、ジェスチャーと音声言語の相互的な関係性と、そこにどのような思考様式が関わり我々の理解や概念化に繋がっているのかについて、自身の研究をもとに発表をしました。
喜多氏は言語学・心理学の視点からジェスチャーと言語の関係、ジェスチャーと思考の関係について研究をしてきたと語りました。David McNeillが提唱した「話し手の心への窓としてのジェスチャー」（1992）という概念は、物理的環境との関わりだけではなく自分の思考世界との関わりを示すようなアクションがジェスチャーであると説明した上で、言語とジェスチャーの切っても切り離せない関係性について「空間言語（動きの出来事）」と「メタファー（隠喩）」というテーマを軸に仮説を立て、体系的に検証をしてきた内容を語りました。それらの結果、ジェスチャーと音声言語がどのように相互的に作用しながら我々の思考や概念化を豊かなものにすることに貢献してきたのか理解を深めることができたと話しました。
検証方法とそこから導かれた結論について下記のように説明をしました。まず、音声とジェスチャーがどのようにして産出されるのかについて、いくつかの理論がある中で、先述のMcNeillの考えから派生した理論として、ジェスチャーは「空間－運動的思考」と「音声発話」の境界線で生成される。つまり、ジェスチャーと音声言語の内容は相互作用的に共生成されるのではないか。ジェスチャーというのは非言語的ではなく、言語の一部として考慮されるべきであると考えた。それを裏付けるために、ジェスチャーに言語は影響を与えるか・ジェスチャーは発話に影響を与えるか、という課題に対し、「動きの出来事」と「メタファー」を軸に検証をした。まず、「動きの出来事」を言葉にする際に、ジェスチャーに影響はあるかという検証をするために、日本語・トルコ語・英語話者が同じ映像を観て、どのように第三者に説明をするかという実験を行い、発話内容と身体表現を検証した。言語的に、一語で「動きの出来事」を表す表現がある英語（例：swingという単語）と、それに対し「※語彙的空白」が見られる日本語とトルコ語では、発話言語の構成の仕方と、ジェスチャーの仕方に異なりが見られた。通常、出来事を言葉にするにあたり、概念化のプロセスを経る。その際に情報のパッケージ化（コンパクトな構造で表現するための情報の取捨選択）が行われ、それはジェスチャーにおける情報のパッケージ化にも反映されるとわかった。つまり出来事の言語的な概念化はジェスチャーによる把握と相関しており、言語はジェスチャーに影響を与えていると言える。また、逆にジェスチャーが言語に影響を与えるか検証をするためにジェスチャーの「自己思考的機能」に着目した。これは、ジェスチャーには自身の思考や認知のためのプロセスを補助する役割があるという概念である。つまり、ジェスチャーをすることにより、発話に便利な情報のパッケージ（発話と思考にとって便利な単位に情報を変換すること）を作ることができるのではないかと仮説を立てたのである。この仮説の検証のためにオランダ語話者に「動きの出来事」の「様態」と「経路」を、使えるジェスチャーを指示した上で説明させたところ、使うジェスチャー様式によって使う文法構造に影響が出た。要するに、ジェスチャーは発話のパッケージ化を助ける機能があり、ジェスチャーもまた言語に影響を与えていると言える。そして、ジェスチャーは抽象的な概念について話す際も「隠喩ジェスチャー」として現れる。そういったメタファーの要素を持つ発話内容からジェスチャーに、また、ジェスチャーから発話内容に影響はあるのかということについて検証をしていった。言語処理において、言語は主に左脳、メタファーは主に右脳の働きが貢献しているとされる。そして手の動作はそれぞれの反対側の脳に支配されている。その理論をもとに、メタファー的な内容・非メタファー的な内容を話す際に右手と左手の使用頻度で差は生まれるのかという比較検証を行った。その結果、メタファー処理は左手による図像ジェスチャーを増加させるということが判明し、言語からジェスチャーへの影響が確認された。さらに、ジェスチャーをすることはよりよいメタファー処理（メタファー思考）を促進するのかという仮説を立てた。この実験では、どちらの手を使えるのか制限を設けたうえで自発的ジェスチャーを促し、メタファーを説明させ、その説明の質を点数化して評価した。検証の結果、メタファー処理はジェスチャーを産出している時のほうが多く見られた。それは左手だけでのジェスチャーの際に多く見られ、左手でのジェスチャーは右脳における空間－運動イメージを活性化し、メタファー処理を促進することがわかった。よって、ジェスチャーは言語に影響を与えていると言えるだろう。
以上の実験から、喜多氏は、ジェスチャーと音声言語は相互的に影響し合い生まれているとわかるが、なぜこのような仕組みになっているのか、またその利点とは何かについて解説をしました。思考にはジェスチャーを裏付けする「空間－運動的思考」と音声言語を裏付けする「分析的思考」が存在する。これらの根本的に異なる思考形態が同時に行われ、両方の理解の仕方を取り入れることで我々の思考の世界に広がりと豊かさをもたらす。また、それは同時にジェスチャーをしながら発話するということの利点へと繋がる。ジェスチャーを試行錯誤しながらすることが、複雑な考えを言語化することの助けになっているのだ。これらの異なった思考様式が協働することにより、ジェスチャーと音声言語は相互作用しながら生成される。そして我々の概念化・理解をより豊かなものにしていると言えると招待講演を締めくくりました。
※語彙的空白（lexical gap）：ある言語には存在しないが、他の言語には適切な単語として存在する語彙の欠如のこと。