A01: 身体班
音声会話に伴う身振りを対象としたマルチモーダル記号論の構築
私たちは人文・理工分野の相互理解を促進させる，肝心要の研究チームです．具体的には，研究者が利用・参画可能な次世代コーパスを各研究班との協同で設計・構築します．研究環境とデータの整備を通して，様々な研究分野における身体記号への関心を誘発します．
身体班の研究紹介
- わたしたちはコミュニケーションの中で自然に身体動作としての身振りを使いながら意味を伝えています。これは身体動作が言語的な「記号」として機能しているということです。本研究では、その身振りのコミュニケーションの中での役割を解明するため、送り手の身振りを受け手がどう理解しているのかを観察する「マルチモーダル連鎖分析」を行います。その分析から、わたしたちは「マルチモーダル記号論」のモデルを構築し、身振りのコミュニケーション上の意味を付与した「次世代身振りコーパス」を開発します。さらに、本コーパスを活用し、身振りを記号学的に分析する「身体記号学 (Embodied Semiotics)」という新しい理論的枠組みを構築します。
マルチモーダル連鎖分析を通して明らかになる身振りの「意味」 マルチモーダル連鎖分析を通して明らかになる身振りの「意味」
- 言語的なシンボルとは異なり、身振りでは、環境内で近接している要素を指す記号である指標記号や、表現したい対象と類似していることによって意味を表す類像記号も重要な役割を果たしています。そのため、身振りの意味はそれ単体では理解できず、身振りはその身振りが起こった文脈や状況とセットで考えることによって、はじめてその意味が分かるようになると考える必要があります。そこで、わたしたちはこうした複雑な意味を、話し手が身体動作によって表現していることを、その身振りの受け手がどのような意味で受け取ったかを分析する「マルチモーダル連鎖分析」を通して突き止めていくことを目指します。
1. 身振りが「身体記号」になる過程の解明
指さしやジェスチャーといった身振りの意味が伝わるためにはどのような相互行為が必要なのでしょうか。また、わたしたち人間はどのような認知プロセスを経て、他者の身振りの意味を理解できているのでしょうか。 わたしたちは、「誰かに意味が伝わる身振り」のことを「身体記号」と呼び、身振りが「身体記号」として機能するメカニズムを解明します。2. 言語と非言語の統合を扱うマルチモーダル分析
わたしたちはコミュニケーションに用いられている言語と身振りのような非言語行動とを同時に分析するマルチモーダルコミュニケーション分析の研究を行います。こうした研究を進めることによって、一つの表現と一つの意味とが対応するシンボルが中心だったこれまでの言語観を超える新しい記号学の広がりを生み出すことが可能になります。3. 身振りのマルチモーダル記号論の確立
しかし、わたしたちはこれまでのマルチモーダル連鎖分析にも限界があると考えています。それは、＜行為者の身振り＞とこれに対する＜受け手の反応＞という二つの要素のみの関係が分析されていたという点です。そこで、わたしたちは、記号学者C. S. パースの「記号過程」というアイディアを参考にして、＜身振り＞と＜反応＞の間に受け手による《推論》を組み込んだ3つ組の情報を分析するという方法で、従来のマルチモーダル連鎖分析を拡張させていくことを目指します。これが「マルチモーダル記号論」という新たな分析の枠組みの確立につながると期待しています。
次世代身振りコーパスの構築 次世代身振りコーパスの構築
- わたしたちは、身振りが多く含まれているコミュニケーション場面の映像データに対して、マルチモーダル記号論の考え方に基づく的確で厳密な基準に従って「身体記号」としての意味を付与（アノテーション）した次世代身振りコーパスを作成します。そして、それを言語学だけでなく、さまざまな分野の研究に利用できるように公開することを目指します。この試みによって、関連するさまざまな研究分野に対して、次のような貢献ができると考えています。
1．記号接地問題への新たな切り口
コンピュータが言語のような抽象的なシンボルをどのように実世界の意味と結びつけていくのかという問題は「記号接地問題」と呼ばれます。例えば人工知能は、「ミカン」という言葉を知っていたとしても、果たして現実のミカンを知っていると言えるでしょうか。このように、機械に入力したシンボルによる言語や指示をどのように現実世界の事物と対応づけていくかは情報学などの工学研究における大きな研究テーマの一つです。わたしたちが制作する次世代身振りコーパスはこの「記号設置問題」を逆側から見えていると言えるでしょう。現実の身体動作がその意味を特定されることによって「記号になる」過程を扱っているためです。わたしたちの試みによって、「記号設置問題」への新たなアプローチが可能になるかもしれません。2．人間によるアノテーションを利用した身体記号の自動認識システム
身振りなどの非言語行動を対象とする場合、現在の深層学習を基にした認識システムでさえ、膨大な規模の学習データが必要で、機械的な情報処理だけでは精度の高い身振りの意味の自動認識を行うのは困難です。そのため、これまでの対話分析の研究成果を元に、コミュニケーションの中で身振りの中の「どの部分やどの側面が意味としての記号になっているか」を人間が適切なモデルに従って認定した機械学習用データを作る必要があります。わたしたちは、人文系の知見を活用し、これを理工系の最新技術と融合することで、身振りの身体記号としての側面を自動認識するシステムを構築することを目指します。
3．次世代身振りコーパスの公開が拓く新しい研究動向
わたしたちは、身振りの身体記号としての意味を、その都度の文脈要素を適切に考慮しながら一貫性を持って特定できる分析手法の確立をめざしています。これは、従来の画像認識のボトルネックだった個々の身振りの「意味」に関わっている(relevant)動作や事物の「範囲」を情報処理システムに学習させることも可能にするでしょう。その意味で、本コーパスの構築は、A03班のめざすマルチモーダル認識技術の開発にも役立つと期待されます。身振りの意味を情報学的に認識できれば、将来的に工学的な動作認識や言語理解を向上させることも可能になるのではないかと考えています。
身体班 研究者紹介 身体班 研究者紹介
- わたしたち身体班は、音声会話に伴う身体動作（身振り）の「意味」を文脈や状況に即して読み解く手法を確立することと、この手法に基づくアノテーションを次世代身振りコーパスに付与することを目指しています。会話分析、記号学、文化人類学、認知科学など、関連分野の行動な知見を持ったメンバーが結集しています。
-
高梨 克也（Katsuya Takanashi）
滋賀県立大学 教授
研究代表者
1. 専門について
さまざまな日常生活環境における会話と身体動作の仕組みを研究しています。他方で、自発音声やマルチモーダル会話の大規模コーパスの構築にも長年携わってきました。
2. この研究チームでの役割
研究全体の進捗状況を俯瞰的に把握することが最も重要な役割ですが、今回のプロジェクトでは特に、せっかくさまざまな分野から集まっていただいたメンバー同士の間での相互理解を高め、全員が納得できる、学術的に高い水準のコラボレーションを促進することが重要だ（それができないともったいない）と考えています。
3. 身体記号学ができると何がうれしいか？
コミュニケーションにおける身振りの意味を体系的に扱う学術分野はまだ存在していません。従来は言語ならば言語のみ、動作ならば動作のみ、認知ならば認知のみ、情報ならば情報のみを、それぞれ全く別の分野で扱っていたからです。ですので、身体記号学という領域ができることによって、これまで互いの存在や研究をあまり意識していなかったさまざまな学術分野の研究者が集い、互いに議論することで、そこから新たな展望が拓けてくるという点が一番の期待です。 安井 永子（Eiko Yasui）
名古屋大学 准教授
研究分担者
1. 専門について
私の専門は会話分析です。人々の日常のやりとり（相互行為）を微視的に観察することを通して、人々の発話や身体動作がどのように用いられ、相互理解を達成するかを研究しています。
2. この研究チームでの役割
私の役割は、コーパス内から候補事例を拾い上げ、それらを分析に使える形に整えることです。その作業では、参与者の発話のほか、視線や手足の動きや指さしなどの身体動作も記録し、それらに結びつく文脈要素を特定するだけでなく、受け手の言語と身体による反応も記録し、ある動きが、受け手によって実際に有意味なものとして捉えられた可能性を確認するマルチモーダル連鎖分析の視点を用います。
3. 身体記号学ができると何がうれしいか？
身体記号学がその地位を確立させることができれば、我々の身体が、そこに存在し、他者から観察できる限り、伝達の意図に関係なくコミュニケーションの中で重要な情報を与えうることが、体系的に説明できるようになると考えられます。それにより、人間のコミュニケーションの仕組みをより精緻に捉えることができるようになることを期待しています。榎本 剛士（Takeshi Enomoto）
大阪大学 准教授
研究分担者
1. 専門について
パース記号論を取り入れた言語人類学の枠組みに依拠しつつ、それをさらに記号論的に展開することを目指しながら、コンテクストの中のコミュニケーション過程を研究しています。
2. この研究チームでの役割
「対象―記号―解釈項」の三項関係を特徴とするパース記号論に即して、マルチモーダルな連鎖の基盤にある記号過程をモデル化することが私の役割です。ただ、このモデルを突き詰めていくと、工学的に扱いにくくなってしまうことも確かです。モデルそのものの深化と工学的利用に供することの両方を視野に入れた研究が重要と考えています。
3. 身体記号学ができると（個人的に）何がうれしいか？
身体記号学は、学問の専門化が極度に進んだことによって逆に見えにくくなってしまった「関係」や「つながり」を照らし出す、哲学的な深みを持った研究領域である、と（個人的には）考えています。また、身体化されたコミュニケーションのコンテクスト的側面をできるだけ射程に収め、それでいて実装可能なモデルを探究する、という意味でも、身体記号学にはエキサイティングな可能性が宿っているような気がします。坂井田 瑠衣（Rui Sakaida）
公立はこだて未来大学 准教授
研究分担者
1. 専門について
社会的相互行為論に着想を得たフィールド認知科学的研究に従事しています。さまざまな場面に居合わせた多様な人々が、どのようにして互いに対する関心や理解を示しあうのかを分析しています。
2. この研究チームでの役割
従来の人文社会科学的な分析にとどまらない、工学的にも利用価値のある身体記号のアノテーション方法を検討しています。その足がかりとして、日本科学未来館で収録された科学コミュニケーターと来館者の相互行為において、いかにして身体記号が立ち現れ、その意味が理解されるのかを分析しています。
3. 身体記号学ができると（個人的に）何がうれしいか？
発話や身体動作、物理的環境といった、相互行為を構成するさまざまな要素を等価に扱うことができる枠組みや方法が確立されていくことで、人々の日常的な実践のリアリティをより的確に捉えることができるようになるとよいと考えています。またその過程で、会話分析や記号論といった、いくつかの立場の異なる人文社会科学分野どうしの接続可能性が見えてくることも期待しています。-
山本 敦（Atsushi Yamamoto）
早稲田大学 講師
研究分担者
1. 専門について
認知や知覚の社会文化性の形成について、コミュニケーション上のメカニズムに興味があり、演奏教示場面等のマルチモーダルな相互行為分析をしています。
2. この研究チームでの役割
マルチモーダルな相互行為分析の方法を、パースの記号論の考え方を導入しながら発展させてきたC．Goodwinの理論体系と方法論の整理を通して、身体記号学の分析方法としてどのような方法が必要なのかを考えています。
３．身体記号学ができると何がうれしいか
コミュニケーションにおいて身体動作や物などのマルチモーダルな資源が担っている意味は、常に多様な解釈可能性があるだけではなく、相互に複雑に組み合わさって作り上げられているため、妥当な分析が非常に難しいという特徴があります。意味構成・解釈の基礎的な構造として記号論を導入することで、この複雑さをより見やすい形で紐解いていくことができるのではないかと期待しています。 -
木村 大治（Daiji Kimura）
京都大学 名誉教授
研究分担者
1. 専門について
人類学と相互行為論を研究してきました。「共在感覚」(2003年に出版した著書の題名でもある)をキーワードに，「共にある」人々がどのようにして，どのような意味で「共にある」のかを分析しています。近年は，学生時代にやっていた茶道に着目して研究を進めています。
2. この研究チームでの役割
極端に形式化され「型」にはまった相互行為である茶道の点前において，どのような形で「面白さ」が生成してくるのかという点に興味を持っています。そこで注目するのが，さまざまなレベルでの微細な「差異」や「ずれ」です。この研究チームでは，茶席の中で亭主と客，客と客が何を手がかりに，どのように行為を同調させ，あるいはずらしているのかをビデオ分析しています。
3. 身体記号学ができると何がうれしいか？
茶席の中の行為は，茶道に習熟した者にとっては「あたりまえ」のものであり，一方，知らない人にとっては堅苦しく気詰まりなものです。そこに「面白さ」が生まれる機序を理解するのは容易ではなく，内省的な方法には限界があります。「身体記号学」の分析枠組みを確立することによって，会話における会話分析のような形で，定型的な行為の面白さについて深い理解が得られることを期待しています。
用語集(五十音順) 用語集(五十音順)
- 記号設置問題：記号設置問題（Symbol Grounding Problem）とは、人工知能（AI）や認知科学の分野で議論される問題で、シンボル（記号）が、それが指す具体的な対象や状況にどのようにして「接地（グラウンディング）」されるのか、つまり、シンボルが実世界の意味や対象にどのように結びついているのかを問うものです。コンピュータや人工知能が人間のように言語を理解し、適切に使用するためには、単にシンボルを操作するだけでなく、それらシンボルが実世界の具体的な対象や概念にどう関連しているかを理解する必要があります。
- マルチモーダル：身振りと同時に現れる発話や視線行動、その場の文脈など多様な要素が重なり合って起きる状態のことを指します。
- マルチモーダル連鎖分析：分析者が当該の身振りの意味を特定していく際に、この身振りの直後の受け手の「反応」を体系的に参照する手法です。
関連活動の報告 関連活動の報告
- 2024/03/08 第48回社会言語科学会研究大会（JASS48）WSセッションを企画・実施しました
日時：2024年3月8日（金）13：00～15：30
会場：福岡女子大学
ワークショップセッション3 相互行為中の身体動作を対象としたマルチモーダル連鎖分析から身体記号学へ
外部リンク：第48回社会言語科学会研究大会プログラム