日本学術振興会 科学研究費助成事業 学術変革領域研究(B) 2022〜

mainimage

共同研究者を募集しています!
ご興味のある方はこちらのお問い合わせページの連絡先まで。

お知らせ

2025/05/16 研究発表 ACL 2025の自然言語処理のトップカンファレンスに採択されました
The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)の自然言語処理のトップカンファレンスに採択されました。
・Noriki Nishida, Koji Inoue, Hideki Nakayama, Mayumi Bono, Katsuya Takanashi.(2025). Do Multimodal Large Language Models Truly See What We Point At? Investigating Indexical, Iconic, and Symbolic Gesture Comprehension
詳しくはこちら
外部リンク:ACL 2025

2025/03/28 イベント 身体記号学 クロージングカンファレンスを開催しました
2022年度に採択された日本学術振興会科学研究費助成事業 学術変革領域研究(B)「言語相互行為における身振りと手話を対象とした身体記号学(略称:身体記号学)」クロージングカンファレンス が、2025年2月10日(月)と11日(火)の二日間、国立情報学研究所とオンラインにて開催されました。様々な分野から研究者が参加し、多角的な視点から発表や議論が行われ、大変実りの多いカンファレンスとなりました。 下記リンクより報告記事をご確認いただけます。

【報告記事】
第一部:身体記号学クロージングカンファレンス第一部:AIを味方にするためのコミュニケーション研究
第二部:身体記号学クロージングカンファレンス第二部:研究成果報告
第三部:身体記号学クロージングカンファレンス第三部:招待講演

2025/03/25 研究発表 手話データベースを発表しました
大杉豊(2025)手話データベース公開
・手話辞典(大阪):1963(昭和38)年発行 詳しくはこちら
・大学生活に関わる手話 詳しくはこちら

2025/03/21~23 イベント 軽井沢セミナーハウス合宿を開催しました
日程:2025年3月21日(金)~23日(日)
会場:国立情報学研究所 国際高等セミナーハウス

2025/03/13 その他活動 第22回総括班ミーティングを開催しました

2025/02/19 メディア 第27回身体記号学ラジオを公開します
ゲストは、A02(手話班)の那須 映里です。

2025/02/10~11 イベント 身体記号学 クロージングカンファレンスを開催しました
日程:2025年2月10日(月),11日(火・祝)
会場:国立情報学研究所12F会議室(1208/1210)(+Zoomを用いたハイブリッド形式)
詳しくはこちらを:身体記号学クロージングカンファレンスのご案内

2023/02/17 イベント 「コーパスの構築・利用と個人情報保護」についてのオンライン公開研究会を実施しました
(報告詳細記事)

研究概要

本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと(モダリティ横断)」を目指す。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする。我々は以上の研究活動全体を「身体記号学(Embodied Semiotics)」と命名し、文理融合型の学術変革領域を創り出す。

研究代表者

坊農 真弓

国立情報学研究所 情報社会相関研究系 准教授

代表挨拶

 私はこれまで手話と身振りのコミュニケーション研究をしてきました。私が手話に出会ったのは大学生のときです。当時通っていた大学の宗教部が手話勉強会主催し、そこに参加したのがきっかけです。そこでろうの先生にお会いし、日本語を介さずに手話を学ぶ経験をしました。その後、地元の手話サークルに通い、すっかり手話の魅力に取り憑かれました。

 また、地元の手話サークルに通う傍ら、大学院で言語コミュニケーションの研究をしてきました。しかし、大学院での研究テーマは手話ではなく、音声会話における身振りや身体動作を研究対象とし、博士号を取得しました。私が大学院生のころは、手話の研究をするための参考文献もそれほど多くなく、博士論文を書くほどの研究テーマにできるか多少迷いがありました。

 あれから20年以上の月日が流れ、手話や身振りを取り巻く研究環境は大きく変わりました。手話を日常言語とするろう者自身が手話言語を研究するようになり、最先端の人工知能技術によって手話を読み取る研究開発も徐々に始まっています。では、手話と身振りの研究はどうでしょうか?音声言語における身振りの研究は4、50年程度の歴史があります。しかし、手話はかつて「身振り語」と呼ばれ、言語とみなされなかった時代があり、手話と身振りを並列に扱うもしくは、手話言語コミュニケーションの中の身振りを大きく扱う研究はまだそれほど多くありません。

 しかし、どうでしょう。手話を用いたコミュニケーションについても音声言語コミュニケーション同様、そこで話される語彙や文法だけではなく、「どのように話されるか(例:気持ちや態度を示すイントネーション)」「語彙として捉えきれない表現豊かな要素(イメージを詳細に描写する身振り)」などを研究することができるのではないでしょうか。そういった要素を研究することによって、音声言語コミュニケーション研究と手話言語コミュニケーションが等価に並べられ、より豊かな議論ができるのではないかと考えます。

 本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的としています。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指します。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にしたいと考えています。私たちは以上の研究活動全体を「身体記号学(Embodied Semiotics)」と名づけ、文理融合型の学術変革領域を創り出すことを試みます。