日本学術振興会 科学研究費助成事業 学術変革領域研究(B) 2022〜

mainimage

共同研究者を募集しています!
ご興味のある方はこちらのお問い合わせページの連絡先まで。

お知らせ

2024/09/30 メディア 第22回身体記号学ラジオを公開します
ゲストは、A01(身体班)の井上 昂治です。

2024/09/21-23 その他活動 領域会議in軽井沢セミナーハウスを開催します

2024/08/23 その他活動 A03(工学班)のグループミーティング開催しました

2024/08/22 イベント 第8回身体記号学セミナーを開催しました
題目:データセッション支援ツールtracrin2.5の紹介
担当:堀内 隆仁 (B01)、小方 雅子 (B01)、牧野 遼作 (B01)

2024/08/21 メディア 第21回身体記号学ラジオを公開しました
ゲストは、B01(データ統合班)の牧野 遼作です。

2024/08/06 研究発表 2023年度 質的心理学会 優秀現場研究報告賞を受賞をしました
坂井田瑠衣・坊農真弓 (2023). 盲ろう者にマルチモダリティを伝える指点字通訳者のワーク 『質的心理学研究』第20号臨時特集, S118-S124
詳しくはこちら

2024/07/26 その他活動 A03(工学班)のグループミーティング開催しました

2024/07/25 イベント 第7回身体記号学セミナーを開催しました
題目:コンピュータによって談話の構造を解析する:コーパス、学習モデル、マルチモーダル拡張、応用
担当:西田 典起 (A03)

2023/02/17 イベント 「コーパスの構築・利用と個人情報保護」についてのオンライン公開研究会を実施しました
(報告詳細記事)

研究概要

本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと(モダリティ横断)」を目指す。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする。我々は以上の研究活動全体を「身体記号学(Embodied Semiotics)」と命名し、文理融合型の学術変革領域を創り出す。

研究代表者

坊農 真弓

国立情報学研究所 情報社会相関研究系 准教授

代表挨拶

 私はこれまで手話と身振りのコミュニケーション研究をしてきました。私が手話に出会ったのは大学生のときです。当時通っていた大学の宗教部が手話勉強会主催し、そこに参加したのがきっかけです。そこでろうの先生にお会いし、日本語を介さずに手話を学ぶ経験をしました。その後、地元の手話サークルに通い、すっかり手話の魅力に取り憑かれました。

 また、地元の手話サークルに通う傍ら、大学院で言語コミュニケーションの研究をしてきました。しかし、大学院での研究テーマは手話ではなく、音声会話における身振りや身体動作を研究対象とし、博士号を取得しました。私が大学院生のころは、手話の研究をするための参考文献もそれほど多くなく、博士論文を書くほどの研究テーマにできるか多少迷いがありました。

 あれから20年以上の月日が流れ、手話や身振りを取り巻く研究環境は大きく変わりました。手話を日常言語とするろう者自身が手話言語を研究するようになり、最先端の人工知能技術によって手話を読み取る研究開発も徐々に始まっています。では、手話と身振りの研究はどうでしょうか?音声言語における身振りの研究は4、50年程度の歴史があります。しかし、手話はかつて「身振り語」と呼ばれ、言語とみなされなかった時代があり、手話と身振りを並列に扱うもしくは、手話言語コミュニケーションの中の身振りを大きく扱う研究はまだそれほど多くありません。

 しかし、どうでしょう。手話を用いたコミュニケーションについても音声言語コミュニケーション同様、そこで話される語彙や文法だけではなく、「どのように話されるか(例:気持ちや態度を示すイントネーション)」「語彙として捉えきれない表現豊かな要素(イメージを詳細に描写する身振り)」などを研究することができるのではないでしょうか。そういった要素を研究することによって、音声言語コミュニケーション研究と手話言語コミュニケーションが等価に並べられ、より豊かな議論ができるのではないかと考えます。

 本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的としています。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指します。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にしたいと考えています。私たちは以上の研究活動全体を「身体記号学(Embodied Semiotics)」と名づけ、文理融合型の学術変革領域を創り出すことを試みます。