1. HOME
2. Research
3. Misc.

Reading Sessions

本研究室では手話の談話・会話研究に関する海外の文献を中心に，月2回の読書会を開催しています．ここではこれまでに取り上げてきた論文および書籍を列挙しています．

• Marther, S. and Winston. E. A. Spatial Mapping and Involvement in ASL Storytelling. Pinky Extension and Eye Gaze, Language Use in Deaf Communities (ed. Ceil Lucas). pp.183-210. Gallaudet University Press.
• Metzger, M. Eye Gaze and Pronominal Reference in American Sign Language. Pinky Extension and Eye Gaze, Language Use in Deaf Communities (ed. Ceil Lucas). pp.170-181. Gallaudet University Press.
• Morgan, G. Event Packaging in British Sign Language Discourse. Storytelling and Conversation, Sociolinguistics in Deaf Communities (ed. Ceil Lucas). pp. 27-58. Gallaudet University Press.
• Emmorey, K. The Confluence of Space and Language in Signed Languages.
• Janzen, T. Space rotation, perspective shift, and verb morphology in ASL.
• Lee, R. G., Neidle, C., MacLaughlin, D., Bahan, B., and Kegl, J. Role Shift in ASL: A Syntactic Look at Direct Speech.
• 市田泰宏. 手話の言語学. 月刊言語.
• 好井裕明, 西阪仰, 山田富秋. 会話分析への招待, 第1章
• Dively, V. L. 1998. Conversational Repair in ASL. Storytelling and Conversation, Discourse in Deaf Communities (ed. Lucas, Ceil). pp.137-169. Gallaudet University Press.

Workshops

当研究室主催・共催のワークショップ情報です．

Multimodality in Multispace Interaction (December 1st-2nd, 2011)

Link

Coordination in multispace and multimodal interaction (April 6th-7th, 2011)

こちらの続報をご覧ください．

本ワークショップ開催は延期されました．日程については再度アナウンスいたしますのでしばらくお待ちください．

This workshop has been postponed, and find another day. Please wait for further announcement.

• Date & Time: April 6th-7th, 2011. 13:30-18:00
• Place: NII 1208 and 1210 meeting room
• Organizer: Mayumi Bono (Assistant Professor, NII)

Schedule

Day 1 (April 6, Wed): Technology and Interaction

• 13:30 Opening (Mayumi Bono, NII)

Session 1

• 13:40　Talk 1: Supporting predictability in mediated communication (Hideaki Kuzuoka, Tsukuba University)
• 14:20　Talk 2: t-Room --- a remote collaboration apparatus to overcome space and time barriers (Toshihiro Takada, NTT-CSL)
• 15:00　Break

Session 2

• 15:20　Talk 3: Museum guide robot coordinating verbal and nonverbal actions to promote interaction and engagement among multiple visitors (Yoshinori Kuno, Saitama University)
• 16:00　Invited talk (Paul Luff, King's College London)
• 17:00　Discussion
• 18:00　Dinner

Day 2 (April 7, Thu): Ethnography of Interaction and Conversation Analysis

Session 3

• 13:30　Talk 4: Multimodal process of approximation of perspectives on "not-yet-existing" objects in project meetings. (Katsuya Takanashi, JST PRESTO/Kyoto University)
• 14:10　Talk 5: Language, culture, and mediated spaces: Japanese families in webcam interactions (Chiho Sunakawa, The University of Texas, Austin)
• 14:50　Break

Session 4

• 15:10　Talk 6: Multimodal conversation scene analysis: technology and system for observing, modeling and understanding multiparty conversations from people’s nonverbal behaviors (Kazuhiro Otsuka, NTT-CSL)
• 15:50　Talk 7: An analysis of repair organization in sign language conversation (Kohei Kikuchi, NII)
• 16:30　Discussion
• 17:30　Closing (Mayumi Bono, NII)

Invited talk

TECHNOLOGIES IN COLLABORATION: ASSEMBLING COHERENCE IN COMPLEX ENVIRONMENTS

PAUL LUFF

Over the last couple of decades there has been a growing interest in the ways in which tools and technologies, objects and artefacts, feature in work and organisational practice. Workplace studies have sought to reveal the details of everyday interaction through naturalistic observation frequently augmented with video recordings. Drawing on this tradition of workplace studies we discuss how even the production of seemingly simple activities that refer to objects in an environment are produced and made sense of in the light of the contributions of others. We then consider some recent experiments with novel technologies where the activities of the participants are fragmented in some way. In different ways these systems aim to allow people to establish alignment towards, and reference to, particular objects, or features of objects in distributed environments. Although designed to replicate everyday interaction around artefacts these technologies transform the spatial and temporal order of activities. Whilst talk, gesture and bodily comportment in such environments maybe of some interest in their own right, we hope to show that the analysis of conduct and interaction in these novel spaces reveals some of the resources participants rely upon to assemble a coherence to action in interaction and also the limitations of our current understanding to how participants accomplish referential activities in everyday work settings.

Paul Luff is Professor of Organizations and Technology at the Department of Management, King’s College London. His research involves the detailed analysis of work and interaction and drawing upon video recordings of everyday human conduct. With his colleagues in the Work, Interaction and Technology Research Centre, he has undertaken studies in a diverse variety of settings including control rooms, news and broadcasting, healthcare, museums, galleries and science centres and within design, architecture and construction. Over the past few years, Paul Luff has been particularly concerned with the use of apparently mundane objects, specifically paper documents, and how these support what are often very complex work practices. He has drawn from this research in a number of projects concerned with the design of novel systems, including advanced media spaces and technologies that can interleave the use of paper and electronic materials. This research, and related studies, has been reported in numerous articles in the fields of CSCW, HCI, Requirements Engineering, Studies of work practices and ubiquitous and mobile systems. Earlier this year Paul Luff, with Christian Heath and Jon Hindmarsh, published ‘Using Video in Qualitative Research'. He and Christian Heath are also authors of 'Technology in Action' with Christian Heath, published by Cambridge University Press.

Session1

Talk 1:

Supporting predictability in mediated communication

Professor Hideaki Kuzuoka, University of Tsukuba

Predictability in communication is the capacity of participants to predict, anticipate, or prefigure the unfolding of action. Thus it is one of the important factors in organizing multiple actions among multiple participants in co-ordination with one another. However, incoherency of video mediated communication systems often makes prediction difficult. We have been developing remote conferencing systems and robot mediated communication systems that alleviate the predictability problem. In this presentation, I will introduce two systems; Agora and GestureMan-3 and explain how they support predictability.

Talk 2:

t-Room --- a remote collaboration apparatus to overcome space and time barriers

Dr. Toshihiro Takada, NTT Communication Science Labs.

Both space (e.g. physical separation between people) and time (e.g. people in different time zones) may serve as barriers to effective communication. Our aim is to help users overcome these barriers in collaborative communication. In this talk, I will present t-Room, a remote collaboration apparatus we design and implement. Our approach is to build rooms with identical layouts, including walls of display panels on which users and physical or virtual objects are all shown at life-size. In this way, the user space enclosed by t-Room's surrounding displays can be shared as a common space at any other site. In other words, the enclosed spaces overlap each other. This configuration effectively provides symmetric reproduction of the audio-visual information surrounding local and remote users and objects. The feeling provided by t-Room is different from that by conventional videoconferencing systems. It enables users to freely come from and go into other users' spaces and provides every user with the direct pointing capability. Our ultimate goal is to achieve high-telepresence communication where we can speak or work with people at remote sites as if we were all in the same room.

Session2

Talk 3:

Museum Guide Robot Coordinating Verbal and Nonverbal Actions to Promote Interaction and Engagement among Multiple Visitors

Professor Yoshinori Kuno, Saitama University

In this talk we present our work in designing a robot that explains an exhibit to multiple visitors in a museum setting, based on ethnographic analysis of interactions between human guides and visitors. In the ethnographic analysis we discovered that expert human guides use some identical strategies and practices. In particular, one of these is to pose a question, which we call “create puzzlement,” regarding the exhibit in order to involve visitors in the exhibit and the guide’s explanation. By posing a question, the human guide monitors visitors’ response and chooses an “appropriate” visitor (i.e. one who is likely to provide an answer). Based on these findings, we developed a robot that coordinates verbal and nonverbal actions in posing a question or “puzzle” that draws visitors’ attention, and then explains the exhibit towards multiple visitors. During the explanation, the robot chooses an “appropriate” visitor. We examined the robot at an actual museum. The results show that our robot increases visitors’ engagement and interaction with the robot, as well as interaction and engagement among visitors.

Session3

Talk 4:

Multimodal Process of Approximation of Perspectives on "Not-yet-existing" Objects in Project Meetings.

Katsuya Takanashi, PRESTO, Japan Science and Technology Agency (JST) / Academic Center for Computing and Media Studies, Kyoto University

This presentation introduces an attempt of fieldwork on successive project meetings and presents a preliminary analysis of a process of approximation of perspectives of participants on “not-yet-existing”objects. In a meeting for preparing an exhibition or a venture company, the exhibition or company itself has not founded yet at this time, and therefore participants must talk on this “not-yet-existing” object. During a meeting or through successive meetings, one of the important tasks of members is to coordinate different perspective of participants on the object, which reflect their different specialties and interests. In the analysis, I will focus on how participants utilize materials such as displays, drawing sheets and a whiteboard and gestures depicting this object as well as their talk in order to negotiate their perspectives.

Talk 5:

Language, culture, and mediated spaces: Japanese families in webcam interactions

Chiho Sunakawa, Ph.D. Candidate, University of Texas, Austin

As communication technologies develop, computer-mediated interaction is becoming an integral part of our ordinary lives. Yet the transformative nature of communication technologies, rapidity of innovation, and the importance of visual aspects of conversation are not yet well studied from an anthropological perspective. One reason may be that while culturally patterned and meaningful behaviors are typically observed in ordinary interactions, computer usages are “virtual” and often considered distant from “real” communications. This paper attempts to fill part of this gap by providing an ethnographic description about the emerging communicative practices in the context of Japanese families living in the United States and Japan. Situating these communicative behaviors within a tradition of studies about linguistic anthropology, it investigates the ways in which the webcam is integrated into ordinary communication practices. Furthermore, it addresses how the negotiation of local communicative practices and identities intersect with broader ideologies of family relationships, gender, transnationalism, and globalization.

Session4

Talk 6:

Multimodal conversation scene analysis: technology and system for observing, modeling and understanding multiparty conversations from people’s nonverbal behaviors

Dr. Kazuhiro Otsuka, NTT Communication Science Labs.

This talk introduces our technology and system for analyzing multiparty conversations using multimodal nonverbal behaviors of meeting participants. Our conversation scene analysis aims to provide automatic description of conversation scenes, including a conversation structure, i.e. “who is talking to whom”, the visual focus of attention, i.e. “who is looking at whom”, and interpersonal emotion such as “who feels sympathy with whom?”, from people’s nonverbal behaviors such as head pose/motion, utterance, facial expression, and gaze directions, which were measured with our computer vision techniques and audio signal processing. To that purpose, we have proposed a novel analysis framework based on probabilistic modeling and inference that can link between observable behaviors and hidden conversational states. In addition, author’s group has developed a real-time system for analyzing group conversations using an omni-directional camera-microphone sensor, and an annotation system that can realize efficient manual annotation of participants’ gaze, expression, and other nonverbal behaviors.

Talk 7:

An analysis of repair organization in sign language conversation

Dr. Kouhei Kikuchi, National Institute of Informatics

Sign language consists of multimodal resources such as hand, gaze, and body movements. In this session, we will focus on hand movement in Japanese Sign language conversations. While the meaning of hand-holding in studies of sign languages is considered simply as a signal of question or the sentence completion, perspectives from interaction analysis have not been well explored. In this presentation, we examine how hand-holding marks the beginning and the ending of repair in interaction. Focusing on the collaborative nature of repair construction, we hope to discuss the multiple and simultaneous relations between hand-holding and its relevant utterance sequence.

インタラクション2011，ワークショップ『インタラクション研究と人』

本ワークショップは中止となりました．2011年3月12日(土) 日本科学未来館，会議室1 (インタラクション2011のウェブサイト)

タイムテーブル

• 10:30-10:40　Opening
• 10:40-11:50　招待講演

木村大治(京都大学)「インタラクション研究はなぜ面白く，なぜ難しいのか」

セッション1「グランドチャレンジ：インタラクション研究と当事者・現場の問題」

• 13:00-13:10　概要説明
• 13:10-13:40　研究紹介1(高梨克也，さきがけ/京都大学)
• 13:40-14:10　研究紹介2(榎本美香，東京工科大学)
• 14:10-14:40　研究紹介3(坊農真弓，国立情報学研究所)

セッション2「共同研究：インタラクション研究とテクノロジー」

• 14:50-15:00　概要説明
• 15:00-15:30　共同研究1(西本一志・小倉加奈代，北陸先端科学技術大学院大学)
• 15:30-16:00　共同研究2(中西英之，大阪大学)
• 16:00-16:30　共同研究3(岡田将吾，京都大学)
• 16:30-17:00　共同研究4(竹内勇剛，静岡大学)
• 17:00-17:20　全体討論&Closing

講演者プロフィール

木村大治 (きむら だいじ)
一九六〇年愛媛県生まれ．京都大学大学院理学研究科博士課程修了．現在，京都大学大学院アジア・アフリカ地域研究研究科准教授．

主著
『括弧の意味論』NTT出版 2011年，
『インタラクションの境界と接続 -サル・人・会話研究から』(共著) 昭和堂 2010年
『共在感覚 --- アフリカの二つの社会における言語的相互行為から』 京都大学学術出版会 2003年

講演：「インタラクション研究はなぜ面白く，なぜ難しいのか」

私たちは昨年，論文集「インタラクションの境界と接続」を刊行したが，その導入部で私は，インタラクションという概念の特徴と，その研究における 独特の困難さについて書いた．それに対してネット上で「アジテーションが効いていて面白い」といった評価がなされているのを見つけたが，実際私は アジテーションのつもりで書いたのである．今回はそれを敷衍した話をしてみたい．20世紀で重要となったパラダイムに「言語論的転回」「複雑系」 などがあるが，21世紀のそれは「インタラクション」になるだろうと私は考えている．しかしパラダイム転換としての意味を持っているからこそ，そ こにはさまざまな形で，旧来の諸パラダイムによる「引き戻し」が起こってくる．この発表では，私自身のアフリカのフィールドでの体験に基づいて， 「規則性」「道具性」といった概念を参照しつつ，このようなインタラクションをめぐる状況について考えてみたい．

セッション1　「グランドチャレンジ：インタラクション研究と当事者・現場の問題」

研究紹介1：

高梨克也（科学技術振興機構さきがけ／京都大学学術情報メディアセンター）

「プロジェクトミーティングの継続的なフィールド調査の目的と課題」

ミーティングは多人数インタラクションの一形態であり，われわれのさまざまな社会的活動において，関係者の意思決定や認識の共有のための重要な役割を果たしている．現在の多人数インタラクション分析では，一回の会話内のごく短いデータ断片を詳細に分析することが主流になりつつあるが，多くのプロジェクトミーティングは単発ではなく，一定期間にわたって継続的に開催されるため，連続する複数回のミーティングの大局的な流れをいかに適切に把握し，より詳細な分析に反映させていくが重要な課題となる．本発表では，実世界で開催されているプロジェクトミーティングの継続的なフィー ルド調査について，各フィールドの特徴やこれに即した調査目的を紹介するとともに，フィールドに入る際のラポールの形成やデータ分析手法上の課題 について検討することを通じて，「当事者を交えたデータセッション」という方法論の重要性について述べる．

研究紹介2：

榎本美香(東京工科大学メディア学部)

「精神医療現場での収録と研究：医療スタッフとのコミュニケーションギャップを超えて」

コミュニケーション研究者である本発表者が精神医療現場での収録に如何に至ったかを紹介する．人脈がモノを言う精神医療スタッフの協力なくして， 倫理委員会を通過し病院内での収録を行うことは不可能に近い．しかし，研究成果をすぐに現場へ還元したいというスタッフと，学問的進展を期待する 我々研究者との間には，日々すれ違いや軋轢が生じる．しかし，それでも，我々コミュニケーション研究者が精神医療現場へ関わる意義は，精神障害者 を「治療・管理される対象」としての画一的存在から解き放つことにある．精神障害者とその周囲の人々が陥っている硬直したコミュニケーションを開き，彼らが〈治療者?被治療者〉〈介護者 ?被介護者〉といった限定された関係性を超えて, 多様かつ根源的な生を「共に」生きることを可能にするコミュニケーション環境を構築するために，我々に何ができるかについて議論する．

研究紹介3：

坊農真弓(国立情報学研究所)

「手話会話分析の方法と実践：当事者とともに進めるインタラクション研究が抱える問題」

従来の手話研究は音声言語の理論を土台に進められ，その多くは日本語を母語とする聴者によって進められてきた．一方，日本手話を母語とするろう者 はこういった研究を進める上で，「手話モデル」としての役割を担ってきた．このような方法が浸透してきた一つの理由として，伝統的言語学がその言語を母語とする人々に対するインタビューによって進められてきたことが挙げられる．本研究プロジェクトでは，日本手話を母語とするろう者とともに，会話分析やジェスチャー研究の手法を参考にした「手話会話分析の手法構築」を目指している．本発表では，ろう者，いわゆる「当事者」とともに インタラクション研究を進める手法と実践を紹介する．人を対象にしたインタラクション研究では，「観察する-される」の関係が作られるのが一般的である．我々のプロジェクトを紹介することを通し，「観察する-される」の関係の中にある課題について議論したい．

セッション2「共同研究：インタラクション研究とテクノロジー」

共同研究1：

西本一志・小倉加奈代(北陸先端科学技術大学院大学)

「分断・孤立の解消を目的とした多人数対話場の分析」

多人数対話では，全員が１つの対話場に属することが難しく，複数のグループに分かれてそれぞれに異なる話題について対話する「分断」状態や，１グ ループに１人しか属さない「孤立」状態が生じる．我々は，このような分断や孤立を解消するメディアの研究開発を従来から進めている．「平成22年 度国立情報学研究所公募型共同研究」では，このようなメディア開発に必要な基礎的知見の獲得を目的として，立食パーティと自動車車内対話の2つの 多人数対話場を採り上げ，その分析方法と分断・孤立の要因について検討した．立食パーティについては，参加者の身体位置や顔の向きをもとに孤立者を判定するアルゴリズムを考案し，その有効性を評価した．また自動車車内対話については，各乗員の視野の差異によって認知フレームの分割や多重化 が生じ，これが前後席間の分断や運転手の孤立を招くという仮説を，実際の走行中対話を分析することで検証した．

共同研究2：

中西英之(大阪大学)

「ソーシャルテレプレゼンス研究と被験者」

ソーシャルテレプレゼンスとは，遠隔の他者があたかも自分の側にいると感じる度合いであり，ソーシャルテレプレゼンス研究とは，この度合いを高めるには遠隔会議システムのユーザインタフェースをどのようにデザインすれば良いのかを考え出すことである．研究者（開発者，実験者）も被験者も同じ人間なので，同じデザインのシステムを用いた場合は，同じ度合いだけ他者の存在を感じ取れるはずである．もしそうであれば，存在感伝達能力が高いと自分で思うシステムを研究者がデザインして，その効果を評価するためだけに実験を行えば良い．しかしながら実際には，研究者の思い込みは頻繁に外れ，アンケートやインタビューの結果の中にデザイン改良のヒントを見出すことがしばしば起こり，被験者実験を行う中で徐々にデザインが決まっていく．この発表では，このようなデザインの例を二つ紹介する．

共同研究3：

岡田将吾(京都大学)

「系列データマイニングを用いたアニメーション説明課題における多人数会話データ分析」

近年データ中心科学的手法の重要性が指摘されており、対面会話状況で交わされる身体配置、ジェスチャや視線方向といった身体表現と音声言語表現と を統合的に収録し、収録したデータを分析するための環境の構築が必要である．本研究では、収録した大規模な非言語データを分析するためのデータマ イニング機構の構築に焦点を当てる．本研究では会話分析者の知見や仮説を基に、大規模な非言語系列の未アノテーションデータに自動的にアノテー ションを付与することの出来る、機械学習に基づくデータマイニング手法を提案する．また非言語時系列パターンを抽出するためのデータマインニング 手法も併せて提案する．最後にこれらの手法を三話者によるアニメーション説明タスクの分析に利用した例を紹介する．

共同研究4：

竹内勇剛(静岡大学)

「多人数ビデオチャットにおける適切な発話アドレッシング手法の開発と円滑な対話環境の構築」

本研究では，多人数で利用するビデオチャットシステムのインタフェース部を対面対話と同様に視線を通した発話アドレッシングを可能にする方法を検 討し開発を行なった．さらにこのシステムを利用して，多人数対話における参与者間の空間性の役割の解明を試みた．これらの取り組みにより，円滑な 多人数ビデオ対話環境を構築できるだけでなく，参加者が積極的に対話に参与しやすい環境を提供することが可能になった．なお実験では，以下の3つ の条件間での対話進行の観察を行ない定性的な分析を行なった．(A)提案したシステムを利用した場合でのビデオ対話環境条件，(B)対話参与者の映像が話者の視線によって変化しない一般的なビデオ対話環境条件，(C)直接対面対話条件．その結果， (B)は話者以外の参与者が自分がアドレスされている意識が希薄となり，スムーズな応答および話者交替に支障を来していたが，(A)ではそのよう な状況は観察されずに，むしろ(C)の場合と近い対話環境が構築されていたことが明らかになった．

Embodied interactions in socio-technological spaces, 31st. May, 2010.

Guest Speakers

Professor Elizabeth Keating, The University of Texas at Austin, USA Assistant Professor Marko Monteiro, State University of Campinas, Brazil Chiho Sunakawa, Ph.D. Candidate, The University of Texas at Austin, USA

Abstract

The purpose of this workshop is to explore new domains of communication, including modalities other than speech and the use of space and technology, in processes such as socialization, creation of community, globalization, and cross-cultural communication. Drawing on interdisciplinary approaches to language, society, and culture, particularly from linguistic anthropology, communication studies, and Science, Technology and Society studies, this workshop will discuss how socio-technologically created spaces are managed in the course of interaction involving language and the body, as well as material objects and properties of the built environment. It will also address the influence of technological development on space formations in interaction and methods of describing emerging communicative practices within the new spaces. The advent of technological development does not just enhance human capabilities, but creates new spatial boundaries of participation and social experience.

Research Activity Support

日本手話学会 第35回大会: 次世代遠隔通信による講演支援 (PDF)