平成21年度 NTCIR-8 多言語意見分析タスク 第1回 Round Table Meeting 議事録

日時：平成21年6月22日（月）13:30〜16:00
場所：国立情報学研究所 2009号室
出席者（敬称略）：神門 典子（国立情報学研究所），福本 淳一（立命館大学），
鈴木宏哉(慶應義塾大学)，David Kirk Evans（アマゾン・ジャパン），関 洋平
（豊橋技術科学大学）

1. NTCIR-8 MOAT 本タスクについて

NTCIR-6, -7 のサブタスクのうち，記事中の文単位（または意見単位）について，
意見性判定，極性判定，意見保有者判別，意見対象判別の4つを継続し，シナリ
オベースの評価，言語横断意見分析，協調アノテーション等の新たな取り組みを
行う。

A. 文書ジャンルの選択・参加者数について

* 新聞記事：日英簡繁，ブログ：日英の選択，日英は予算や負荷の問題からどち
らかしか行えない可能性があり，参加者にアンケートを聞いて決める。
* 新聞記事については，各言語のサブタスクで6チーム以上の参加が見込めなけ
れば，その言語のサブタスクは開催しない。
(前回実績・NTCIR-7 多言語意見分析タスクは各言語7チーム以上が参加している。)

B. トピック数について

* 協調アノテーションは，5チーム，各3トピックを予定。15トピック程度になる？
* NTCIR-8 MOAT の目標の一つとして，トピック数としてどの程度が妥当か，意
見分析コーパスのクオリティを評価する指標を明らかにする。

C. 適合文判定サブタスクについて

* 意見を検索するうえで，適合した意見を探すことは重要。
* NTCIR-7 同様にサブタスクを継続するか，少なくともシナリオベースの評価に
おいては適合性を判定したうえで評価する。
* 前回繁体字中国語は全文について意見性を判定しているが，この点は他言語と
歩調を合わせてほしい（適合文のみの意見性判定とする）。

D. 英文新聞記事（New York Times）

* 部分記事集合の選択については，適合性判定を考慮してしまうと文書セットが 
Skew してしまうので，ランダム選択にするのがよいのではないか。
* 参加者に$50払ってもらい，全文書集合を利用する方がよいかもしれない。
* 日本語の新聞記事は，結果を提出すると7年間使用可能。

2. パイロットタスクについて

以下の4つのタスク候補があり，参加者の状況を見て開催を判断する。
（6月30日までのアンケートを送付予定）

A. Yahoo!知恵袋・ベストアンサー推定（日本語）
B. ICWSM 2009 ブログ・意見分析タスク(日本語：慶應義塾大学と，オーガナイ
ザ作業を分担，英語：別途オーガナイザが必要)
C. Yahoo! 知恵袋の質問から ICWSM 2009 の関連ブログを推薦するタスク（日本
語）
D. レビュー記事意見分析タスク（中国語：Ruifeng Xu，Kam-Fai Wong らがオー
ガナイザ，意見性・極性判定）

3. スケジュール

* 協調アノテーション：7月半ば〜9月を予定。
* Formal Run の開催時期としては準備期間も含めて遅めがよいという意見があ
る。10月〜11月？
* パイロットタスクについては，本タスクよりやや遅くなる予定（12月？）。評
価返却は1月に行いたい。
* 論文提出：2010年3月，本会議：2010年6月

以上