CQAご参加のみなさま：


前回のアナウンスへのみなさまからのフィードバックに
基づいて、今回は、PLAN B (Yahoo!知恵袋コーパス第1弾を
使う)でタスクを実施することになりました．

下記をご覧になり、至急、必要な文書等の入手をお願いいた
します。タスクの詳細は、このメーリングリストで議論で
しましょう！


1．スケジュール

 - Plan B: Yahoo!知恵袋データ第1弾を使用
データ配布:             16 MAR 2010
課題の配布:             30 MAR 2010
実験結果の提出:　        6 APR 2010
評価結果の返却:         20 APR 2010
会議録論文ドラフト締切:  2 MAY 2010
ドラフトへのコメント: by 6 MAY 2010
会議録論文しめきり:     15 MAY 2010
NTCIR-8成果報告会   15-18 JUNE 2010


２．コーパスとテストセット、サンプル

・コーパス
文書データ：IDR事務局から配布されるYahoo!知恵袋
第一弾を使用します．入手法は、下記をご覧ください。
すでに、入手済みの方は、再入手は不要です
http://research.nii.ac.jp/ntcir/ntcir-ws8/permission/ntcir8Chiebukuro-yahoo-ja.htm


・テストセット
テストセットの入手には、以下の覚書をお送りください。
これは、全参加チームに提出をお願いしております。
http://research.nii.ac.jp/ntcir/ntcir-ws8/permission/perm-ja.html


・サンプル文書
http://research.nii.ac.jp/ntcir/ntcir-ws8/yahoo/sample-question


３．タスクの概要

(1)メインタスク：ベストアンサーの推定

(2)サブタスク：質問タイプの分類

(3)その他(希望があれば）


(1) ベストアンサー推定用テストセット：
+ 第一弾データから抽出した1500件の質問とそれに付随する回答のセット
+ 現在のYahoo!知恵袋Top15カテゴリにマージし，「その他」を除いたもの．
  それぞれのカテゴリにおける母集団と同じ比率でランダムにサンプリング
+ 質問者が選定したbest answersとは別個に、
  4人の判定者が並行してcorrect answersを判定(評価方法は今後議論)

(2)のテストセットは、上記(1)と同じ1500質問です。

・質問タイプ分類用サンプルデータ：
500質問とその回答、５カテゴリから無作為抽出。
3名の判定者が並行して分類したもの

よろしくお願いします


石川大介、酒井哲也、神門典子
ntcadm-yahoo (at) nii  ac  jp