NTCIR-9 1CLICK (1CLICK-1) テストコレクションは、NTCIR-9 1CLICK (One Click Access)タスクで使用されたテストコレクションです。
NTCIR-9 1CLICK タスクは、与えられた日本語のクエリに対して、ユーザの要求をできるだけ素早く満たすことを目指し、500文字または140文字の文字列を返すものです。情報のうち重要な部分には優先順位をつけ、ユーザが読むべきテキストの量は、最小にする必要があります。
[ENGLISH] [NTCIR ホーム] [NTCIR データ Home]
NTCIR-9 1CLICK (1CLICK-1) テストコレクションは、NTCIR-9 1CLICK (One Click Access)タスクで使用されたテストコレクションです。
NTCIR-9 1CLICK タスクは、与えられた日本語のクエリに対して、ユーザの要求をできるだけ素早く満たすことを目指し、500文字または140文字の文字列を返すものです。情報のうち重要な部分には優先順位をつけ、ユーザが読むべきテキストの量は、最小にする必要があります。
1CLCKテストコレクションには、60件の日本語のクエリ (15 CELEBRITY + 15 LOCAL + 15 DEFINITION + 15 Question Answering)と、ナゲットのセットが含まれます。
ナゲットは、事実情報の断片を示すもので、次の5つの要素からなります。
- NuggetID
- Nugget weight (importance)
- Nugget semantics (the meaning it conveys)
- Vital string (approximates the minimal length required to convey the meaning of the nugget)
- Source URLs
システム出力を評価するには、'nugget match interface'を用いて、システム出力とナゲット・リストを手動で比較する必要があります。その後、評価ツール NTCIREVAL を用い、S-measure や weighted nugget recall などの評価指標を算出することが可能です。
テストコレクションについての統計など、詳細については、1CLICK-1ウェブサイト:
http://research.microsoft.com/en-us/people/tesakai/1click.aspx
および NTCIR-9 1CLICKタスク統括論文をご覧ください。
http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-OV-1CLICK-SakaiT.pdf
NIIから配布するものはいずれも無料です。
- NTCIR-9 1CLICKタスクデータは、NIIのIDRからダウンロードできます：
http://www.nii.ac.jp/dsc/idr/ntcir/ntcir.html
参考書類 ---お問い合わせ ： ntc-secretariat
- 利用規程
- NTCIR-9 1CLICK タスク統括論文
Overview of NTCIR-9 1CLICK- NTCIR-9 1CLICK タスクウェブサイト
http://research.microsoft.com/en-us/people/tesakai/1click.aspx- ツール
http://research.nii.ac.jp/ntcir/tools/tools-ja.html
