NTCIR-6 QAC4 (質問応答テストコレクション）
コレクションは、
- 文書データ： 毎日新聞記事データ1998−2001
- タスクデータ: 質問( 200件。日本語)、システム回答、人手回答、解答（模範解答）データ
- 評価データ(一部)
からなります。
＊NIIからは、研究目的では質問と解答からなる「タスクデータ」と評価データ（一部）を配布します。
|
コレクション |
タスク |
文書データ |
タスク データ |
|||||||
|
ジャンル |
ファイル名 |
言語 |
年度 |
文書数 |
サイズ |
検索課題 |
正解判定 |
|||
|
言語 |
# |
段階 |
||||||||
|
NTCIR-6 QAC |
QAC4 |
新聞記事 |
ntc3-j03-mai98.txt |
J |
1998 |
約12万 |
約135Mb |
J |
質問 |
4 |
|
ntc3-j03-mai99.txt |
J |
1999 |
約11万 |
約135Mb |
J |
質問 |
4 |
|||
|
ntc5-j02-mai00.txt |
J |
2000 |
約11万 |
約135Mb |
J |
質問 |
4 |
|||
|
ntc5-j01-mai01.txt |
J |
2001 |
約11万 |
約130Mb |
J |
質問 |
4 |
|||
・スクリプト mai2ntc-r.pl：http://research.nii.ac.jp/ntcir/permission/ntcir-4/script/mai2ntc-r.pl_txt
・README【mai2ntc-r.pl】：http://research.nii.ac.jp/ntcir/permission/ntcir-4/script/READMEforMainichiScript-r.txt
検索課題
QAC-4において設定する質問応答としては、従来までの名称を対象とした質問文から任意の回答を前提としたものを対象とします．QAC-4の検索課題は以下のとおりです．
1. 任意の質問文に対する質問応答として、１つの質問に対する１セットの回答を返します．
2. 想定する質問としては、従来までのfactoid型質問だけでなく、why, how, definitionなどのすべての質問文を対象とします．
3. 質問文としては１００問程度を準備し、システムによる回答と人手による回答を返します．
4. 回答の評価については、人手による評価をオーガナイザによって行い、ひとつの評価結果として返します．
5. 回答の表現は，知識源である新聞記事中に現れている表現そのものであるとします．
6. 根拠情報として回答を抽出した記事IDを返すものとします．
すべての質問は，回答が存在しない場合があり，回答が唯一であるとは限りません．
質問フォーマット
質問ファイルは以下の形式を持つ行の並びとします．
1. [質問ID]: "[質問文]"<CR>
2. [質問ID]の形式は，[質問セットID]-[質問番号]-[枝問番号]
3. [質問セットID]は英数字４文字，[質問番号]は，数字5文字，[枝問番号]は数字2文字．
4. [質問文]は，全角文字の並び．句読点は「、」と「。」とし，「？」は用いない．
回答フォーマット
回答ファイルは以下の形式を持つ行の並びとします（いわゆるcsv形式）．
- [質問ID](,
"[回答]", [記事ID], [見出し本文区分], [オフセット])*<CR>
- 注 ()*は，0回以上の繰り返し．
- [質問ID] は，質問フォーマットの質問IDと同様である．回答ファイル中で一意であり（重複なく）， その順序は質問ファイルの順序と同じであること， 「抜け」はあってもよい．
- [回答] は質問への回答であり，全角文字の並び．
- [記事ID] は，回答を導く際に利用した記事のIDであり，記事ファイルのタグの値を用いる．形式は JA- に続く半角数字9文字．
- [修正有無 は，E（修正有）もしくはM（修正無）のいずれかでEは省略可．その場合は，空文字列とする．つまり，区切記号であるカンマが連続する．
- ひとつの質問について回答が1つの場合には，[質問ID], "[回答]", [記事ID], [修正有無] の4つ組を1回返す．
- #で始まる行はコメント行とし，システムは根拠情報等回答に関する任意の情報を ここに提出することができる．
※ 詳しくはQACホームページ、またはNTCIR-6 QAC Task Overviewをご覧下さい．
お申込み --- テストコレクションの申込み方法は次の通りです。NIIから配布するものはいずれも無料です。
- まず、「テストコレクション利用申込書」を、E-mailで、 ntc-secretariat
宛 に送付して下さい。
- QACテストコレクションデータセットを申し込むには、併せて「利用申請書」が必要 です。
「テストコレクション利用申請書」
申請するテストコレクションすべてに対して共通です。１部で複数のテストコレクションの利用を申請することができます。
１部出力し、必要事項を記入し、署名または押印をして、以下の送付先に郵送してく ださい。
NIIで審査後，利用承認書をお送りします。
必要書類 ---
参考書類 ---- 利用規程
- NTCIR-6QACタスク統括論文
Overview of 4th Question Answering Challenge(QAC-4) at NTCIR Workshop6
「利用申請書」送付先 ---
〒101-8430
東京都千代田区一ツ橋2-1-2
国立情報学研究所
NTCIR事務局 (1309号室)
Phone: 03-4212-2750
FAX: 03-4212-2751
注意事項---
- テストコレクションに含まれる文書データは、作成機関等から有償または無償でNTCIRで利用するために提供されたものです。いずれも、 著作権があり、商品としての価値もあるものですが、情報アクセス研究におけるテストコレクションの重要性に鑑み、とくに、研究目的での利用を許諾していただきました。我々研究者は、今後も継続して文書データが研究に利用できるように、文書データ作成・提供機関からの信頼に応え、良好な関係を保つことが重要 です。そのため、利用規程等をよく理解し、文書データ作成・提供機関の権利を侵害しないように十分に配慮し、研究目的に限って利用してください。
-
[ENGLISH] [NTCIR ホーム] [このページの先頭] [NTCIR データHOME]Updated on : 2008-03-06
ntc-admin