| 第3回NTCIRworkshopは 終了しました |
最新のNTCIRworkshopは  をご覧下さい |
[English] [NTCIR][ワークショップ][参加申込][覚書] タスク [clir][patent][qac][tsc][web]
NTCIR Woorkshop 3 質問応答タスク
Question Answering Challenge (QAC)
| 第3回NTCIRworkshopは 終了しました |
| 最新のNTCIRworkshopは をご覧下さい |
last update July 30, 2001
福本 淳一
立命館大学 理工学部 情報学科
〒525-8577 滋賀県草津市野路東１−１−１
Fax: 077-561-2669
E-mail: fukumoto
加藤 恒昭
東京大学大学院 総合文化研究科
〒153-8902 東京都目黒区駒場３−８−１
Fax: 03-5454-4329
E-mail: kato
桝井 文人
三重大学工学部情報工学科
〒514-8507 三重県津市上浜町１５１５
Fax: 059-236-0029
E-mail: masui
質問応答(Q&A)とは， 大量の文書を背景に自然言語によって尋ねられた 任意の質問に答えを与えるタスクであり， ドメイン依存でないこととともに， 組織化されていない情報に依存していることがRDBに対する質問と異なる点である． Q&Aをタスクとして捉えると， 質問Qに対する答えAの善し悪しの程度(信頼度，蓋然性)が議論される技術であり， 根拠を提示できることや答えのない質問に対処できる (誤るなら答えない)ことも重要な要素である．
Q&Aの技術は情報抽出，情報検索， 自然言語インタフェースなどの 多くの自然言語処理の研究と関連がある． QACでは，これらの中で特に情報抽出と対話処理に注目して 課題の設定と評価を行うものである．
毎日新聞９８年、９９年の２年分の新聞記事
システムは，与えられた質問（１００件の質問文）に対して， その回答と考えられるものひとつを優先順位をつけて5つ返す． 評価は，最も高い優先順位を与えられた正解(もしくは複数正解のうちのひとつ)に 基づいて行われる．例えば，順位の逆数(1位ならば1，2位ならば1/2等)による 得点付け等．正解(のいずれかひとつ)をなるべく高い順位で解答したものが 高い評価を得る．すべての正解を網羅する必要はない． 誤った回答に対してペナルティは与えない (従って，正解の存在しない質問は得点に影響しないので， ないのと同じ)．基本的にはTREC QA Taskと同じ課題設定となる．
システムは，与えられた質問（１００件の質問文）に対して， その回答と考えられるもののリストをただひとつ返す． 評価はそのリストに含まれるものと正解との差分に基づいて行われる． 正解であるものを含んでいなかったり， 正解でないものを含んでいたりする場合は， いずれも減点となる(計算方式の詳細は未定)． 従って，正解のない質問に対しては，空リストを返すと得点となるが， それ以外のものを返すと減点の対象となる．
タスク1向けにシステムを設計した場合でも， 候補を並べるためになんらかの尤度計算をしているのあれば， その尤度に閾値を設定して，その閾値以上の候補をリストして 回答することでタスク2にも参加できる．タスク1とタスク2は同じ質問セットを使うことを考えている．
タスク2の形式で回答するシステムに対して， 複数の連続した質問(枝問)に回答させる． 連続した質問の最初(先頭)のものは， タスク2で用いられる質問と同じ(この部分をタスク2,3で共有するかは要検討)とする． それに続いて，先行する質問やその回答を参照する質問が行われる． 評価はそれぞれの質問について，タスク2と同様の形式で行う．１００件の質問文を予定している．
根拠情報はタスク1の場合，各候補についてひとつ， タスク2の場合は，リストの各要素についてひとつ， ただし，ある部分がリスト内の複数要素のサポートとなっている場合は共有して構わない． それぞれの根拠情報は1パラグラフもしくは100文字程度． 提出することは義務付けるが，採点の対称とするかは今後検討していく．
DATE SCHEDULE NOTE 2001-06-25 Task Plan Meeting: TSC2, QAC finished 2001-08-01 Formal CFP for NTCIR WS 3 2001-09-30 Application Due 2001-10 Round-Table Discussion 2001-12 Dry Run 2002-1 Round-Table Discussion 2002-4 Formal Run 2002-07-01 Evaluation Results Delivery 2002-08-20 Paper for Working Note Due 2002-10 NTCIR Workshop 3 Meeting 2002-12-01 Paper for Final Proceedings Due
QACのタスクの内容など最新の情報については， http://www.nlp.cs.ritsumei.ac.jp/qac/ を参照されたい．