[Date Prev][Date Next][Date Index]

[ntcir:49] announcement of Q&A Challenge



[English announcement]                           Jan.18, 2001

Dear NTCIR ML members,

We will propose a new subtask on Question and Answering in the next NTCIR
Workshop 3.

In order to discuss what and how we will evaluate Q&A task, we will start up
discussions on mailing list.  Anyone who is interested in the evaluation of
Q&A task is most welcome to join us.  However, we are very sorry for
Japanese non-natives that discussions on the first step will be held in
Japanese.  We are planning to send discussion summary to both English and
Japanese version mailing lists regularly, so discussions in English are also
welcome.  We will also have a discussion of the next step at the NTCIR
Workshop 2 meeting.

Registration to the Mailing List on Q & A Challenge (qac@xxxxxxxxx  :
general, qac-j@xxxxxxxxx : Japanese only) is conducted using mailing list
system.  Please send the following information in your mail body to
majordomo@xxxxxxxxx .  (The person who registered your information at
qac-j@xxxxxxxxx will be automatically registered to qac@xxxxxxxxx .)
subscribe qac-j@xxxxxxxxx your_e-mail_address		(in Japanese)
subscribe qac@xxxxxxxxx your_e-mail_address		(in English)

Please refer to the following URL to know registration method.
http://research.nii.ac.jp/ntcir/workshop/ml-ja.html
http://research.nii.ac.jp/ntcir/workshop/ml-en.html

*We will discuss...
+ Goal of Q&A task
   What is a plausible application after Q&A task?  To realize it, what
should we do?
+ subcategorization of Q&A task
   What kinds of classification of questions and answers are suitable for
technology evaluation?
   Yes-no question, 5W1H type question, no answer question, and multiple
answer questions
+ What kinds of key technology
   What role will NE extraction, sentence selection summarization, passage
generation, MUC type extraction technology play? What else is needed?
+ Evaluation criterion
+ Document genre
   Newspaper articles, Web documents, other documents (encyclopedias)
+ Re-usability of results
   In the subtask of Text Summarization Challenge, they are thinking
summarization data should be re-usable linguistic resource for their future
research.  Is it applicable to Q&A task?
+ System performance?
 etc. etc. etc.

For the future plan, we would like to extend the Q&A technology to the
system, which can automatically access tons of data with more friendly user
interface and so on.   Any comments, leads and suggestion are welcome!

Best regards,

---
Junichi Fukumoto (Ritsumeikan univ.)
Tsuneaki Kato (Tokyo univ.)
ntcir project
============================================================
[Japanese announcement]                                          Jan.18,
2001
2000

NTCIRプロジェクトでは、次年度以降、Q&Aタスクの研究と評価を新たなサブタス
クとして追加したいと考えています。

そこで、どのようにタスクを設定しどう評価すべきであるのかを話し合うために、ま
ず、メーリングリスト上での議論を持ちたいとおもいます。Q&Aタスクに関心のあ
る方は、どなたでも歓迎です。日本語用として qac-j@xxxxxxxxx を、英語用として
qac@xxxxxxxxx を用意いたしますので、それぞれ登録していただければと思います。
第一段階として、日本語での議論を行い、それを英語用に定期的に流す方向を進めた
いと思います。

MLに参加を希望される方は、majordomo@xxxxxxxxx へ
subscribe qac-j@xxxxxxxxx ご自身のメールアドレス(日本語用)
subscribe qac@xxxxxxxxx ご自身のメールアドレス	(英語用)
とメールメッセージの本体に書いたメールを送ってください。自動登録されます。自
動登録の方法につきましては、下記のアドレスを参照してください。
(qac-j@xxxxxxxxx への登録者は自動的に qac@xxxxxxxxx にも登録されます。)
http://research.nii.ac.jp/ntcir/workshop/ml-ja.html  (日本語)
http://research.nii.ac.jp/ntcir/workshop/ml-en.html (英語)

議論の内容としましては、たとえば以下のことを考えております。
・	Q&Aタスクの目的
このタスクによって達成される技術とは何か?これによってどのような恩恵があるの
か。
・	タスクの分類、細分類
技術の達成度の指標となるような質問や回答の分類はどのようなものか?
yes-no型の質問、5W1H型の質問、答えのない質問、多くの答えのある質問など
・キーとなる技術
 NE,要約、パッセージ生成、MUCで得られた抽出技術、
・評価の基準
・対象となるテキストの種類
・結果の再利用

これ以外にもまだまだ多くの問題点があると思いますので、これに限らずいろいろな
ご意見をいただければと思います。コメント、提案、ご意見を歓迎します。

以上、よろしくお願いいたします。

福本 淳一(立命館大学)
加藤 恒昭(東京大学)
ntcir project
------------------------------