[ntcir:47] NTCIR Workshop update

[Noriko Kando <kando@xxxxxxxxx>]

**local arrangement for the NTCIR Workshp meeting **
[English announcement]                    Jan.7, 2001


** Relevance judgments were distributed to the task participants **

* Chinese IR task (CHIR & ECIR) *
The relevance judgments were distributed to the participants
of the task on January 5,
2001. Evaluation results will be distributed on January 10.


* Japanese & English IR task *
The relevance judgments were distributed to the
participants of the task on Dec.22, 2000.  They are
available on the participants page (access controled).
Evaluation results will be distributed on January 10.


* Text Summarization task *
Evaluation results were distributed to the participants of
the task through the ntcir ftp site on Dec. 28, 2000.


If you are the participants of any of the above tasks
and did not  receive the above information, please
let us know at ntcadm@xxxxxxxxx, or the chairs of
the task.


For the relevance judgments for IR tasks, we used
four grades relevance judgments; highly (very) relevant,
relevant, partially relevant, and non-relevant. For the
distributed relevance judgments, we set two different
threshold for levels of relevance for the convenience
to run the trec_eval program. Since there are no
standard methods to construct the multigrade relevance
judgments, we tried slightly different methods on
Chinese IR task and Japanese IR task. The method used
for Japanese IR task is the same as the last year. And
we tried new method for Chinese IR task. The details
will be described in the another message in the near
future.

Any comments and discussion on the methods of relevance
judgments are most welcome.

Best regards,
Noriko
---
Noriko Kando
ntcir project
++++++++++++++++++++++++++++++++++++++++++++++++++++++
[Japanese announcement]                               Jan. 7, 2001

NTCIR MLの皆さま

IR正解判定と要約の評価結果を配布しました

* 中国語検索タスク(CHIR & ECIR) *
1月5日に正解判定をタスク参加者に配布しました。
評価結果は1月10日に配布します。

* 日本語・英語検索タスク *
昨年12月22日に正解判定をタスク参加者に配布しました。
評価結果は1月10日に配布します。

* 自動要約タスク *
昨年12月28日に、評価結果をftpを通じて参加者に配布しました。


もし、NTCIRワークショップ２に参加している方で、参加しているタ
スクについて、上記の情報を受け取っていらしゃらなかった方がいら
しゃいましたら、至急、神門ntcadm@xxxxxxxxxまたは、各タスクの座
長までご連絡ください。


情報検索系タスクでは、今年は、「4段階正解判定（高適合、
適合、部分的適合、不適合）」を採用しました。お配りし
た正解判定ファイルでは、trec_evalプログラムを使用する
ために、２つの適合性レベルの閾値を設けてあります。
このような多段階正解判定については、標準的な構築方法
が確立していないため、今回、中国語検索タスクと日本語
検索タスクとでは、異なる方法を試みました。日本語検索タ
スクは昨年と同様の方法です。中国語検索タスクでは新しい
方法を試みました。詳しくは、別のメールでお知らせします。

多段階正解判定についてのコメント、ご意見等をお寄せくだ
さい。

よろしくお願いいたします。

神門典子
---
ntcir project
+++++++++++++++++++++++++++++++++++++++++++++++++++