検索結果ファイルの提出の形式
(enhanced on Feb. 6, 1999)
(modified on Nov.29, 1998)
0001 0 gakkai-0000000001 1 9999 ntc1
0001 0 gakkai-0000000002 2 9998 ntc1
0001 0 gakkai-0000000006 3 9997 ntc1
0001 0 gakkai-0000000004 4 9997 ntc1
0001 0 gakkai-0000000005 5 9995 ntc1
0002 0 gakkai-0000000001 1 9999 ntc1
0002 0 gakkai-0000000002 2 9998 ntc1
0002 0 gakkai-0000000006 2 9998 ntc1
1つの検索結果ファイルは1回の検索実行の結果を記録したものです。1つの
参加チームは、各タスクについて、1つ以上の検索結果ファイルを提出すること
ができます。
提出する検索結果ファイルは上のような形式になっている必要があります。
検索課題番号 ダミーフィールド 文書番号 ランク スコア 実行ID
- 各カラムの区切りはタブ1個です。
- 検索課題番号の昇順にソートしてください。
- 検索課題番号は検索課題の番号です。
- ダミーフィールドは評価には使用しませんので、0にします。
- 文書番号は文書のIDであり、文書のACCNフィールドの記号を使用します。
- ランクはランク付き検索での文書のランク(正の整数)です。評価プログラムは
この値は無視します。
- スコアはランク付き検索での文書と検索課題との類似度(確信度)を表わ
すスコア(浮動小数点)です。
- スコアの値が大きい文献ほど、上位のランクで検索されるとみなします。
評価プログラムは、検索結果ファイルを課題番号毎にこのスコアの値と文書番号で
ソートして順位づけますので、この値は必須です。ランク付けを
しないシステムの場合も、順位付けを表わす何らかのスコアをつけていただく必要
があります。
- 実行IDは、参加チームが、1回の検索実行に付与する名称です。
実行IDは、申込書に記入した参加チームの略称ではじめてください。システムは
大文字と小文字とを区別します。一つのチームが、
複数の結果を提出するときは、それぞれの検索結果ファイルを区別するために、
一連番号をつけてください。例えば、ntcチームが3つの検索結果ファイルを提出する
場合、実行IDはそれぞれ「ntc1」、「ntc2」、「ntc3」になります。
この一連番号は、後で提出する「検索結果提出フォーム」に記入する「検索
結果評価の優先順位」と同一である必要はありません。
- 1つの検索結果ファイルの中では、すべての行の実行IDは同一になります。
- NTCIRのftpサイトに提出する検索結果ファイルのファイル名は、実行IDと同一に
してください。