情報検索システム評価用テストコレクション構築プロジェクト リンクお問合せNII
NTCIR HOMEへ

サイト内検索

HOME
NTCIRとは
・ワークショップ
NTCIR-11
NTCIR-10
NTCIR-9
NTCIR-8
NTCIR-7
NTCIR-6
NTCIR-5
NTCIR-4
NTCIR-3
NTCIR-2
NTCIR-1
データ/ツール
出版物/会議論文集
関連サイト
メイリングリスト
よくあるお問合せ
お問合せ
プライバシーについて
NTCIR CMS HOME


テストコレクション提出結果アーカイブツール利用手続き・覚書テストコレクション詳細一覧

NTCIR Project

ツール Home

[English]

|概要|評価指標|文書フォーマット変換|適合判定管理|

ツール一覧

NTCIRワークショップでこれまでに構築したツールには下記のものがあります。
詳細は、表中の該当箇所をクリックしてください。


1. フォーマットおよびツール概要(主にIR)

評価ツール run形式 doc形式 qrel形式
NTCIR1-6 trec_eval TREC format ntcir_doc format
(NTCIR文書データ用フォーマット)
Early NTCIR format
NTCIR7- NTCIREVAL (rev. on July 12, 2023) res format
[sample]
ntcir_doc format
(NTCIR文書データ用フォーマット)
NTCIR format
[sample]
提出結果フォーマット変換スクリプト
(trec_eval format to ntcir_eval format)
IR4QA format
TREC format
PATENT -trec_eval for PATENT

-Precision-oriented Evaluation program for NTCIR-5 Passage Retrieval Task
TREC format - -
*フォーマットおよび使用されているタグの詳細は、各テストコレクションに含まれるREADMEまたはREADME.htmlファイルをご参照ください。
*下記のテストコレクションは、評価ツール/スコアラを含んでいます。
NTCIR-5 CLQA, NTCIR-6 CLQA, NTCIR-3 QAC, NTCIR-4 QAC, NTCIR-5 QAC

2. 評価指標/スコアラ
タスク名の略称:(例)7ACLIA→NTCIR-7 ACLIA Test Collection
ツール名 用途 タスク名 備考
ir4qa_eval.tar.gz
ir4qa_eval2.tar.gz
評価ツールの最新版は、
NTCIREVAL (rev. on July 12, 2023)をご覧ください
7ACLIA, 8ACLIA, 8CQA -
NTCIREVAL (rev. on July 12, 2023) 評価ツールの最新版

検索評価指標 計算ツール (平均精度などの二値適合性に基づく指標、Q-measure、nDCGなど多値適合性に基づく指標)

NTCIR-9 NTCIRやTRECのAd Hoc文書検索タスク、NTCIR-8CQA、 Diversified Searchに使用可能
NTCIRPOOL 適合判定のためのプールを作成するシンプルなシェルスクリプト NTCIR-9 -
BOOTS (rev. on May 07, 2016) BOOTSはシステムの集合が与えられた時に、システム対毎にbootstrap testを行い、判別能力を計算するためのツールキットです。     
Discpower (rev. on May 07, 2016) Discpowerrandomised Tukey HSD testを用いて評価指標の判別能力を計算するツールキットです。     
RITE SDK テキスト含意認識システムの開発および評価のためのJavaフレームワーク 9RITE -


3. 新聞記事 フォーマット変換用スクリプト
タスク名の略称:(例)7ACLIA→NTCIR-7 ACLIA Test Collection
ツール名 用途 言語 タスク名
mai2ntc-r.pl 毎日新聞記事データをNTCIR用フォーマットに変換 J 7.8ACLIA, 3.4.5.6CLIR, 6CLQA, 8GeoTime, 6MuST 6OPINION, 7.8MOAT, 3.4.5.6QAC
nyt2ntc.pl New York Times新聞記事データをNTCIR用フォーマットに変換 E 8GeoTime, 8MOAT
xie2ntc.pl Xinhua English 新聞記事データをNTCIR用フォーマットに変換 E 4.5CLIR, 6OPINION, 7.8MOAT
xin2ntc.pl Xinhua Simplified Chinese 新聞記事データをNTCIR用フォーマットに変換 Cs 7ACLIA
xin2ntc.1.pl Xinhua Simplified Chinese 新聞記事データをNTCIR用フォーマットに変換 Cs 7.8ACLIA, 7.8MOAT
yomi2ntc-clqa.pl Daily Yomiuri 新聞記事データをNTCIR用フォーマットに変換 E 5CLIR, 5CLQA, 6OPINION
yomi2ntcir.pl 読売新聞記事データをNTCIR用フォーマットに変換 J 4.5.6CLIR, 5CLQA, 6OPINION, 4QAC
--- 研究目的用として公開中のテストコレクション
--- ワークショップ参加者用テストコレクション

4. 適合判定管理システム
システム名
SEPIA

[English] [NTCIR home]                        
Last modified : 2021-10-05
ntc-admin