NTCIR Project
ツール
ir4qa_eval

[ENGLISH] [NTCIR Home] [NTCIR Tools Home]


ir4qa_eval

本スクリプト群は、NTCIR-7 ACLIA IR4QA (質問応答のための文書検索)サブタスク向けに開発した文書検索評価ツールです。
NTCIRやTRECなど他の文書検索の評価にも流用可能です。
平均精度、Q-measure、nDCGその他の評価値を算出できます。
詳細についてはtarファイルに含まれるREADMEをご覧ください。

評価ツールの最新版は、NTCIREVALをご覧ください。

Download

http://research.nii.ac.jp/ntcir/tools/cqa_eval.tar.gz
(NTCIR-8 community pilot task用パッチ。ir4qa_eval2のインストールも必要です)
http://research.nii.ac.jp/ntcir/tools/ir4qa_eval2.tar.gz (latest version)
http://research.nii.ac.jp/ntcir/tools/ir4qa_eval.tar.gz