NTCIR Project
ツール
NTCIREVAL

[ENGLISH] [NTCIR Home] [NTCIR Tools Home]


NTCIREVAL by Tetsuya Sakai

NTCIREVALは、様々な検索評価指標を計算するためのツールキットです。
NTCIR
TRECad hoc文書検索タスクの他、diversified search resultsの評価やNTCIR-8コミュニティQAタスクの評価などにも利用できます。

NTCIREVAL
は例えば以下のような指標を算出できます:
-Average Precision
-Q-measure
-nDCG
-Expected Reciprocal Rank (ERR)
-Graded Average Precision (GAP)
-Rank-Biased Precision (RBP)
-Normalised Cumulative Utility (NCU)
-
上記各指標の短縮リスト版
-Bpref
-D-measures and D#-measures (
多様性評価用)
-Intent-Aware (IA) metrics (
多様性評価用)

詳細についてはtarファイルに含まれるREADMEをご覧ください。

 

Download

 

http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.161017.tar.gz (2016-10-17 更新、ntcir_eval irec初期化バグ修正, thanks to Dr Tomohiro Manabe)

http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.160507.tar.gz (2016-05-07 更新、トピック×ランの行列をnevファイルから作成するスクリプトを追加)

http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.141207.tar.gz (2014-12-07 更新、now Mac-compatible thanks to Dr. Makoto P. Kato)
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.130507.tar.gz (2013-05-07
更新、makefile )
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120718.tar.gz (2012-7-18
更新、 NEVIAPQ2sharpnev script のバグを修正)
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120528.tar.gz (2012-5-28
更新、 1CLICK T-measure計算のバグを修正)
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120508.tar.gz (2012-05-10
更新)
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.110426.tar.gz
2011-04-26更新)
http://research.nii.ac.jp/ntcir/tools/NTCIREVAL.100728.tar.gz
2010-07-28更新)

 

References

 

l  情報アクセス評価方法論 -検索エンジンの進歩のために-, 酒井哲也, コロナ社, 2015.

l  Metrics, Statistics, Tests, Sakai, T., PROMISE Winter School 2013: Bridging between Information Retrieval and Databases (LNCS 8173), 2014.

 


[ENGLISH] [NTCIR Home] [NTCIR Tools Home]

Updated on : 2016-10-17

 

ntc-admin