NTCIREVAL

NTCIR Project
ツール
NTCIREVAL

[ENGLISH] [NTCIR Home] [NTCIR Tools Home]

NTCIREVAL by Tetsuya Sakai

NTCIREVALは、様々な検索評価指標を計算するためのツールキットです。
NTCIRやTRECのad hoc文書検索タスクの他、多様化検索・グループフェアな検索の評価や、NTCIR-8コミュニティQAタスクの評価などにも利用できます。

NTCIREVALは例えば以下のような指標を算出できます:

-Average Precision

-Q-measure

-nDCG

-Expected Reciprocal Rank (ERR)

-Graded Average Precision (GAP)

-Rank-Biased Precision (RBP)

-Expected Blended Ratio (EBR)

-intentwise Rank-Biased Utility (iRBU)

-Normalised Cumulative Utility (NCU)

-上記各指標の短縮リスト版

-Bpref

-D#-measures と DIN#-measures (多様化検索用)

-Intent-Aware (IA) metrics と P+Q# (多様化検索用)

- Group Fairness and Relevance (GFR)

詳細についてはtarファイルに含まれるREADMEをご覧ください。

Download

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.230130.tar.gz

(Fairwebタスク向けにGroup Fairness and Relevanceを導入)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.200626.tar.gz

(コンパイルする際のwarningを回避する若干の修正と、いくつかの指標の正規化版を導入)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.200520.tar.gz

(EBR, iRBUを導入。連続gain valueから直接評価指標を計算するスクリプト追加)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.190617.tar.gz

(エラー出力の軽微なバグを修正)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.190111.tar.gz

(161017のirecバグを更に修正、指標を若干追加)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.161017.tar.gz (2016-10-17 更新、ntcir_eval irec初期化バグ修正, thanks to Dr Tomohiro Manabe)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.160507.tar.gz (2016-05-07 更新、トピック×ランの行列をnevファイルから作成するスクリプトを追加)

https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.141207.tar.gz (2014-12-07 更新、now Mac-compatible thanks to Dr. Makoto P. Kato)
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.130507.tar.gz (2013-05-07 更新、makefile )
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120718.tar.gz (2012-7-18 更新、 NEVIAPQ2sharpnev script のバグを修正)
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120528.tar.gz (2012-5-28 更新、 1CLICK T-measure計算のバグを修正)
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.120508.tar.gz (2012-05-10更新)
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.110426.tar.gz （2011-04-26更新）
https://research.nii.ac.jp/ntcir/tools/NTCIREVAL.100728.tar.gz （2010-07-28更新）

References

l 酒井哲也: 情報アクセス評価方法論 -検索エンジンの進歩のために-, コロナ社, 2015.

l Tetsuya Sakai: Metrics, Statistics, Tests, PROMISE Winter School 2013: Bridging between Information Retrieval and Databases (LNCS 8173), 2014.

l Tetsuya Sakai: How to Run an Evaluation Task: with a Primary Focus on Ad Hoc Information Retrieval, Information Retrieval Evaluation in a Changing World – Lessons Learned from 20 Years of CLEF, Springer, 2019.

l Tetsuya Sakai and Zhaohao Zeng: Retrieval Evaluation Measures that Agree with Users’ SERP Preferences: Traditional, Preference-based, and Diversity Measures, ACM TOIS, 39(2), Article No.14, 2020.

l Tetsuya Sakai, Jin Young Kim, and Inho Kang: A Versatile Framework for Evaluating Ranked Lists in terms of Group Fairness and Relevance, ACM TOIS, to appear, 2023.