NTCIR Project
Tools
BOOTS

[ENGLISH] [NTCIR Home] [NTCIR Tools Home]

---

BOOTS by Tetsuya Sakai

BOOTSはシステムの集合が与えられた時に、システム対毎にbootstrap testを行い、判別能力を計算するためのツールキットです。詳細についてはtarファイルに含まれるREADMEおよび下記論文をご覧ください。 I

なお、BOOTSはシステム対毎に独立に統計的検定を行いますが、Discpower ツールキットのほうは、randomised Tukey HSD testにより全システム対の検定を同時に行い、familywise error rateがα以下になるようにようにしています。

Download

http://research.nii.ac.jp/ntcir/tools/Boots160507.tar.gz (2016-05-07 更新、READMEのみ修正)

http://research.nii.ac.jp/ntcir/tools/Boots140129.tar.gz

References

l 情報アクセス評価方法論 -検索エンジンの進歩のために-, 酒井哲也, コロナ社, 2015.

l Metrics, Statistics, Tests, Sakai, T., PROMISE Winter School 2013: Bridging between Information Retrieval and Databases (LNCS 8173), 2014.

l Evaluating Information Retrieval Metrics based on Bootstrap Hypothesis Tests, Sakai, T., IPSJ TOD, Vol.48, No.SIG 9 (TOD35), pp.11-28, 2007.

l Evaluating Evaluation Metrics based on the Bootstrap, Sakai, T., ACM SIGIR 2006 Proceedings, pp.525-532, August 2006.

---

[ENGLISH] [NTCIR Home] [NTCIR Tools Home]

Updated on : 2016-05-07

ntc-admin