|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
NTCIR Project提出結果アーカイブ利用手続き・覚書
［English］ |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 分類 | コレクション | タスク | タスクデータ | 提出結果 | ||||||||
| 課題/質問 | 適合判定 | |||||||||||
| 言語 | # | # runs |
# groups |
|||||||||
| ACLIA | NTCIR-7 ACLIA |
CCLQA | CCLQA: | QA | C E J |
CS-CS: 100 CT-CT: 100 EN-CS: 100 EN-CT: 100 EN-JA: 100 JA-JA: 100 |
Binary decision *5 | total: 40 CS-CS:14 CT-CT: 3 EN-CS:10 EN-JA:6 JA-JA:7 |
9 | |||
| Question Analysis: | total: 10 CS-CS:6 CT-CT: 0 EN-CS:2 EN-JA:1 JA-JA:1 |
|||||||||||
| IR4QA+ CCLQA |
total: 78(113) CS-CS: 22(42) CT-CT:0 EN-CS: 20(32) EN-JA: 22(11) JA-JA: 14(28) *8 |
|||||||||||
| IR for QA | IR4QA | IR | CS-CS: 97 CT-CT: 95 EN-CS: 97 EN-CT: 95 EN-JA: 98 JA-JA: 98 |
3段階 | total: 91(93) *9 CS-CS:22 CT-CT: 19 EN-CS: 18(20) *9 EN-CT: 7 EN-JA:11 JA-JA:14 |
12 | ||||||
| NTCIR-8 ACLIA |
CCLQA | CCLQA | QA | C E J |
CS-CS: CT-CT: EN-CS: EN-CT: EN-JA: JA-JA: 100 for each language pair |
2段階 *5 |
total:19 CS-CS:6 CT-CT:3 EN-CS:1 EN-CT:3 EN-JA:3 JA-JA:3 |
6 | ||||
| Question Analysis: | total:7 CS-CS:3 CT-CT:0 EN-CS:2 EN-CT:0 EN-JA:1 JA-JA:1 |
|||||||||||
| IR4QA+CCLQA | total:21 CS-CS:0 CT-CT:3 EN-CS:0 EN-CT:9 EN-JA:4 JA-JA:5 |
|||||||||||
| IR for QA | IR4QA | IR | CS-CS: CT-CT: EN-CS: EN-CT: EN-JA: JA-JA: 100* for each language pair *2 |
3段階 | total:84 CS-CS:20 CT-CT:5 EN-CS:28 EN-CT:14 EN-JA:9 JA-JA:8 |
12 | ||||||
| CLIR on News | NTCIR-5 CLIR | IR | Ct E J K |
50 *2 |
4段階 | total:379 SLIR:201 BLIR:153 MLIR: 25 |
24 | |||||
| NTCIR-6 CLIR | STAGE1 | IR | Ct E J K |
50 (selected from NTCIR-3,4) *2 |
4段階 | total:151 SLIR:94 BLIR: 55 MLIR: 2 |
20 | |||||
| STAGE2 | total:494 *6 SLIR:234 BLIR: 260 |
19 | ||||||||||
| CLQA | NTCIR-5 CLQA | QA | C E J |
smpl:300, test:200 *3 |
3段階 *4 |
total: 42(47) CC7(7) CE7(8) EC:8(7) EJ:12(14) JE:8(11) *7 |
13 | |||||
| CQA | NTCIR-8 CQA Test Collection and Task/ System Evaluation |
answer quality ranking | J | 質問: 1500 回答: 7443 (ベストアンサー + 人手評価) |
2段階 および 4段階 |
10 | 3 | |||||
| Opinion | NTCIR-6 OPINION |
IE/ analysis |
Ct | 32 (selected from NTCIR -3,-4,-5 CLIR) |
2 types, 3 metrics |
意見性: 7 適合性: 4 極性: 5 |
5 | |||||
| E | 意見性: 9 適合性: 6 極性: 7 |
6 | ||||||||||
| J | 意見性: 5 適合性: 3 極性: 3 |
3 | ||||||||||
| NTCIR-7 MOAT | Cs | 16 | 2 types, 3 metrics |
意見性: 18 適合性: 12 極性: 8 保有者: 12 対象: 5 |
9 | |||||||
| Ct | 17 | 意見性: 15 適合性: 12 極性: 12 保有者: 8 対象: 5 |
7 | |||||||||
| E | 17 | 意見性: 22 適合性: 12 極性: 14 保有者: 4 対象: 2 |
9 | |||||||||
| J | 22 | 意見性: 12 適合性: 6 極性: 8 |
8 | |||||||||
| Patent | NTCIR-5 PATENT Retrieval/ Classi fication |
文書検索 | IR |
E J |
1,223 | 4 3 1 段階 |
84 | 10 | ||||
| パッセージ検索 | IR |
356 | 33 | 4 | ||||||||
| 分類 | 分類 | テーマ分類 | 2,008 | 31 | 4 | |||||||
| Fターム分類 | 500 | 18 | 3 | |||||||||
| NTCIR-6 PATENT Retrieval/ Classi fication |
英語検索 | IR |
E J |
3,221 | 3 | 11 | 5 | |||||
| 日本語検索 | IR |
2,908 | 4 | 22 | 5 | |||||||
| 分類 | 分類 | 21,606 | 1 | 43 | 6 | |||||||
| Patent Mining |
NTCIR-8 PAT-MN |
Subtask of Research Paper Classifi- cation |
Mining | E | English | 624 | 1 | 24 | 3 | |||
|
Cross-lingual (J2E) |
644 | 9 | 1 | |||||||||
| J |
Japanese |
644 |
71 |
4 |
||||||||
|
Cross-lingual (E2J) |
624 | 0 | 0 | |||||||||
| Subtask of Technical Trend Map Creation | Mining | E | English | 1000 | 1 | 13 | 4 | |||||
| J | Japanese | 1000 |
27 |
5 |
||||||||
| Patent Tranlation |
NTCIR-7 PAT-MT |
Intrinsic | MT | E | 1381文*11 | E J |
訓練データ: 1,798,571 文対 |
- | EJ: 24 JE: 34 |
15 | ||
| J | 1381文 *12 |
- | ||||||||||
| Extrinsic | E | 124請求項 | 3段階 | 20 | 12 | |||||||
| NTCIR-8 PAT-MT (Translation Subtask) |
Intrinsic | MT | E | 1119 文 *13 |
E J |
訓練データ: 3,186,284 文対 |
- | EJ: 22 | 6 | |||
| J | 1251文 *14 |
- | JE: 21 | 7 | ||||||||
| Extrinsic | E | 91請求項 | 3段階 | EJ: 11 | 6 | |||||||
| WEB | NTCIR-5 WEB | IR | J *1 | 269+847 | 3段階 | 44 | 6 | |||||
C:中国語 (Ct:繁体字 Cs: 簡体字） E:英語 J:日本語 K:韓国語
*1: 英訳あり
*2: 該当する適合文書が十分存在しないため、フォーマルランではいくつかのトピックを除外
*3: 中国語文書に対して300+200質問、日本語・英語文書に対して300+200質問
*4: Right, Unsupported, Wrong
*5: ナゲットの含有
*6: NTCIR-3テストコレクションに対する提出結果:162, NTCIR-4に対して:166, NTCIR-5に対して:166
*7: official runs (unofficial runs)
*8: obligatory runs (optional runs)
*9: One team submitted seven EN-CS runs but the sixth and the seventh runs
were not used for pooling and are excluded from the analyses.
*10: gakkai サブファイル: 1997-1999 kakenサブファイル: 1986-1997
*11: 参照訳(J)：1381文, 人手判定: 100文 ×5システム ×3判定者
*12: 参照訳(E): 1381文+300文×2 判定者, 人手判定: 100文 ×15システム ×3判定者
*13: 参照訳(J)：1119文
*14: 参照訳(E)：1251文+300文×3 翻訳者
提出結果アーカイブの研究目的利用-提出結果アーカイブの利用を希望される場合は、まず利用申込書をご記入の上、E-mailで、 ntc-secretariat
宛 ご送付ください。特にデータの利用目的については、覚書(例）の内容を参照の上、具体的・詳細に利用申込書にご記入ください。ご不明の点や特段のご要望がございましたら、NTCIRプロジェクトリーダー神門典子ntc-admin@までご相談ください。
申込み方法 --- 提出結果アーカイブの申込み方法は次の通りです。
NIIから配布するものはいずれも無料です。
「覚書」送付先
- まず、「提出結果アーカイブ利用申込書」をもれなく記入の上、E-mailで、 ntc-secretariat
- NIIにおける審査によって利用が承認されましたら、ご連絡を差し上げますので、利用許諾に関する「覚書」を郵送にて、下記の住所にご送付ください。詳細は審査承認後にご連絡いたします。
〒101-8430
東京都千代田区一ツ橋2-1-2
国立情報学研究所
NTCIR事務局 (1309号室) 宛
Phone: 03-4212-2750
FAX: 03-4212-2751
研究活動報告/発表論文報告
提出結果アーカイブ利用者は、「研究活動報告書」の提出と「発表論文報告」をしてください。
「研究活動報告書」は、覚書有効期限の一ヶ月前までに、E-mailで、 ntc-secretariat
宛 に送付してください。「発表論文」の報告は、論文発表の都度、「NTCIR関連発表論文報告ページ」をご参照の上ntc-secretariat
宛 に送付してください。メーリングリスト
新しいテストコレクションの公開等は、NTCIR
より e-mail にてお知らせします。ご関心のあるかたは、NTCIR mailing list （「NTCIR一般メイリングリスト」） にご登録ください。
現在進行中のNTCIR ワークショップについては、こちらを御覧下さい。
http://research.nii.ac.jp/ntcir/ntcir-9/index.html
[NTCIR home] [Test Collection]
Last modified:2010-12-08
ntc-admin