WEKO3
アイテム
大規模言語モデルを用いた情報検索のためのcoarse-tuning 手法の提案
http://hdl.handle.net/10086/82060
http://hdl.handle.net/10086/82060f35f2958-5742-431b-a220-e256532c7fe5
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/P1-12.pdf
|
|
| Item type | デフォルトアイテムタイプ（フル）その２(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-02-07 | |||||||
| タイトル | ||||||||
| タイトル | 大規模言語モデルを用いた情報検索のためのcoarse-tuning 手法の提案 | |||||||
| 言語 | ja | |||||||
| 作成者 |
欅, 惇志
× 欅, 惇志× 田中, リベカ
|
|||||||
| アクセス権 | ||||||||
| アクセス権 | open access | |||||||
| アクセス権URI | http://purl.org/coar/access_right/c_abf2 | |||||||
| 内容記述 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | 大規模言語モデルを用いた情報検索(LLM-IR) のfine-tuning では，タスクに特化した学習に加えて，クエリの埋め込み表現（クエリ表現）とクエリ–文書の関係を学習する必要がある．本研究では，pre-training とfine-tuning を繋ぐ中間段階の学習としてcoarse-tuning を導入する．coarse-tuning においてクエリ表現とクエリ–文書の関係を学習することで，fine-tuning の負荷を軽減して学習効果の向上を目指す．その際，クエリ–文書ペアの適切性を推定するQuery–Document Pair Prediction (QDPP) を提案する．評価実験の結果，提案手法によって情報検索タスクRobust04 の検索性能(nDCG@20) が6% 向上した． | |||||||
| 言語 | ja | |||||||
| 出版者 | ||||||||
| 出版者 | 言語処理学会 | |||||||
| 言語 | ja | |||||||
| 日付 | ||||||||
| 日付 | 2023-03 | |||||||
| 日付タイプ | Issued | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| 出版タイプ | ||||||||
| 出版タイプ | VoR | |||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||
| 収録物名 | ||||||||
| 収録物名 | 言語処理学会第29回年次大会 発表論文集 | |||||||
| ページ数 | ||||||||
| ページ数 | 6 | |||||||
