WEKO3
アイテム
生成AI による自由記述ラベル付けの安定性再検討
https://hiroshima.repo.nii.ac.jp/records/2041441
https://hiroshima.repo.nii.ac.jp/records/204144111a052a1-31ef-45c6-8167-89784dc1b8ea
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
CE183-9_1.pdf (1.3 MB)
|
|
| Item type | デフォルト(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-02-03 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 生成AI による自由記述ラベル付けの安定性再検討 | |||||||||||||
| 言語 | ja | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Re-examination of Stability in Generative AI-based Free Text Labeling | |||||||||||||
| 言語 | en | |||||||||||||
| 作成者 |
隅谷, 孝洋
× 隅谷, 孝洋
× 天野, 由貴
|
|||||||||||||
| アクセス権 | ||||||||||||||
| アクセス権 | open access | |||||||||||||
| アクセス権URI | http://purl.org/coar/access_right/c_abf2 | |||||||||||||
| 権利情報 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 権利情報 | 本著作物の著作権は情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。 | |||||||||||||
| 権利情報 | ||||||||||||||
| 言語 | en | |||||||||||||
| 権利情報 | The copyright of this material is retained by the Information Processing Society of Japan (IPSJ). This material is published on this web site with the agreement of the author (s) and the IPSJ. Please be complied with Copyright Law of Japan and the Code of Ethics of the IPSJ if any users wish to reproduce, make derivative work, distribute or make available to the public any part or whole thereof. All Rights Reserved, Copyright (C) Information Processing Society of Japan. | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 生成AI | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | generative AI | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 自由記述文分析 | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | free format text analysis | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | ラベル付けの安定性 | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | stability of labeling | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | LogProbs | |||||||||||||
| 主題 | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | LogProbs | |||||||||||||
| 内容記述 | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | 生成AI を用いた自由記述文のラベル付けは有用である一方，大規模言語モデル（LLM）の非決定性により，temperature を0 に設定した場合であっても結果が揺らぐことがある．本研究ではこの非決定性を前提とし，生成時のトークン生成確率（LogProbs）を用いて，ラベル付け結果に対する確信度を推定する手法を整理する．さらに，LogProbs が利用できない場合には，多数回生成による出力分布を用いたモンテカルロ的アプローチにより，確信度を近似的に評価する方法を検討する．これにより，生成AI によるラベル付けの揺らぎを，自由記述文や評価方法に内在する曖昧さを示す指標として捉え直し，教育データ分析の信頼性向上に資する視点を提示する． | |||||||||||||
| 言語 | ja | |||||||||||||
| 内容記述 | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | While labeling free-form text with generative AI is useful, the inherent non-determinism of large language models (LLMs) can cause outputs to vary even when the temperature is set to 0. In this study, taking this non-determinism as a given, we organize methods for estimating confidence in labeling results using token-level generation probabilities (log probabilities; LogProbs). In addition, when LogProbs are unavailable, we examine an approximate way to assess confidence via a Monte Carlo–style approach that uses the output distribution obtained from repeated generations. This reframes labeling variability under generative AI as an indicator of ambiguity inherent in free-form responses and in evaluation procedures, and offers a perspective that can improve the reliability of educational data analysis. | |||||||||||||
| 言語 | en | |||||||||||||
| 出版者 | ||||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
| 言語 | ja | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||||||
| 資源タイプ | journal article | |||||||||||||
| 出版タイプ | ||||||||||||||
| 出版タイプ | VoR | |||||||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||||||
| 関連情報 | ||||||||||||||
| 関連タイプ | isIdenticalTo | |||||||||||||
| 識別子タイプ | URI | |||||||||||||
| 関連識別子 | https://ipsj.ixsq.nii.ac.jp/records/2006897 | |||||||||||||
| 収録物識別子 | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8930 | |||||||||||||
| 収録物識別子 | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10096193 | |||||||||||||
| 書誌情報 |
ja : 情報処理学会研究報告 コンピュータと教育（CE） en : IPSJ SIG Technical Report 巻 2026-CE-183, 号 9, p. 1-6, ページ数 6, 発行日 2026-01-31 |
|||||||||||||
