概要: 大規模言語モデル（LLM）を用いた自動プログラム修正（LLM-APR）の実現可能性が増している．LLM-APRの実践的利用における一つの課題として，LLMの出力に対する品質保証手段の確保が挙げられる．LLM-APRによる修正は開発者による修正と同様，誤りを含むことがあるからである．APRという状況においては，その成否は自動テストによって確認することもできるが，LLM-APRの長所であるテストを必要としないというメリットを打ち消してしまう．この課題を解決するために，LLM-APRにおけるプログラム修正の成否の予測が必要である．本研究では，LLMの品質保証を目的として，成否と相関を持ち，正答率の代替となる新たな指標の発見に取り組む．代替指標として，確信度と難易度，トークン確率の3つについて実験する．確信度と難易度はLLMに直接問い合わせる値でLLMの内発的な指標である一方，トークン確率はLLMから機械的に得られる指標である．実験の結果，最も高い相関係数でも0.32であったため，より高い相関を持つ指標の発見が一つの課題である．

@mastersthesis{石坂颯大2025,
  author = {石坂 颯大},
  title = {LLMを用いた自動プログラム修正における正答率の代替指標の調査},
  school = {大阪大学},
  type = {Bachelor's Thesis},
  year = {2025},
  month = {feb}
}