概要: 近年，ソースコードを全自動で生成する技術であるコード生成の研究が盛んに行われている．コード生成は発展途上の技術であり，構文誤りを含むソースコードが生成されることも少なくない．そのような誤りを含むソースコードに対しては，抽象構文木やプログラム依存グラフを利用するソースコード用の評価指標は適用できない．一方，自然言語処理で用いられる評価指標ならば構文誤りの有無にかかわらず適用可能である．それらの自然言語処理で用いられる評価指標のうち，どの指標が自動生成されたソースコードの評価に適しているかは明らかでない．そこで本研究では，構文誤りを含む自動生成コードに対しても適用可能で評価に適した指標を明らかにする．生成コードの修正容易性と相関の強い評価値を出力する指標は，生成コードの評価に適していると考えた．なぜなら，要求を満たすような正しいコードの生成は現状のコード生成では困難であり，実際に利用する際，開発者による生成コードの修正が必要だからである．生成コードを要求を満たすようなコードに修正する被験者実験を実施し，修正容易性を生成コードの修正に要した時間として測定した．そして，実験により得られた修正時間と評価指標による生成コードの評価値との相関をとり，生成コードの評価に適した指標を調査した．調査の結果，生成コードの評価に比較的適している既存の評価指標はChrFであることが明らかになった．また，既存の評価指標が持つ特徴を組み合わせることでより良い評価指標の作成を試みた．

@mastersthesis{髙市陸2023,
  author = {髙市 陸},
  title = {構文誤りを含むソースコードを評価可能な指標の比較 —翻訳ベースのコード生成を前提として—},
  school = {大阪大学},
  year = {2023},
  month = {feb}
}