概要: ChatGPTなどの対話的LLMを用いたメタプログラミングフレームワーク，MetaGPTが着目を浴びている．MetaGPTは複数のLLMエージェントの協調作業によって，与えられた自然言語の仕様からソースコードを自動的に生成する．MetaGPTの提案論文では，プログラミングコンテストのような簡単な問題に対しては約8割の成功率を達成したと報告している．MetaGPT研究の課題の一つとして，性能評価が十分でないという点が挙げられる．第一に生成結果の妥当性を評価するためのテストが不十分であり，性能を過大評価している可能性がある．さらに同一問題に対するソースコードの生成試行回数が一度ずつのみであるため，LLMの持つランダムさを考慮できていない．本研究ではMetaGPTの性能を再評価するために，妥当性評価のテストが追加されたコード生成データセットを用いた再実験を行う．また同一タスクに対して複数回の実験を行うことで，LLMのランダムさを考慮した性能評価を行う．

@inproceedings{王天豪2025a,
  author = {王 天豪 and 柗本 真佑 and 楠本 真二},
  title = {LLMを用いた協調的メタプログラミング手法に対するコード生成能力の再評価 ~MetaGPTを対象として~},
  booktitle = {電子情報通信学会技術研究報告},
  volume = {124},
  number = {429},
  pages = {140--145},
  year = {2025},
  month = {mar}
}