概要: ChatGPTなどの対話的LLMを用いたメタプログラミングフレームワーク，MetaGPTが着目を浴びている．MetaGPTは複数のLLMエージェントの協調作業によって，与えられた自然言語の仕様からソースコードを自動的に生成する．MetaGPTの提案論文では，プログラミングコンテストのような簡単な問題に対しては約8割の成功率を達成したと報告している．MetaGPT研究の課題の一つとして，性能評価が十分でないという点が挙げられる．第一に生成結果の妥当性を評価するためのテストが不十分であり，性能を過大評価している可能性がある． さらに同一問題に対するソースコードの生成試行回数が一度ずつのみであるため，LLMの持つランダムさを考慮できていない．本研究ではMetaGPTの性能を再評価するために，妥当性評価のテストが追加されたコード生成データセットを用いた再実験を行う．また同一タスクに対して複数回の実験を行うことで，LLMのランダムさを考慮した性能評価を行う．

@mastersthesis{王天豪2025,
  author = {王 天豪},
  title = {メタプログラミングフレームワークMetaGPTに対するコード生成能力の再評価},
  school = {大阪大学},
  year = {2025},
  month = {feb}
}