程序员花了几十年时间为 AI 模型编写代码，现在，在一个完整的循环时刻，AI 被用于编写代码。但是，人工智能代码生成器与人类程序员相比如何？
发表在《IEEE Transactions on Software Engineering》6月刊上的一项研究评估了OpenAI的ChatGPT生成的代码在功能、复杂性和安全性方面。结果表明，ChatGPT 在生成函数式代码方面取得了极其广泛的成功——成功率从 0.66% 到高至 89% 不等——具体取决于任务的难度、编程语言和许多其他因素。
虽然在某些情况下，人工智能生成器可以产生比人类更好的代码，但分析也揭示了人工智能生成代码的一些安全问题。
Yutian Tang是格拉斯哥大学的讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产力和自动化软件开发任务方面提供一些优势，但了解这些模型的优势和局限性很重要。
“通过进行全面分析，我们可以发现基于 ChatGPT 的代码生成中出现的潜在问题和局限性......[并]改进新一代技术，”Tang解释道。
为了更详细地探索这些限制，他的团队试图测试 GPT-3.5 在 LeetCode 测试平台以五种编程语言解决 728 个编码问题的能力：C、C++、Java、JavaScript 和 Python。
“为什么ChatGPT可以在2021年之前更好地解决算法问题，一个合理的假设是，这些问题在训练数据集中经常出现。”—Yutian Tang，格拉斯哥大学
总体而言，ChatGPT 相当擅长解决不同编码语言的问题——尤其是在尝试解决 2021 年之前存在于 LeetCode 上的编码问题时。例如，它能够为简单、中等和困难问题生成函数式代码，成功率分别约为 89%、71% 和 40%。
“然而，当涉及到 2021 年之后的算法问题时，ChatGPT 生成功能正确的代码的能力受到了影响。它有时无法理解问题的含义，即使是简单的水平问题，“Tang指出。
例如，ChatGPT 为“简单”编码问题生成功能代码的能力在 2021 年之后从 89% 下降到 52%。在这段时间之后，它为“困难”问题生成函数式代码的能力也从40%下降到0.66%。
“为什么ChatGPT可以在2021年之前更好地解决算法问题，一个合理的假设是，这些问题在训练数据集中经常出现，”Tang说。
从本质上讲，随着编码技术的进步，ChatGPT 还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到的问题。这可以解释为什么它在解决旧编码问题方面比解决新问题要好得多。
“ChatGPT 可能会生成不正确的代码，因为它不理解算法问题的含义。”—Yutian Tang，格拉斯哥大学
有趣的是，ChatGPT 能够以比至少 50% 的人类解决方案更小的运行时间和内存开销生成代码。
研究人员还探讨了 ChatGPT 在收到 LeetCode 的反馈后修复自身编码错误的能力。他们随机选择了 50 个编码场景，在这些场景中，ChatGPT 最初生成了不正确的编码，要么是因为它不理解内容，要么是因为它不理解手头的问题。
虽然 ChatGPT 擅长修复编译错误，但它通常不擅长纠正自己的错误。
“ChatGPT可能会生成不正确的代码，因为它不理解算法问题的含义，因此，这种简单的错误反馈信息是不够的，”Tang解释道。
研究人员还发现，ChatGPT 生成的代码确实存在相当多的漏洞，例如缺少空测试，但其中许多漏洞很容易修复。他们的结果还表明，用C语言生成的代码是最复杂的，其次是C++和Python，它们与人类编写的代码具有相似的复杂性。
Tang说，基于这些结果，使用 ChatGPT 的开发人员必须提供额外的信息，以帮助 ChatGPT 更好地理解问题或避免漏洞。
“例如，当遇到更复杂的编程问题时，开发者可以尽可能地提供相关知识，并在提示中告诉ChatGPT需要注意哪些潜在的漏洞，”Tang说。
全文链接https://spectrum.ieee.org/chatgpt-for-coding