代码模子 SFT 对皆后，枯竭进一步偏勤学习的问题有解了。

北大李戈教师团队与字节合营，在模子捕快过程中引入偏勤学习，提议了一个全新的代码生成优化框架——CodeDPO。

在部分模子上，比拟于单独使用 SFT，CodeDPO 好像将模子的 HumanEval 得分再多进步 10 个百分点，最高增幅接近 1/3。

监督微调（SFT）等现存捕快秩序，尽管进步了代码质地，但在代码生成过程中存在关键局限——莫得皆备捕快模子在正确与不实搞定决策之间作念出偏好选拔。

当采取 SFT 秩序捕快模子时，跟着偏好输出的可能性增多，生成不睬念念输出的概率也随之高潮，导致性能出现瓶颈。

为搞定这一问题，北京大学李戈教师团队与字节越过合营，CodeDPO 因此而生。

该框架将偏勤学习融入代码模子捕快中，讹诈代码自考证机制，权臣进步代码生成的准确性和扩充遵守。

SFT 对代码生成成果的进步存在局限

代码生成任务，即把柄当然话语描写自动生成代码，正日益受到平凡慈祥。

大模子在大鸿沟数据集上进行了充分的捕快，在这一领域展现出重大的智商。

这些代码大模子经常会进一步通过指示监督微调（SFT）等秩序进行微调，以最大闭幕进步其代码生成智商。

可是，尽管 SFT 秩序进步了模子的代码生成成果，但其并未皆备捕快模子在正确与不实搞定决策之间作念出偏好选拔。

以 Phi-2-2.7B 模子为例，在后来捕快过程中，不同正确性和遵守的代码生成概率的变化情况如下图所示。

传统的 SFT 战术难以教养模子更倾向于生成正确搞定决策，而非不实或扩充平安的决策。

因此，在代码模子的后捕快中更新捕快战术，关于纠正这些代码模子以派遣各式代码生成任务至关遑急。

本文提议新式代码生成优化框架 CodeDPO，将偏勤学习融入代码模子捕快中，基于两个关键要素——正确性和遵守——界说了代码偏好。

其中，正确性指代码是否准确搞定问题，而遵守是指预见代码运行的速率。

商讨团队生机在代码模子的捕快过程中，进步模子对正确、高效代码的偏好性。

捕快代码模子代码偏好

如图所示，CodeDPO 秩序包含四个关键范例：

数据种子构建：领先从开源代码库中网罗数据种子并生成编程任务教唆；

正确性优化与自考证评分：同期生成代码与测试，通过自考证机制构建用于正确性优化的数据集；

扩充时刻遵守优化：商讨团队在接管的委果测试集上测量扩充时刻，以构建遵守优化数据集；

模子偏好捕快：从上述两个阶段网罗数据集，并使用 DPO 秩序来捕快多种代码模子。

其中，自考证评分把柄生成代码是否通过测试进行迭代更新。

（如上图所示，经过两次迭代后，代码 -1 的评分从 1 变为 1.75 再至 2.7，因其通过更可靠的测试并在每次更新中得回更高评分，标明其正确的概率更大）

代码自考证机制

CodeDPO 通过自考证机制从信得过代码库构建数据集，其中代码和测试用例被同期生成并用于评估。

团队假定，能被更多代码片断扩充的测试更为可靠，而通过更多测试的代码则更有可能是正确的。

为此，CodeDPO 采取了一套自考证过程：

每个代码片断和测试用例领先得回一个自考证分数，随后使用一套类 PageRank 的算法进行迭代更新。

该算法通过酌量交叉考证中的关系，来退换每个代码片断和测试的委果分数，优先基于正确性和遵守选拔搞定决策。

在启动阶段，系数代码片断和测试用例的自考证得分均设为 1。

跟着考证过程的进行，代码和测试用例的得分会把柄通过率平安更新。具体而言，测试用例被更多的代码片断通过，它的自考证得分就会越高；

通过越多高委果度测试用例的代码片断，其自考证得分也越高。自考证得分的更新公式如下：

其中，d 为阻尼因子，Link ( c,t ) 暗示代码片断 c 是否通过测试用例 t。

经过屡次迭代后，评分平安拘谨，最终反应了代码片断和测试用例的正确性质地。

除了代码正确性，代码的扩充遵守亦然代码生成模子优化的遑急目的。

在 CodeDPO 中，团队通过纪录每个代码片断在测试用例中的扩充时刻，来优化其扩充遵守。

可是，并非系数测试用例都能准确反应代码的扩充遵守。

为了确保遵守评估的可靠性，该团队选拔在正确性优化阶段评分最高的代码片断所通过的测试用例，四肢"委果测试集"，以此四肢遵守评估的圭臬。

关于通过委果测试集的代码片断，扩充时刻越短，其遵守评分越高。

最终，这些遵守较高的代码片断将被用于捕快数据纠合，以进一步优化模子生成代码的扩充遵守。

CodeDPO 的最终数据集，包含了从正确性优化与扩充遵守优化阶段网罗到的数据。

通过整合两方面的数据集，确保了模子不仅能生成正确的代码，还能生成高效的代码搞定决策。

好意思满的数据构造经由如下图所示：

准确性与遵守均有进步

测试终局露出，经过 CodeDPO 优化后，代码模子的生成准确率和遵守，都得回了一定进步。

代码准确性实验

商讨团队在 HumanEval（+），MBPP（+）和 DS-1000 三个数据集上进行了平凡实验，涵盖 8 种主流代码生成模子，包含 Base 模子和 SFT 模子。

团队不雅察到 CodeDPO 在系数模子上均带来了权臣进步，无论其启动性能怎样。

相称值得一提的是，在 DeepSeekCoder-6.7B 的基础上，配合已有的 SFT 战术（MagiCoder-S-DS-6.7B），以及本文 CodeDPO 的增强，最终模子在 HumanEval 上达到了 83.5% 的通过率。

此外，CodeDPO 在更具挑战性的 HumanEval+ 上也展现出权臣进步，讲授了其在更严格评估下的鲁棒性。

成绩于 CodeDPO 的数据构建战术，构建一个可靠的偏好数据集，匡助模子倾向于高质地输出，从而收场更可靠的代码生成。

CodeDPO 在代码模子的后期捕快阶段解析着关键作用，权臣进步了合座性能。

在 DS-1000 数据集上，该团队进一步评估了 CodeDPO 在不同 Python 库中的发达。

需要注释的是，在数据构建过程中，并未融入特定 Python 库的先验常识。

尽管在 Torch 和 TensorFlow 下团队不雅察到了微细的性能下落，可能是由于这些库在数据集构建中的占比较低。

可是，CodeDPO 总体上露出出对其各自基线模子的性能进步。

DS-1000 在数据样式和评估的编程手段方面与 HumanEval 和 MBPP 等基准有所不同，其数据构造过程确保其险些不被任何模子的捕快集所包含，从而使得团队在 DS-1000 上不雅察到的纠正具有可靠性。

这些终局标明，CodeDPO 不单是妥贴于 HumanEval 等圭臬编程基准，也讲授了 CodeDPO 好像在更复杂和千般化的场景中进步模子的编程智商。

代码扩充遵守实验

关于代码扩充遵守这一问题，该团队通过测量生成代码的扩充时刻并蓄意加快比来评估。

同期团队还评估了应用 CodeDPO 前后代码优化百分比，其中范例若比基线快至少 10% 则视为已优化。

这些目的基于在应用 CodeDPO 前后都能被搞定的编程问题所组成的杂乱上来进行实验。

团队选拔 HumanEval+ 和 MBPP+ 进行评估，因其 test case 的构造权臣彭胀了测试用例的千般性，使得这两个增强数据集涵盖了各式边际情况。

下图展示了屡次实验终局的散播情况。

CodeDPO 捏续进步代码性能，使生成的代码平均加快 1.25 至 1.45 倍，约 20%-45% 的生成代码搞定决策得到了纠正，阐发了其在进步代码遵守方面的灵验性。

消融实验

进一花样，作家探讨了 CodeDPO 提议的自考证机制得到的排序分数，关于最终代码生成成果的影响。

实验中选拔了一些其他的常见排序战术，如：

全测试过滤，即假定系数生成的测试用例均正确，并讹诈它们来判断代码的正确性；

按通过测试数目排序，即统计系数生成测试中每段代码通过的测试数目，以通过测试最多和最少的代码四肢偏好对；

就地选拔，即从生成的代码中就地中式两个代码搞定决策四肢偏好对。

实验终局标明，本文提议的自考证机制以及蓄意得到的排序分数，在确保偏好数据集构建的正确性和可靠性方面起着至关遑急的作用，权臣进步了 CodeDPO 框架的性能。

著作还探讨了不同偏好优化战术（DPO、KTO 和 SFT）对代码生成模子性能的影响。

SFT 捕快战术采取构建的数据纠合最好的代码搞定决策。

在 KTO 捕快战术中，商讨团队在框架顶用 KTO 替代了 DPO。

下图终局露出，在这些战术中，DPO 发达最好。

成绩于新式的数据构建秩序，团队好像得回散播平衡的正负偏好对，从而增强了 DPO 中的对比机制。

CodeDPO 的框架不仅考证了自生成、考证机制和偏勤学习在代码生成领域的灵验性，还为异日更大鸿沟的代码偏好优化奠定了坚实基础。

CodeDPO 的本性在于，不需要有大批优质的测试用例，减少了对外部资源的依赖，使得该框架好像在高质地测试数据可能珍稀的试验场景中优化代码模子。

作家以为，跟着时间的不休发展，CodeDPO 有望在本体应用中匡助缔造团队生成更优质、更恰当需求的代码，权臣进步软件的可靠性与请托质地。

作家简介

本文的通信作家是北京大学蓄意机学院长聘教师李戈。

第一作家为李戈教讲课题组博士生张克驰，本科毕业于北京大学信息科学时间学院，商讨主义为智能化软件工程、代码暗示与代码生成。

他曾以第一作家在当然话语处理、软件工程等领域的外洋会议上发表多篇论文，曾得回 2023 年 ACM 凸起论文奖（ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension）。

论文地址：

https://arxiv.org/abs/2410.05605

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 名目主页连气儿，以及干系方式哦

咱们会（尽量）实时报恩你

点这里� � 慈祥我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~