过去一年,编程语言发生了不少新变化。 据 JetBrain 前不久发布的 《2023 开发者生态系统现状》调研报告,在开发者主要采用的编程语言中,最受欢迎的分别是 Java、Python、JavaScript,Java 在 2023 年重夺第一名宝座,JavaScript 则在下降三个百分点后跌至第三;Rust 在 ...
北航、人大和九坤投资共同撰写的论文 《Scaling Laws for Code: Every Programming Language Matters》 整理而成。 在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。