张一鸣：字节不走模型蒸馏“捷径”

8月6日，据《The Information》报道，有知情人士透露，在上个月的Seed团队全员大会上，字节跳动创始人张一鸣罕见表态称，字节跳动不会把蒸馏当作提升AI模型能力的捷径，即便这意味着公司眼下落后于国内竞争对手。

蒸馏是一种模型训练技术，可使得新模型直接学习现有先进模型的推理步骤，大大节省时间和成本。今年以来，国内AI大模型竞争极为激烈，几乎每隔几天就有新模型发布。

据字节员工透露，Seed团队内部关于是否应转向蒸馏的争论已持续较长时间，每当国内发布新开源模型后，该争论就会进一步升温。

张一鸣在会上表示，字节应该愿意为了更长远的目标，牺牲一些短期利益。据员工称，张一鸣认为蒸馏会干扰真正意义上的长期技术突破。

报道还提到，张一鸣一半的工作时间和精力都放在Seed业务上，但此前很少公开表达对AI业务的思考和言论。并且此前也很少在Seed团队的会议上发言，在其他领导层讨论了公司为何不利用蒸馏来取得领先之后，他打破了沉默。

越疆科技遭前COO实名举报，公司回应指控不实

目前大部分AI公司更专注于开源模型，而字节跳动是国内主要AI公司中唯一一家大语言模型几乎全为专有模型的企业。

字节跳动内部对开源模型严禁蒸馏，甚至通过API检测等方式在内部加强相关限制。报道称，字节跳动不愿使用蒸馏技术，被认为是其大型语言模型落后于其他竞品的原因之一。

与此同时，字节跳动被公认为全球AI视频生成模型的领导者，其Seedance模型今年早些时候因能生成超逼真视频而引发轰动。

字节跳动的旗舰大语言模型并不总是出现在全球主要的大模型排行榜上，客户主要通过公司云计算平台访问字节跳动的模型。

字节跳动最新的大模型Seed 2.1 Pro在Arena AI的Web开发编码排行榜上排名第19位，低于其他中国模型。

报道还提出一种推测，字节跳动拒绝依赖蒸馏技术的一个原因，是公司与美国政府就TikTok问题的复杂历史。此次会议在月之暗面Kimi K3模型引发美国对中国模型追赶速度担忧之后不久举行。