Kimi向Open AI发起冲击

声明:本文来自于微信公众号 全天候科技，作者:刘宝丹，授权站长之家转载发布。5天前，炙手可热的AI独角兽公司创始人杨植麟陷入一场仲裁纠纷，他坚定选择了依法抗辩。AI大模型正处于技术追赶的关键阶段，他要把重心放在技术和产品上。一年前的今天，Kimi正式面向全社会开放服务。一年后，Kimi迎来重磅技术迭代。11月16日，杨植麟在媒体沟通会上表示，Scaling范式已经发生变化，公司接下来的重点是基于强化学习去“Scale”。Scaling是支撑AI技术在过去几年发展的根本原因，但并不是把模型做得更大就好，核心是找到Scaling的有效方法。杨植麟表示，简单去预测下一个token，其实有一定的局限性，我们希望AI能够去探索，接下来很重要的一个东西就是让AI具备思考的能力。会上，月之暗面发布了最新的数学模型k0—math，该模型主要通过数学场景去培养和训练AI深度思考的能力。这是Kimi 推出的首款推理能力强化模型。Kimi将苗头对准OpenAI的最新技术。在多项基准能力测试中，k0-math 的数学能力可对标OpenAI的o1系列。比如，在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中，k0-math 初代模型成绩超过o1-mini和o1-preview模型。不过，追赶OpenAI并没有那么容易。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中，k0-math 初代模型的表现分别达到了o1-mini最高成绩的90%和83%。目前，月之暗面已经开始在k0-math上做产品化，公司将强化学习用到Kimi探索版，让它做更复杂的搜索。据杨植麟介绍，Kimi探索版在搜索意图、信源分析、链式思考方面表现显著。同时，数学本身有更广泛的应用场景，月之暗面计划把k0—math应用到教育场景，包括K12、大学甚至是竞赛。过去一年多，月之暗面经历了飞速发展，无论是产品技术还是估值，都成为最受瞩目的AI独角兽公司。2023年3月，月之暗面成立;11月，Kimi 智能助手宣布全面开放，今年初，该产品因“长文本”出圈，诞生Kimi概念股，受到广泛关注。截至目前，月之暗面已完成四次融资，阿里、腾讯纷纷入股，公司估值超过200亿元。杨植麟在会上透露，Kimi在10月月活超过3600万，而且还在持续更快的增长。业内人士分析，Kimi是仅次于豆包的AI应用，目前处于第一梯队，不过，相对国外几亿量级的用户而言，Kimi还有很长一段路需要追赶。公司已将Scaling范式切换到强化学习，华尔街见闻获悉，公司的多模态产品已经处于内测当中，预计很快会对外公布，这些动作无疑将带来更多用户。在这场全球AI竞赛中，杨植麟要带领月之暗面在一个裹挟着巨大希望和时刻被质疑的行业里，闯出一条通往AGI的路，这场战役才刚刚开始。以下为交流会实录（经编辑）:问:数据会不会成为比较大的挑战，怎么判断哪些数据可以用，哪些有价值?杨植麟:这个问题对于强化学习来讲是一个核心问题，如果是像以前做Next—Token prediction，它是一个静态数据，相对来说，这些技术会更成熟一些。但是对强化学习来讲，所有的学习数据可能都是自己生成的，就会对奖励模型效果提出挑战。对于这个问题，核心是怎么更好地训练奖励模型，设置奖励的机制，如果做得足够好的话，一定程度上是可以被解决的。有点像以前的（pre-training）你还要做很多的对齐工作，我觉得其实对强化学习来说也是一样的。问:对于强化学习，怎么平衡数据、算力、算法?杨植麟:我觉得AI的发展就是一个荡秋千的过程，你会在两种状态之间来回切换，一种状态就是算法数据是非常ready，但是你的算力不够。所以你要做更多的工程，把infra做得更好，它就能够持续地提升。我觉得从transformer诞生到GPT4，更多的矛盾就是怎么能够Scale，在算法和数据上可能没有本质的问题。 今天，当你Scale差不多的时候，你会发现我再加更多的算力，并不一定能直接解决这个问题，核心是没有高质量的数据，小几十G的token是人类互联网积累了20多年的上限。这个时候要做的事情，就是通过算法的改变，让这个东西不会成为瓶颈。好算法就是跟Scaling做朋友，如果你的算法能够释放Scaling的潜力，它就会持续变得更好。我们从很早就开始做强化学习相关的东西，我觉得这个也是接下来很重要的一个趋势，通过这种方式去改变你的目标函数，改变你的学习的方式，让它能持续的Scale。问:这个产品如果一至两周之后放到Kimi探索版里，用户可以选择用这个东西，还是你们会根据用户的提问来分配模型?怎么去平衡成本问题?杨植麟:这个问题特别好，接下来的版本大概率会让用户自己去选择。早期通过这种方式可以更好地分配或者更好地满足用户的预期。这里面最终可能还是一个技术问题，两个点，一个点是能够动态地给它分配最优的算力。如果模型足够聪明的话，简单的问题，它的思考时间会更短。但是它可能还不是到最优的点，我觉得它还有更优，这是我们通过算法迭代去做的。长期来讲，第二个点，成本也是不断下降的过程。比如说，达到去年GPT4模型的水平，可能只需要十几B的参数就能做到。我觉得整个行业先做大或者做小，是普遍普世的规律。问:怎么看待AI创业公司被收购，人才回流大的现象?杨植麟:这个问题我们没有遇到，但可能有一些别的公司遇到。我觉得倒也正常，行业发展进入了一个新的阶段，它从一开始有很多公司在做，变成了现在少一点的公司在做，接下来大家做的东西会逐渐不一样，我觉得这是必然的规律。我们主动选择做了业务的减法，你应该聚焦一些重要的事情，把一个产品做好，做到极致是最重要的。在几个大模型创业公司里，我们始终保持人数最少，保持卡和人的比例是最高的，我觉得这个是非常关键的。我们不希望把团队扩那么大，太大对创新有致命性伤害。另外一点，我们也根据美国市场的情况去判断，哪个业务最后做大的概率更高，我们聚焦在上限最高的事情，也要跟我们AGI的misson最相关。问:我们一直不做多模态的原因是什么?杨植麟:我们几个多模态的能力在内测。AI接下来最重要的是思考和交互这两个能力，思考的重要性远大于交互，他们两个不太一样，多模态肯定是必要的，但是我觉得是思考决定它的上限。问:怎么看自己跟豆包的竞争?杨植麟:我们还是更希望关注怎么能给用户带来真正的价值，不希望过多关注竞争本身，因为竞争本身并不产生价值。deliver更好的技术和产品，给用户创造更大的价值，这是我们现在最核心的问题。我们会更聚焦如何提升模型的思考推理能力，通过这个东西给用户带来更大的价值。我觉得，只要有人实现AGI，它都是非常好的结果。问:Kimi用是你们自己的基础模型，还是开源?杨植麟:我们自己在做。问:出海怎么想?杨植麟:我觉得先聚焦，然后全球化，需要更耐心一点。问:大模型的投流很受关注，Kimi投了上百万的广告，统计的金额四五亿，我们在投流这块是什么策略?杨植麟:第一数据不完全准确。第二，对我们来讲，最核心的是把留存和getting growth做好。适当的投放是需要的，但是需要平衡好。问:留存到多少会满意?杨植麟:永无止境。问:至少RIO为正?杨植麟:看怎么衡量吧，这个东西肯定需要去算，我们也会持续地提升。我们的好处是，跟技术的进展高度正相关。问:投流成本很高?Kimi怎么能把成本收回来，怎么做良性的商业化?杨植麟:现在最关键的还是留存，我觉得这个还是需要看得再长远一些。问:美国预训练的Scale遇到瓶颈，对于中国公司来说是好事还是坏事?能不能对未来做一些预测?杨植麟:对我们来说，它有可能是一个好事。假设你一直Pre-Training（预训练），你的预算今年1B、明年10B或者100B，它不一定可持续。当然做强化学习也要Scaling，只是说Scaling的起点很低，可能在一段时间内你的算力就不会是瓶颈，这个时候创新能力是更重要的，在这种情况下，我觉得对我们反而是一个优势。

本文 噢咿呀论坛 原创，转载保留链接！网址：http://oyiya.com/redian/12034.html