【智能时代】月之暗面:AGI是新登月计划,长文本无损压缩第一步

【智能时代】月之暗面:AGI是新登月计划,长文本无损压缩第一步

首页模拟经营登月模拟器更新时间:2024-08-01

AI为核心的新一轮科技创新浪潮已至,AI将与互联网一样,带来新一轮范式革命,人类社会将进一步加速发展。我们精心准备,重磅推出【智能时代专题】,目前已规划98篇深度原创研报,将全方位梳理AI产业、技术、代表性公司等发展历史、现状、趋势,展望智能时代未来图景,挖掘投资机会。

智能时代专题:月之暗面

免费版2,683字,预计阅读7分钟

完整版15,879字,欢迎付费解锁

一、中国AI创业头部公司月之暗面Moonshot AI,专注构建AGI,致力寻求将能源转化为智能的最优解,通过产品与用户共创智能,实现普惠AI。

月之暗面2023年3月1日成立,国内大模型领域关键玩家,2023年10月9日发布首款AI助手产品Kimi智能助手,凭借20万汉字无损上下文能力,创造消费级AI产品支持上下文窗口长度纪录;2024年2月5日,推出Moonshot AI开放平台,赋能开发者构建AI应用生态;2024 年 3 月 18 日,Kimi 智能助手在长上下文窗口技术上再次取得突破,无损上下文长度提升1个数量级到 200 万字,不到半年增长10倍。

Kimi 智能助手率先支持200万字上下文窗口,大幅领先国外顶尖大模型,OpenAI GPT-4 Turbo上下文长度约为10万汉字,Claude 3上下文长度约16万汉字。

Kimi 智能助手凭借200万字上下文窗口成功出圈,持续进行系统扩容,应对激增流量。3 月 21 日下午,Kimi 智能助手APP与小程序均显示无法正常使用。月之暗面表示,从3月20日9点30分开始,观测到Kimi系统流量持续异常增高,流量增加趋势远超对资源的预期规划,导致从20日10点开始,部分SaaS 客户无法正常使用;自流量异常起,已进行5次系统扩容,并设计SaaS流量优先级策略。

七麦数据,Kimi智能助手在效率(免费榜)排名,从2024年1月14日436名,升至2024年3月19日11名;2月访问量近300万次,在AI产品国内总榜排名Top3。

Kimi智能助手掀起大模型长文本竞赛,国内竞争对手积极跟进。2024年3月18日,Kimi智能助手宣布,支持200万字上下文窗口后;3月22日,阿里云旗下通义千问,向所有人免费开放1,000万字长文档处理功能;3月23日,360智脑宣布,正式内测500万字长文本处理功能,该功能即将入驻360 AI浏览器;4月,消息称百度文心一言计划将长文本输入能力升级为200万~500万字,文心一言文本目前上限约2.8万字。

二、长文本是通往AGI的重要基础,历史上所有架构演进,本质都是在提升有效上下文长度。月之暗面创始人杨植麟表示,最早的word2vec模型(生成词向量的深度学习模型,根据上下文中单词预测目标单词),在10年前用1个词去预测周围的词,相当于上下文长度是 5,RNN模型把有效上下文长度提升到20,LSTM模型有效上下文长度增至大几十,Transformer 提升到几千,现在月之暗面能做到200万;如果能有10亿字的有效上下文长度,现在看到AI大模型的问题都不是问题。

上下文长度提升依从摩尔定律,可实现指数级增长。杨植麟判断,存在上下文长度摩尔定律,给定长度下的准确率(无损压缩)非常重要,需要同时优化长度与准确率两个指标,在保证模型能力与智商的情况下,大概率上下文长度的提升是指数级增长。

如果把AGI比作登月,长文本无损压缩将是登月第一步,是新的AI计算机内存。

杨植麟表示,传统意义计算机内存,过去几十年,容量增长好几个数量级,未来会同样在新计算机内存上重现。长文本是把新计算范式变成更通用的基础,传统计算机能用0、1表示所有内容,所有信息都能被数字化。目前新的AI计算机还不行,上下文长度不够,不够通用,要变成通用世界模型,长文本是必须的。

长文本能够推动实现真正的个性化,AI最核心价值是个性化互动,AGI将比上一代推荐引擎更加个性化。个性化过程不是通过微调实现,而是通过支持足够长的上下文,用户与模型所有的互动历史,都被记录在上下文中,从而实现真正意义上的个性化,这个过程无法被复制,通过与模型直接对话,产生真正意义的个性化。

长文本可扩展空间非常大,但不能只看上下文窗口长度。对比传统计算机内存,上下文窗口提升,将会有几个数量级。不应该只追求单一指标,需要结合指标与能力,不能只看提升窗口长度数字,几百万、几亿窗口长度没有实际意义,核心是看模型在窗口长度下能实现的推理能力、对原始信息忠实度、遵循指令能力。未来,上下文窗口与模型能力持续提升,能实现很多应用,包括实现几万字的指令,指令可定义很多智能体,实现高度个性化。

月之暗面积极探索登月第二步,追求统一世界模型、AI自主持续进化两大里程碑。

真正统一世界模型,能统一各种不同模态,实现真正可扩展、通用的系统结构。AI自主持续进化,能在没有人类数据输入情况下,让AI不断进化。杨植麟预计,两大里程碑将在2~3年内实现,有可能会更快;现在是技术萌芽快速发展阶段,3年后会出现一定程度的AGI,在很多方面超过人类能力,关键在于如何使用AGI。

三、月之暗面注重前瞻发现与布局有概率的非共识,形成独特竞争力,助力在竞争中脱颖而出。杨植麟表示,月之暗面布局有概率的非共识,包括长文本无损压缩、瞄准C端市场等,更多的仍在布局中,希望能尽快推出。

GPT-4是AGI必经之路,月之暗面预计很快能达到GPT-4水平,有概率成为中国大模型公司中最快达到GPT-4水平的;不能只满足做到GPT-4效果,要想现在真正的非共识是什么,OpenAI下一步是什么,GPT-5、GPT-6应该是什么样,有哪些独特能力需要构建。

月之暗面积极打造更多升维能力,瞄准颠覆性产品。杨植麟认为,AI产品不应只卷搜索场景,搜索在未来只占Kimi价值的很小部分,Kimi应该有更大增量。AI模型比传统搜索引擎提升10%、20%,没有太大价值,只有颠覆性产品,才配得上称AGI。AI产品独特价值来自增量智能,智能永远是最核心的增量价值,如果产品最核心价值只有10%~20%来自AI,不具备颠覆性价值。

杨植麟表示,月之暗面注重技术驱动与创新,不仅是追求产品、用户、数据增长。用户是最终目标,也是实现AGI共创的伙伴,目前属于从马车到汽车的跳跃过程,应该尽可能想怎么给用户提供一辆汽车。

月之暗面计划2024年发布多模态模型与产品,AGI需要与用户共创构建。2024年3月18日发布会,月之暗面联合创始人周昕宇表示,OpenAI Sora推出前,月之暗面已进行多模态能力研发,Sora未改变月之暗面产品研发节奏,预计2024年推出自研多模态模型与产品;月之暗面团队目前约80人,将在坚定AGI路线前提下,坚持在超级应用与场景上继续探索;AGI需要与用户共创构建,如果只是闲聊,对模型反馈效果比较弱,希望Kimi能帮用户做很多对智商要求高的事,推动模型能力上限提升。

四、Moonshot推出AI开放平台,赋能开发者构建AI应用生态。

2024年2月5日,Moonshot AI开放平台正式启动公开测试,API接口与OpenAl兼容。开发者通过Moonshot AI开放平台创建API Key,可将Kimi智能助手基础模型能力,拥有长文本处理能力、卓越指令遵循能力等,接入到自有产品中。

为方便AI开发者快速接入模型,Moonshot Al开放平台API与 OpenAl兼容,开发者可平滑从OpenAI迁移,无需对代码做任何基本参数外的修改。

除对话问答能力,MoonshotAl开放平台提供文件内容提取能力接口,开发者可配合文件上传功能,开发出丰富文档与知识库场景应用。

Moonshot Al开放平台,拥有数百位开发者,逐步构建应用生态雏形。截至2024年2月5日,已有数百位开发者在 Moonshot Al开放平台内测期间申请API接口,打造好玩、好用、有创造力的应用。

头部应用哄哄模拟器,已消耗近12亿tokens用量。根据平台公布收费标准测算,使用8k/32k/128k模型成本分别为1.44万、2.88万、7.2万。

相关研报:

诸神之战:美国科技巨头,从春秋五霸进入战国七雄|GBAT 2023 大湾区智能时代产业峰会

人类未来文明三部曲之二:智能时代专题预售开启,奇点临近,未来已来

九宇资本赵宇杰:智能时代思考,认知思维,存在原生、降维、升维三波认知红利

九宇资本赵宇杰:智能时代思考,以史为鉴,科技浪潮,从互联网到AI

九宇资本赵宇杰:智能时代思考,宇宙视角,从碳基生物,到硅基智能体

人类未来文明三部曲之一:元宇宙专题预售开启,59期45万字

九宇资本赵宇杰:1.5万字头号玩家年度思考集,科技创新,无尽前沿

九宇资本赵宇杰:1.5万字智能电动汽车年度思考集,软件定义,重塑一切

【重磅】前沿周报:拥抱科技,洞见未来,70期合集打包送上

【重磅】六合年度报告全库会员正式上线,5年多研究成果系统性交付

【智能电动汽车专题预售】百年汽车产业加速变革,智能电动汽车时代大幕开启

【头号玩家第一季预售】:科技巨头探索未来,头号玩家梯队式崛起

【头号玩家第二季预售】:科技创新带来范式转换,拓展无尽新边疆

【首份付费报告 年度会员】直播电商14万字深度报告:万亿级GMV风口下,巨头混战与合纵连横

【重磅】科技体育系列报告合集上线,“科技 体育”深度融合,全方位变革体育运动

【重磅】365家明星公司,近600篇报告,六合君4年多研究成果全景呈现

九宇资本赵宇杰:CES见闻录,开个脑洞,超级科技巨头将接管一切

【万字长文】九宇资本赵宇杰:5G开启新周期,进入在线世界的大航海时代|GBAT 2019 大湾区5G峰会

九宇资本赵宇杰:抓住电子烟这一巨大的趋势红利,抓住产业变革中的变与不变

【IPO观察】第一季:中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集

【IPO观察】第二季:理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集

【IPO观察】第三季:Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集

【重磅】年度观察2019系列合集:历时3个多月,超20万字近500页,复盘过去,展望未来,洞悉变与不变

【珍藏版】六合宝典:300家明星公司全景扫描,历时3年,210万字超5,000页,重磅推荐

九宇资本赵宇杰:对智能电动汽车产业的碎片化思考

九宇资本赵宇杰:九宫格分析法,语数外教育培训领域的道与术

【2023回乡见闻录】90、00后小伙伴们万字记录,生活回归正轨,春节年味更浓

【2022回乡见闻录】20位90、00后2万字,4国13地,全方位展现国内外疫情防疫、春节氛围、发展现状差异

【2021回乡见闻录】22位90后2万字,就地过年与返乡过年碰撞,展现真实、立体、变革的中国

【2020回乡见闻录】20位90后2万字,特殊的春节,时代的集体记忆

【重磅】22位“90后”2万字回乡见闻录,讲述他们眼中的中国县城、乡镇、农村

六合君3周岁生日,TOP 60篇经典研报重磅推荐

下午茶,互联网世界的三国*

5G助推AR开启新产业周期,AR眼镜开启专用AR终端时代

新商业基础设施持续丰富完善,赋能新品牌、新模式、新产品崛起,打造新型多元生活方式

【重磅】中国新经济龙头,赴港赴美上市报告合辑20篇

知识服务 付费 音频,开启内容生产新的产业级机遇,知识经济10年千亿级市场规模可期

从APP Store畅销榜4年更替,看内容付费崛起


新三板破万思考:新三板日交易量10年100倍?

九宇资本赵宇杰:科技改变消费,让生活更美好|2017 GNEC 新经济新消费峰会

九宇资本赵宇杰:创业时代的时间法则,开发用户平行时间|2016 GNEC 新经济新智能峰会

九宇资本赵宇杰:互联网引领新经济,内容创业连接新生态|2016 GNEC 新经济新营销峰会

请务必阅读免责声明与风险提示

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved