2024年，大模型领域大招频出，国外技术迭代已超出了我们的想象，Claude 3 opus、Gemini pro、Sora、OpenAI记忆功能、Chat with RTX等长期霸榜。
01> 国产AI高光时刻来临
近日，沉寂了很久的国产AI也迎来高光时刻。阿里通义千问暴力更新，免费开放1000万字长文档处理功能。单就此项能力，说个遥遥领先也不过分。
阿里表示，即日起，所有金融、法律、科研、医疗、教育等领域的专业人士，都可通过通义千问网站和App快速读研报、分析财报、读科研论文、研判案情、读医疗报告、解读法律条文、分析考试成绩、总结深度文章。
通义千问(1000万，已经上线) -《红楼梦》80万字
当然，其他大模型也不甘示弱，百度、360智脑也相继宣布即将上线200万~500万字的长文本处理能力。
文心一言(200万~500万，即将上线)
360AI(500万，即将上线)
当然，这里也得提一下，引出这场“战争”的大模型新锐，Kimi Chat，初始版本即支持20万上下文的处理能力，最近更是升级到200万字。B站、抖音等其广告也是满天飞，大流量的涌入，也多次使得Kimi Chat宕机。
02> 长文本处理的原理
采用临时lora让模型实现“流式更新”，Temp-Lora，不是依赖于KV缓存来存储所有的上下文信息，而是将上下文信息直接嵌入到模型的参数中.在长文本生成的过程中使用一个Temp-Lora模块，它使用以前生成的文本逐步进行训练。
来源：Inference-Time Training Helps Long Text Generation
03> 长文本能力的应用
卷出新高度，对于应用层面来说是好事。在目前的AI场景落地应用中，我们经常会搭建很多的AI Agent(智能体)，来实现多任务自动化。
当涉及到知识库时，由于文本处理能力的限制，经常会面临文本拆分，上传多个文档。带来的问题是文本解析能力差，检索难度大，改善这一问题通常采用的办法是RAG技术，即检索增强生成(Retrieval-Augmented Generation)。
此前Gemini 1.5 Pro发布时，长文本处理能力受到广泛关注，有人甚至高喊 “RAG已死”，爱丁堡大学博士符尧在评价Gemini 1.5 Pro的帖子中写道：“一个拥有1000万token上下文窗口的大模型击败了RAG”。
毫无疑问，这将对知识库的构建带来质的改变。
你看好哪个国产AI？
