中文最强开源大模型来了!130亿参数,0门槛商用,来自昆仑万维

中文最强开源大模型来了!130亿参数,0门槛商用,来自昆仑万维

首页休闲益智最强汉字更新时间:2024-09-17

新闻摘要:

昆仑万维推出了Skywork-13B系列,这一130亿参数的大模型无需申请即可商用,并搭载开源中文数据集。该系列分为Skywork-13B-Base和Skywork-13B-Math两大版本,在各大评测中表现卓越,尤其在数学任务上表现突出。该模型在多语言训练数据上展现出提升生成、创作、数学推理等任务的能力,超越其他中文开源模型。开源数据集Skypile/Chinese-Web-Text-150B成为支撑该模型的基础,通过精心过滤中文网页数据,并提供了技术报告,使开发者能够深度定制模型参数。

昆仑万维董事长兼CEO方汉强调了公司的开源理念,将Skywork-13B系列的开源与公司的创新和跟进能力相结合,旨在推动AIGC生态发展。

正文内容:

昆仑万维最新推出的Skywork-13B系列大模型正引起业界广泛关注。拥有130亿参数的这一大模型不仅在性能上表现卓越,而且具备商用无需申请的便利性,进一步推动了国产大模型领域的发展。Skywork-13B系列包括两个版本:Skywork-13B-Base和Skywork-13B-Math,其中Skywork-13B-Math专注于数学任务,在GSM8K评测中甚至获得了第一名。

这一系列大模型的能力可在多语言训练数据上提升生成、创作、数学推理等多项任务。在中文语言建模困惑度评测中,Skywork-13B系列更是超越了其他中文开源模型,显示出其在语言处理领域的巨大潜力。不仅如此,在科技、金融、政务、企业服务、文创、游戏等领域,Skywork-13B系列也表现出色,显示出其广泛的应用领域。

要支撑这一庞大的模型,昆仑万维开源了Skypile/Chinese-Web-Text-150B数据集,该数据集包含600G、1500亿tokens的数据。

通过精心过滤从中文网页中筛选而来,这个开源数据集成为Skywork-13B系列的重要基础。开发者可以通过提供的技术报告深度定制模型参数,进行针对性训练与优化,使其更符合特定领域的需求。

除了数据集,昆仑万维还公开了模型使用的评估方法、数据配比研究和训练基础设施调优方案。这种开放透明的态度为开发者提供了更多的参考和支持,有助于推动整个领域的发展。而为了在资源受限的环境下提供更灵活的解决方案,他们还提供了“轻量版”大模型,可在消费级显卡中部署和推理,进一步降低了使用门槛。

在技术细节方面,Skywork-13B相比之前的Llama2-13B更为“瘦长”,模型层数为52。训练数据包括英文、中文、代码数据,充分考虑了专业领域数据,使得模型更具广泛适用性。训练方法分为通用语料学习和加入STEM相关数据的两个阶段,充分挖掘不同领域的信息,提升模型的泛化能力。评估方法采用领域数据困惑度评估方法,关注生成文章整体的概率,从而更全面地评价模型的性能。

昆仑万维的开源精神得到了董事长兼CEO方汉的强调。方汉是开源生态建设的老兵,早在早期就参与到中文Linux开源中。他表示,Skywork-13B系列的开源是公司开源理念的体现,与公司多年来在AIGC领域的创新和跟进能力相符。方汉强调公司的目标是推动AIGC生态的健康发展,降低技术门槛,让更多开发者能够轻松应用这一先进的技术。

总体而言,昆仑万维在国产大模型领域处于第一梯队,其开源举措更是为了降低技术门槛,使得人工智能应用变得更加简单和流畅。

展望未来,业界对昆仑万维的天工大模型表现寄予厚望,期待更多的创新和突破。

立场观点:

从技术细节到应用领域,昆仑万维的Skywork-13B系列大模型都呈现出了卓越的性能和广泛的适用性。其开源举措不仅符合公司的开源理念,更是为了推动AIGC生态的健康发展。通过降低技术门槛,昆仑万维致力于

让更多开发者能够轻松应用这一先进技术,为人工智能的发展注入新的活力。

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved