编辑：编辑部
【新智元导读】如今炙手可热的AI PC之战，英伟达也下场了！RTX GPU给1亿打工人加持的算力，已经破了纪录，生图、视频、会议、直播，统统被RTX AI史诗级升级；《黑神话：悟空》《永劫无间》的玩家，更是双厨狂喜！
昨天深夜，英伟达CEO黄仁勋甩出能训万亿参数大模型的新核弹B200，直接打破了摩尔定律。
同时推出的AI推理微服务NIM，号称能让全世界用上AI。
与此同时，英伟达又为1亿RTX PC用户和开发者，更新了AI应用和工具，直接要让我们快进到AI PC时代：
- 一台笔记本，Instant ID 15秒就能做出一张影楼级质量的肖像照；
- 一张RTX 4090D，Stable Diffusion更是达到了8张图/秒的生成速度；
- Sora大火之余，英伟达已经在和剪映，共同探索生成式AI在视频制作上的落地；
- 国产游戏之光《黑神话：悟空》，在全景光追和DLSS 3.5的加持下，画面已经得到了史诗级提升。
准备好，一场RTX AI PC的革命之火，已经被引爆。
RTX AI PC革命来袭！
早在2018年，英伟达就已经在探索AI PC的雏形了。
当时，随着RTX技术和首款专为AI打造的消费级GPU（GeForce RTX）的推出，英伟达加速了向AI计算的转变。
在RTX GPU上，这些专用的AI加速器，也就是我们熟知的Tensor Core。
即使运行要求极为严苛的工作和娱乐应用，它都能显著加速AI性能，还能让PC用户用上在云端才能运行的新功能。
从软硬件到生态加速，英伟达正凭借实力，有力地证明了这一点：RTX就是AI PC的核心。
硬件方面，新一代GeForce RTX GPU提供的算力，不仅从200 AI TOPS到1300 AI TOPS全覆盖，还提供了笔记本、台式电脑的多样选择。（TOPS即teraops，万亿次运算/秒）
相较之下，没有独立GPU的AI PC，算力仅为10到45 TOPS。
软件层面，从2018年到现在，全球搭载英伟达RTX GPU的PC已经有超1亿的用户。
如今，它所加持的领域，已经覆盖了AI绘画、平面设计、视频编辑/体验、3D创作，到AI游戏、游戏开发，再到AI应用开发、文档助手等等。
地表最快Stable Diffusion
有了RTX AI，创作者可以专注于创意本身，无需在等待系统加载，乏味的重复性工作上浪费时间。
只用一张RTX 4090D，Stable Diffusion就能在每秒内生成8张图片，迅速让创意成为现实。
NVIDIA TensorRT的引入，彻底改变了游戏规则。
通过8位量化成为当前SD最快的加速方法，最快可达120 imgs/s。（StreamDiffusion）
开启TRT之后，1分钟的视频生成比以往快了足足30秒，效率提升了40%。
以及当前已经支持支持SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等模型的加速。
另外，CUDA还提供了对LoRA、ControlNet、微调、AnimateDiff、InstantID等模型支持
图像编辑
想要一张质量不错的肖像照，但只能用电脑摄像头拍一张很糊的照片，怎么办？
答案非常简单：只需上网找一张自己想要的「模板」，再用Instant ID把它和自己的人脸融合在一起，就能得到一张质量不错的照片了，甚至在影楼还不一定拍出这样的效果。
而这一整套工作流，在一台RTX 4090笔记本上就能完成。
这，就是真正的生产力，真正面向专业用户的AI PC应用。
另外，修图师还可以通过Photoshop快速实现对图片各种细节的处理和编辑。
视频制作
视频剪辑工作者可以更轻松使用AI加持在深度图生成、表面追踪、风格转换等工作流中的高级效果。
就拿转描（突出显示图中某个元素）来说，如果要靠人工完成，就需要逐帧选出下图中的「头戴式耳机」，这无疑会消耗大量时间。
借助AI，只需选择耳机就可以创建蒙版，再让AI具体裁剪出确切的形状，并且可以跨越不同帧进行追踪。
与30系相比，RTX 40系显卡，直接将这一性能提升了70%。
另外，RTX 40系拥有第八代NVENC AV1编码器，满足了不同工作者对导出视频格式的需求。
英伟达还在和国内深受用户喜爱的剪辑软件剪映专业版，共同探索推进生成式AI在PC端的落地。
目前，已通过TensorRT推动剪映AI艺术字功能上线，并正在通过RTX AI平台加速生成式AI在剪映产品功能中的应用。
AI 3D创作
3D创作者通过UE等AI工具，加速3D创作渲染。
生成式3D材质，也可以用RTX AI来加速。
视频会议/直播
在视频会议/直播中，RTX AI还能做到多项流媒体质量的优化。
比如，这个全新上线的目光接触功能，可以轻松矫正人物的眼神方向。
别看现在镜头里的人正在看脚本，目光接触功能一开，他的目光就会立马看向镜头了！
此外，还有虚拟背景、虚光滤镜、噪音消除等多项功能。
游戏开发
毋庸置疑，RTX AI更是强化游戏体验的利器。
游戏开发者们可以利用生成式AI创建自己的游戏MOD、重制游戏助手、自动捕获游戏场景。
可以在NVIDIA Ominiverse中，通过生成式AI重制物体材质。
AI增强的光追技术，能够让游戏环境更加真实。
更重要的是，开发者们可以为游戏制作支持实时光追、DLSS 3/DLSS 3.5的RTX重制版。
这不，一些玩家、开发者、创意者们，已经开始用上RTX AI了。
DLSS 3.5：游戏体验史诗级提升
刚刚开幕的英伟达游戏开发者大会，简直让玩家们激动到把拳头捏爆。
包括多款 RTX 游戏的最新消息：《黑神话：悟空》，《永劫无间》，《星球大战™：亡命之徒》，《暗黑破坏神IV》，光听名字，就让人想起立致敬。
特别值得一提的是：在今年的GDC上，英伟达宣布，支持DLSS 3.5的游戏阵营进一步扩大！
国产游戏之光、质量和流量的扛鼎之作——《黑神话：悟空》，就将支持全景光线追踪和DLSS 3.5。
虽然还未正式推出，但这两年江湖上一直有它的传说，众多玩家都在翘首以盼。
果然，玩家们果然没有白等——在光追和DLSS 3.5的加持之下，无论是场景，光影，还是画面细节，体验都全部刷新！
如今，《黑神话：悟空》的B站预告片观看数已破228万，网友纷纷追问：这真是实机画面，不是渲染的？
想象一下这个画面：打开搭载 GeForce RTX 显卡的PC，开启支持光线重建技术的NVIDIA DLSS 3.5 和全景光线追踪，接下来，就是一场视觉盛宴。
为什么通过DLSS 3.5呈现的画面如此激动人心？
原因在于，它包含了英伟达全新的DLSS光线重建技术（Ray Reconstruction），利用全新统一的AI模型，取代了多个人工设计的光线追踪降噪器。
因此，光线追踪效果和全景光线追踪的图像质量，再次得到了史诗级提升。
而在《黑神话：悟空》中开启全景光追后，我们就可以更加沉浸式地体验史诗级的游戏场景。
可以看到，水面上可以反射出周围所有场景的细节。
水的散焦效果，进一步增加了场景的真实感，光的折射和反射效果，都被渲染得更好。
全景光追的全局光照，也让室内外的光照效果更加完美，即使是因被遮挡而无法照亮的较暗区域，也会通过反射光被照亮。
在光照系统的配合之下，无论是接触处的硬化阴影，还是光追带来的柔化阴影，都可以轻松投射到各处。
小到叶片和卵石上每一处最小的阴影，大到主角、巨大的怪兽、拥有精致外表的建筑，全部被细致入微地刻画了出来。
下面是一波高清大图，请欣赏：
此外，率先将支持DLSS 3.5的，还有在国内外游戏社区中人气超高的国产多人动作竞技端游《永劫无间》。
《永劫无间》会在PVP和PVE模式下的三个地图中，添加全景光线追踪，之后也将在更多地图中陆续支持全景光线追踪。
更丰富细致的全景光线追踪效果，可以让全局光照、反射、环境光遮蔽和阴影得到全面优化，而DLSS 3.5的光线重建技术，会让这些效果进一步增强。
具体来说，DLSS 3.5通过将人工降噪器替换为英伟达超级计算机训练的AI网络（在采样光线之间生成更高质量的像素），提升了GeForce RTX GPU光线追踪图像的质量。
同时，DLSS 3.5 AI网络的训练数据量也是DLSS 3的5倍，可识别不同的光线追踪效果，从而可使用时间和空间数据做出更明智的决策，并保留高频信息以实现更高质量的图像效果。
此外，光线重建还会从训练数据中识别光照模式，例如全局光照或环境光遮蔽等，并在游戏中重新创建。其最终效果比需要人工设计的降噪器更出色。
而DLSS 3.5除了能够让新游戏带来更好的性能表现和画面效果外，还能让用新技术复刻的老游戏重新焕发光彩。
《传送门》RTX版是首款采用NVIDIA RTX Remix打造的游戏，这是一种变革性的Mod工具，可帮助Mod玩家升级和重制经典游戏。
现在，《传送门》RTX版也将支持NVIDIA DLSS 3.5，利用AI驱动的光线重建(Ray Reconstruction)技术，提高全景光线追踪的保真度和全局动态照明效果的响应速度。
在DLSS 3.5加持之下，GeForce RTX 4090的帧率可提升至原来的6.2倍，GeForce RTX 4080 SUPER的帧率可提升至原来的6.7倍，游戏速度分别能达到100 FPS和70 FPS。
除了这些新鲜出炉的游戏大作之外，目前已有超500款游戏和应用支持NVIDIA RTX技术，未来还会有更多大作加入。
比如《星球大战™：亡命之徒》：
《战国王朝》：
在封建日本的动荡时期，玩家可以建立并成为自己王朝的主宰
《暗黑破坏神IV》：已经支持DLSS 3，将于3月26日支持光线追踪。
ACE：AI NPC「活了」
除此之外，英伟达还利用「世界级数字人技术」让那些游戏NPC们活了！
同时，还为商业应用创建了栩栩如生的数字化身。
其中就包括，用于语音和动画的NVIDIA ACE、用于语言功能的NeMo，以及RTX渲染技术。
这些技术都将成为开发者创建，AI驱动的自然语言交互的数字人的基石。
去年GTC大会上，老黄发布会上直接与游戏NPC实时对话，网友表示这简直颠覆了整个游戏行业。
这一次，英伟达直接带来了更多行业里的应用。
在GDC 2024上，英伟达与InWorld联手呈现了全新的技术Demo——Covert Protocol。
有了Covert Protocol，每个玩家的体验都是独一无二的。
因为NPC可以在游戏世界中感知周围世界，做出决策和行动，突破了游戏中角色互动的局限。
这里，你扮演的是一名私家侦探，将根据与场景中人物的对话结果完成目标。
它们可以学习和适应，表现也会存在细微差别，有时还会自主发起行动。
针对同一场景，NPC有着丰富的语言表达能力。
具体来说，InWorld引擎集成了NVIDIA Riva自动语音识别技术，可实现精确的语音转换文字。
同时NVIDIA Audio2Face提供逼真的面部表情，增强了动画效果。
而在InWorld端，开发人员可以针对每个特定的NPC调整各种参数：个性、知识和认知、目标、场景、安全性、长期记忆。
InWorld引擎可以让游戏开发人员，添加更多响应玩家的行为「多模态AI智能体叙事」。
它将认知、感知和行为系统集成在一起，在精心制作的环境中呈现令人惊叹的RTX渲染角色，以实现身临其境的叙事效果。
另一家游戏巨头育碧也开始利用Inworld和NVIDIA ACE技术，来探索数字人在游戏中可能性。
最具代表性的项目是NEO NPC——让游戏NPC可以自由即兴对话。
Inworld的角色引擎和LLM技术，使育碧的叙事团队能为每个NPC建立完整的背景、知识库和对话风格，而NVIDIA ACE技术套件中的NVIDIA Audio2Face则用于实现实时面部动画。
育碧通过三个独立技术Demo展示了NEO NPC的功能。
每个场景都侧重于NPC行为、环境和上下文意识的不同方面；一系列实时反应和动画；以及连续对话、协作和战略决策。
这些实验发现突破了游戏设计和沉浸感的界限。
另外，《诛仙世界》、《浑噩》也将 Audio2Face 加入了开发流程。
Audio2Face可以精准生成口型同步，让脚本编写人员更容易为《诛仙世界》添加新配音内容。
在医疗行业中，数字助理可以为世界各地的患者提供有用、及时和准确的信息。
初创公司HippocraticA创建了由NVIDIA ACE加持的医疗保健智能体，可以给患者打电话，跟进护理协调任务，提供术前指导，执行出院后管理等。
NVIDIA App：一个应用搞定一切
为了让玩家拥有更加流畅无缝的使用体验，英伟达还推出了全新的NVIDIA app——它最大的亮点是：无需登录即可更新驱动。
它还彻底解决了之前GeForce Experience使用体验卡顿，在后台资源占用过大的问题。响应速度提升50%，磁盘占用减少17%。
而且无论是游戏发烧友还是内容创作者，NVIDIA app都能让用户更轻松及时地更新到最新的驱动，让用户快速找到和安装NVIDIA Broadcast和NVIDIA Omniverse等最新应用。
GPU「大一统」控制中心：最优游戏设置 驱动配置。
NVIDIA app将GeForce Experience的游戏设定优化功能与NVIDIA控制面板的3D设置整合到一个统一的界面中。
玩家能在一个集中的应用中查看修改各种优化选项，同时调整驱动程序设置。
玩家可以针对游戏和应用自定义控制中心选项，也可以对所有游戏和应用使用全局配置文件。
全新升级的驱动面板：快速查看概要，获取最新驱动信息。
在「驱动程序」页面中，玩家可以快速了解每次驱动更新的重点内容。
如果玩家想要查看具体的更新或者是修复细节，也能方便的获取到全部的细节信息。
全新的游戏覆盖界面：实时统计数据显示，支持120 FPS ShadowPlay录制。
NVIDIA app还重新设计了游戏中的浮窗，玩家依然可以方便地使用「Alt Z」快速调出Shadowplay录制工具、Freestyle 游戏滤镜、NVIDIA Highlights、照片模式和性能监控工具。
重新设计的统计信息浮窗，增强了性能监控功能。
玩家可以通过多种选项自定义性能浮窗在游戏期间的显示方式，最大限度地减少HUD占用的空间。
全新的AI图像滤镜：支持RTX HDR和RTX数字自然饱和度。
借助NVIDIA Freestyle，玩家可以利用实时后处理滤镜为自己喜爱的游戏打造个性化的视觉效果。
由玩家喜爱的Digital Vibrance（数字自然饱和度）功能改进而来的RTX Dynamic Vibrance（RTX数字自然饱和度）可针对每个应用增强视觉清晰度，让玩家能够灵活、方便地调整每个游戏的视觉设置。
它不仅能在屏幕上呈现更多颜色，而且可以在不同的颜色之间实现完美平衡，最大限度地避免颜色崩坏，保证图像质量和沉浸感。
而RTX HDR是一款新的AI增强Freestyle滤镜，可以将高动态范围 (HDR) 的艳丽视觉效果无缝引入到原本不支持HDR的游戏中。
借助RTX HDR滤镜，现在玩家可以利用兼容HDR的显示器畅玩DX12、DX11、DX9和Vulkan平台上运行的大量游戏。
NVIDIA app还能让用户方便探索英伟达的各类前沿应用：包括NVIDIA ICAT、NVIDIA Omniverse等。
ChatRTX：专属大模型，本地就能跑，还免费开源
英伟达在前段时间也上线了自己第一款支持本地运行的大模型技术demo——Chat with RTX。
Chat with RTX（简称ChatRTX），使用检索增强生成、NVIDIA TensorRT-LLM软件和NVIDIA RTX加速，将本地生成式AI功能引入到支持RTX的Windows系统中。
用户可快速、轻松地将本地文件作为数据集连接到开源大语言模型，快速查询与上下文相关的答案。
想要运行Chat with RTX的要求也非常简单，用户在搭载 NVIDIA GeForce RTX 30 系列或更高版本的 GPU（至少 8GB 显存）进行本地部署，打造个人专属聊天机器人。
目前，Chat with RTX已经可以支持Mistral、Llama2等多款开源模型。
但很快，Chat with RTX将增加对语音、图像和新模型的支持。
RTX AI工具：全面加持开发者
LLM巨大的参数规模，让「部署和推理」的难度和成本一直居高不下。
为此，英伟达推出了一款专门用于提升AI推理性能的开源软件——TensorRT-LLM。
TensorRT-LLM将TensorRT的深度学习编译器、FasterTransformer的优化内核、预处理和后处理以及多 GPU/多节点通信，封装在一个简单的开源Python API中。
开发者不需要深入的C 或CUDA专业知识，就能够部署、运行、调试各种大语言模型，还能获得顶尖性能表现，以及快速定制化的功能。
对于RTX PC和工作站用户来说，借助英伟达定制的TensorRT-LLM for Windows，可以让模型的推理性能最高提升5倍之多。
这些大语言模型的版本将能够在任何配有8GB及以上显存的GeForce RTX 30系和40系GPU上运行。
这意味着即便是最轻便的Windows设备，也能快速、准确地实现本地大语言模型处理能力。
除了成本居高不下外，定制和维护生成式AI项目也需要大量的时间和精力，尤其是在尝试跨多个环境和平台进行协作和部署时。
针对这一问题，英伟达提出了一站式解决方案——AI Workbench。
基于此，开发者可以轻松地在PC或工作站上快速创建、测试和定制预训练的生成式AI模型和大语言模型。
2024年伊始，AI PC一跃成为了消费级市场的兵家必争之地。
就在各芯片厂商和PC品牌商发力之际，英伟达凭借多年布局，早已不知不觉地走在了AI PC前列。
英伟达掀起的这场RTX AI PC革命，必将席卷我们这一代人的工作和娱乐，改变一切。
