分类： 科技

头图来源：Meta

 

「扎克伯格人去哪了？」

 

这是在预计时间开始后十分钟、Meta Connect 2024 主题演讲仍然迟迟没有开始后，各大直播平台评论里观众提问最多的问题。

 

原本预定将于太平洋时间早上十点（北京时间 9 月 26 日凌晨一点）开始的主题演讲，实际在计划时间开始 15 分钟后才随着Meta 创始人扎克伯格跑步入场开幕：给人一种小扎也是踩点早高峰上班、不小心迟到的打工人的感觉。

 

好在本次发布的新品足够重磅，还算弥补了全球网友损失的这十几分钟寿命：除了更便宜的 Quest 3S 系列，还有 Meta AI 与 Llama 3.2，以及让我们得以一窥未来 AR 眼镜形态的 Orion 原型机。

 

最受欢迎的「AI 眼镜」、最强功能的 AR 眼镜，以及最多人使用的开源 AI，难怪最近扎克伯格的采访总给人一种「我强的可怕」的感觉——苦熬多年的元宇宙最终结出了 Orion 这样的 AR 之花、Llama 3.2 大模型依然在继续开源，他确实有底气说：

 

Meta，是一家用技术实现愿景的公司。

 

Quest 3S：下一台销量千万的 Quest

可能是意识到因为自己迟到，让全世界多等十五分钟犯了众怒的原因，扎克伯格上台后甚至没怎么寒暄，迅速单刀直入，在演讲开始的三分钟内就公布了 Meta Quest 3S 的价格，堪称近几年的硬件产品发布会中的一股清流。

图片来源：Meta

 

作为 Meta 寄予厚望、支撑起 Quest 系列全球出货量超千万台的新品。 Meta Quest 3S 起售价 128GB 版本为 299 美元，256GB 版本售价 399 美元，十月 15 日开售。

 

相比 Quest 3 系列，定位入门级的 3S 在芯片等主要硬件规格上与 Quest 3 保持一致，但在机身材质与显示画质从 4K 降低至 2K（Quest 3S 单眼分辨率为 1832*1920）两个方面做了取舍，换来更低廉的售价。

Meta Quest 3S 外观 | 图片来源：Meta

 

当然，作为 Meta 每年发布 Quest 新品吸引用户的惯例，这次也少不了一大批新游戏、新软件的登陆与适配：现在 Quest 3 系列不仅原生支持 Windows 11 设备拓展多显示器功能，此前备受期待的蝙蝠侠 IP MR 游戏《阿卡姆之影》属于附赠内容，从现在开始每一位在 2025 年四月之前购买 Quest 3S/3 的用户都能免费将其收入库中，算是硬件大厂中相当有诚意的软件促销内容了。

 

在 Quest 3S 发布之后，Quest 3 将仅保留 512GB 版本售卖，售价从原本的 649 美元降至 499 美元。

 

Meta Rayban：新设计、新功能

在真正的大招放出来之前，扎克伯格还是卖了个关子，带大家回顾了一下 Meta Rayban 过去一年所取得的成绩。

 

作为很可能是迄今为止是业界唯一一款真正意义上取得现象级成功、出货量超百万的 AR 眼镜产品，Meta Rayban 系列对于 Meta 的重要性不言而喻。

 

因此本次发布会中，Meta 也给 Rayban 系列带来了一系列新功能：包括一款名为「Be my eyes」的互助类 App，用来让眼镜给低视力患者充当义眼，将眼镜所拍摄到的眼前数据实时上传，并由其他视力正常的志愿者帮助 Meta Rayban 的使用者来感知日常世界。

| 图片来源：Be my eyes

 

Meta Rayban 眼镜所搭载的 Meta AI 现在也加入了更多多模态功能 —— 比如自动识别车牌号，帮你记录停车位置，以及通过语音指令要求 Meta AI 在航班着陆后三个小时内自动给家人报平安；或者是借助 Meta Rayban 的多模态能力，使用 Meta AI 来感知显示世界中的地标建筑，帮你快速适应一个新街区或城市 —— 比如生成一份旅游计划。

 

另外 Meta Rayban 现在也能通过 Meta AI，实现实时语言翻译了 —— 这是如今一些 TWS 耳机已经支持的功能，目前 Meta Rayban 的版本支持英语、西班牙语、法语与意大利语，未来还将有更多语言陆续加入。

 

最后，Meta 还发布了一款限量特别版 Meta Rayban，机身采用透明设计，整体在维持飞行员系列的时尚外观的同时看起来更有科技感。

特别款 Meta Rayban | 图片来源：Meta

 

能够根据外部光源切换眼镜/墨镜形态、并且具有超高响应速度的 UltraTransitions® GEN S™ 系列镜片现在也加入了针对 Meta Rayban 的定制版，时尚的同时出街搭配更方便了。

UltraTransitions® GEN S™ 系列镜片 Meta Rayban 定制版 | 图片来源：Meta

 

Orion：「下一代 AR 交互体验」

 

但我们都知道，Meta Rayban 其实并非典型意义上的「AR 眼镜」：由于 Meta Rayban 完全不具备内容显示能力，因此业内一直有不少人认为 Meta Rayban 所取得的成功，对于推动 AR 技术（尤其是显示技术）继续向前发展并无太大帮助，甚至是在摧毁 AR 初创企业生长的土壤，理由也很简单：

 

「连行业老大做的智能眼镜都没有显示功能，会让很多人会好奇AR 眼镜真的还有未来吗？」

 

但今天发布的新品，或许会让持有这种观点的质疑者完全收回这句话，因为 Meta 发布的 Orion AR 眼镜，当之无愧让我们看到了「下一代 AR 交互体验」的雏形。

 

在硬件上，Orion 采用了 ULED + 微型投影仪方案，不仅支持全彩内容显示，还能通过空间定位，将接近 Vision Pro 或 Quest 那样的窗口空间定位能力，整合在 AR 眼镜这样要轻盈的多的形态中，也可以说是 Meta 在 AR 领域研究的集大成之作。

 

为了支持接近 VR 头显的空间计算效果，Orion 在眼镜上塞进了七颗摄像头来感知周围环境。

 

为了搭建起能够处理这些数据的算力环境，Orion 又单独设计了一款体积不小的椭圆形计算单元，采用无线数据传输的方式来完成眼镜计算空间数据所需的算力，但因为是无线传输，所以计算单元与眼镜之间的距离不能超过 12 英尺。

Orion 的计算单元、腕带与眼镜本体 | 图片来源：Meta

 

除了手势识别，Orion 还支持眼球视线交互，甚至通过搭配腕带，还能在你的手不刻意抬起来，自然低垂在腰间的状态下，识别到诸如「搓大拇指」这样微小的交互手势 —— 这些甚至已经与 Vision Pro 的交互操作能力无异，但这些都被集成在了一台重量仅为 100 克，外观接近 Meta Rayban 的产品形态中。

 

仅仅以上目前 Orion 所展示出的能力，就已经堪称对 AR 眼镜领域的又一次「降维打击」：现场还播放了一条片，包括黄仁勋老黄在内的各界大拿在体验到 Orion 的实际表现后，众人纷纷露惊呼难以置信以及露出震惊表情的画面。

老黄体验过 Orion 之后的表情 | 图片来源：Meta

 

相比 Meta Rayban 通过产品的精准定义取得成功，Orion 这次是 Meta 从更高的技术维度上，再一次颠覆行业。

 

「这就是我们一直以来致力于达成的目标」，对于 Orion 对于 AR 眼镜现有能力带来的颠覆，扎克伯格这样表示了 Meta 的计划。

Orion 是目前唯一一款展示了接近全功能 MR 头显空间交互能力的 AR 眼镜 | 图片来源：Meta

 

但扎克伯格也承认，现阶段的 Orion 还只是一个原型机，「在（AR 眼镜）正式量产面向用户之前，还有很多问题需要解决」。

 

比如，此前包括老黄在内的嘉宾，他们体验到的 Orion 的实际分辨率为 13 像素/度（Quest 3 为 25 像素/度），在显示效果上相比目前业内存在的 AR 眼镜，其实并无太大优势，但 Meta 也小小展示了一下藏着的底牌 —— 另一台并未对外界过多展示的 Orion 原型机，已经能在相同体积下，做到 26 像素/度的清晰度。

 

只是在目前 AR 眼镜的产品形态下，更高的分辨率势必要牺牲更多的电池寿命 —— 这对于强调全天佩戴的 AR 眼镜来讲很大程度上是一个致命的问题。

 

另外，成本也是一个重要的量产考量因素：Meta 在会后向媒体透露：目前 Orion 这套解决方案的硬件成本超过 1000 美元。这个价格相比 Vision Pro 的定价堪称低廉，但放在 AR 眼镜品类中已经是一个令人惊悚的天文数字。

 

因此，在价格与功能之间取得平衡也会是一个重要的考量。

 

无论如何，Orion 已经让我们得以「管中窥豹」地了解到，过去数年 Meta 在 AR 领域的技术积累，或许到明年 Meta Connect 25 上，我们就能看到更接近普通用户的 Meta AR 眼镜产品了。

 

Meta AI ：月活5亿，小扎称「全球最多」

 

聊完硬件，扎克伯格还有AI。

 

据扎克伯格透露，整合到Facebook和Instagram里的Meta AI聊天机器人现在月活用户是5亿，他还称，Meta AI有望在年底前成为全球使用最多的AI助手。

 

紧跟各个行业对手，在 Connect大会上，Meta AI朝着多模态进一步迈进。

 

就像OpenAI那样，Meta现在也有AI语音对话了。与OpenAI这一功能的入口是ChatGPT，Meta的入口则是 Messenger、Facebook、WhatsApp 和 Instagram D等众多产品，用户可以在这些产品里用语音与MetaAI对话。

 

扎克伯格说：「我认为，与文本相比，语音将成为与AI交互的更自然方式。」

 

随着该功能开始推出，据扎克伯格介绍，用户可以选择不同的语音选项，包括一些美国名人的熟悉声音。在舞台上，一个以奥卡菲娜为模型的AI语音回答了扎克伯格的一个问题。

 

Meta显然吸取了教训，已经与这些名人达成合作，没像OpenAI那样未经同意用了斯嘉丽·约翰逊的声音后惹来控诉。

 

 Meta推出AI语音对话 ｜图片来源：Meta

 

除了语音对话，Meta AI还有一些大厂AI机器人必备的「常规操作」，比如图像编辑功能，用户直接用自然语言就能给自己的照片简单P图，包括给人物换衣服，给照片换背景等。

 

 Meta AI的P图功能 ｜图片来源：Meta

 

用户可以将AI生成的图像直接分享到Facebook和Instagram上，Meta AI还可以为社交帖子建议标题。

 

另外，用户还在与Meta AI的聊天中分享照片，就照片进行提问。比如分享在徒步时看到的一朵花的照片，询问这是什么花，或者分享一道新菜的照片，并询问如何制作它等。

 

 MetaAI功能：就图片进行询问 ｜图片来源：Meta

 

语音、图片之外，Meta的AI功能还将应用在视频上。Meta正在测试自动视频配音和口型同步功能，它将自动翻译Instagram上的Reels短视频，即使短视频创作者讲不同的语言，也可以让不同的观众听到自己的「母语」。

 

Meta的这款 AI翻译功能目前还在Instagram和Facebook上小规模测试，翻译一些来自拉丁美洲和美国的创作者的视频，语言为英语和西班牙语，扎克伯格计划未来将其扩展到更多的创作者和语言。

 

 Meta短视频直接转换成观众母语 ｜图片来源：Meta

 

在AI与硬件的融合方面，Meta的与Ray-Ban合作的智能眼镜也加入了包括翻译在内的AI功能，扎克伯格将其称为新的「以AI为中心的设备」。

 

根据介绍，这款眼镜无需每次都说「Hey Meta」就能向Meta AI提出后续问题。

 

这款眼镜还能够进行实时AI翻译，在现场演示中，扎克伯格讲英语，另一个人讲西班牙语，双方进行了一场对话，智能眼镜充当了翻译。不过，从效果来看，翻译还是像传统的随身翻译那样有一定「时差」。

 

AI 新模型：Llama 3.2，继续开源

 

在 Connect大会上，扎克伯格还介绍了Meta最新的Llama 3.2系列模型，其中包括小型和中型视觉 LLM（11B 和 90B），以及适合边缘和移动设备的轻量级纯文本模型（1B 和 3B）。

 

扎克伯格继续高举「开源」的大旗，不想让OpenAI等一家独大，提供Llama 3.2的开放下载，社区开发者可以在Llama官网和 AI 社区Hugging Face上直接获取这些模型。

 

Meta Connect舞台上的扎克伯格 ｜图片来源：Meta

 

Llama 3.2系列中最大的两个模型，11B和90B，支持图像推理用例，如包括图表和图形在内的文档级理解、图像的字幕生成，以及基于自然语言描述在图像中定向定位对象等视觉定位任务。

 

例如，一个人可以就上一年他们小型企业在哪个月份销售最好提出问题，Llama 3.2可以基于可用的图表进行推理并快速提供答案。在另一个例子中，该模型可以使用地图进行推理，帮助回答诸如徒步何时变得更陡峭等问题。

 

11B和90B模型还可以弥合视觉和语言之间的差距，从图像中提取细节，理解场景，然后撰写一两句话，可用作图像字幕来帮助讲述故事。

 

轻量级的1B和3B模型则有多语言文本生成和工具调用能力，它们使用了两种方法——「剪枝」和「蒸馏」，是首批能够适应设备的小型Llama模型。

 

据介绍，开发者能够用这些模型使构建设备端的自主应用。例如，此类应用可以帮助总结最近收到的10条消息，提取行动项，并利用工具调用直接发送后续会议的日历邀请。

 

在数据隐私问题上常年备受各界诟病的Meta，此处的旗号是要「实现数据永不离开设备的强大隐私保护」。

 

在本地运行这些模型有两个主要优势。首先，由于处理在本地完成，提示和响应会感觉更即时。其次，本地运行模型可保持隐私，不会将诸如消息和日历信息等数据发送到云端，使整体应用更加私密。由于处理在本地完成，应用可以清楚地控制哪些查询保留在设备上，哪些可能需要由云端的更大模型处理。

 

据Meta声称，Llama 3.2视觉模型在图像识别和一系列视觉理解任务上，可与Claude 3 Haiku和GPT4o-mini竞争。3B模型在诸如遵循指令、摘要、提示重写和工具使用等任务上优于Gemma 2 2.6B和Phi 3.5-mini模型，而1B模型在与Gemma竞争时表现出色。

 

Meta推出Llama 3.2系列模型 ｜图片来源：Meta

 

之所以坚持开源，目前Meta的官方说法是，「确保世界各地的更多人能够获得AI提供的机会，防止权力集中在少数人手中。」

 

当然，值得指出的是，Meta的模型属于「开放权重」，而非完全「开放源代码」。这一度引起业界对于Meta的模型是否是真正意义开源的争议，但对于全球一些开发者来说，有总归比没有强。

 

另外一方面，构建LLM总是昂贵的，Meta也有自己的商业利益要考虑，在何种程度上不损害公司利益，扎克伯克有自己的考量。

 

其中的关键一点，他此前已经在公开信中明确提到：「Meta 与封闭模型提供商之间的一个关键区别是，出售 AI 模型访问权限不是我们的商业模式。这意味着公开发布 Llama 不会像封闭提供商那样削弱我们的收入、可持续性或投资研究的能力。（这是一些封闭模型提供商不断游说政府反对开源的原因之一。」

 

扎克伯格宣扬开源AI ｜图片来源：Meta

 

此次 Meta Connect 大会，在 Orion 上，能看到 AR 眼镜这一形态，未来进一步模糊 AR/VR 边界的潜力，可以说 Meta 凭借 Orion 的发布，一战重新稳固了自己在 AR 眼镜技术领域的龙头地位。

 

至于AI，从Meta的发布会来看，多模态AI已经成为大厂和巨头的标配。而在AI模型上，关于开放和闭源哪种更好的争论还在继续，扎克伯格的选择，可以视作对OpenAI等闭源模型巨头发起的挑战。

 

但依然要面对的现实是，无论 AR 还是 AI，在产品形态和技术选型上依然处于无尽的变化之中，而 Meta 显然让全世界知道，自己，才是那个最有资格来定义这些重要技术产品的公司。

 

 

当教育公司好未来想要训练自己的大模型时，它遇到了算力的难题。其算法工程师往往有多个项目、多个训练的模型、以及各种版本的迭代，任务繁多。在这个背景下，它们希望通过一个专业且稳定的算力训练平台，为每一个算法工程师分配合适的算力资源，让整个训练体系高效运转起来、将手上的算力利用到最优。

在大模型落地之路上，很多企业都面临像好未来一样的难题。当它们想要自己去训模型的时候，可能会遇到算力难以利用好的问题；当他们想要调用、调优模型时，可能会面临模型选择不够、工具链不够、数据不够等问题。

这正是国内云厂商想要帮他们解决的问题。在大模型浪潮下，过去以 IaaS（基础设施即服务）和 PaaS（平台即服务）为主的基础云服务，正让位于以 AI 为主的 MaaS（模型即服务）的云服务。云厂商希望能解决企业模型落地的这波需求，不仅仅是为了收模型和工具调度费，底层还是希望拉动云收入。

在大模型时代，围绕企业的不同落地需求，百度智能云推出了全栈的产品服务体系。

第一层是百舸计算平台，它基于百度对文心大模型训练的经验沉淀，主要为那些想自训模型的客户提供算力服务。好未来最终就选择了基于百舸训练自己的大模型。第二层是模型平台千帆，主要面向想直接调用模型、深入部署模型、以及基于模型进行上层应用开发的客户。早在去年 3 月，百度 C 端应用「文心一言」推出当月，百度智能云就及时推出了千帆平台。

这种积极性让百度智能云在 AI 大模型落地的进程中走在前列。据 IDC 发布的《2023 中国大模型平台市场份额》，中国大模型平台及相关应用市场规模达 17.65 亿元，百度智能云处于第一。而据自媒体”智能超参数”介绍，在 2024 年 1-8 月份的大模型中标数量盘点中，百度在中标项目数、行业覆盖数以及央国企中标项目数上，排名第一。

在 9 月 25 日百度智能云举办的云智大会上，百度集团执行副总裁、百度智能云事业群总裁沈抖介绍，目前大模型已经在企业端被真正用起来了。目前在千帆大模型平台上，文心大模型日均调用量超过 7 亿次，用户累计精调了 3 万个大模型，开发出了 70 多万个企业级应用。

在这样的背景下，百度智能云分别针对算力、模型、AI 应用，升级了百舸 AI 异构计算平台 4.0、千帆大模型平台 3.0 两大 AI 基础设施，并升级代码助手、智能客服、数字人三大 AI 原生应用产品。沈抖表示，大模型以及配套的算力管理平台、模型和应用开发平台，正在迅速成为新一基础设施。这是大模型走向千行百业的重要基础。

以下是极客公园与百度智能云、以及百舸和千帆两大产品体系负责人交流后，看到的这两款重要产品的核心变化。从中，可以一窥中国企业落地大模型的核心难点、关键趋势。这对于接下来国内大模型的落地进程或许是至关重要的。

 

百度集团执行副总裁、百度智能云事业群总裁沈抖｜图片来源：百度智能云

 

对想训模型的客户：从「多快好省」用上算力，走向万卡集群时代

尽管直接调用模型是主流，但仍然有很多企业有自己训练模型的需求。据极客公园了解，这类企业往往集中在大模型初创企业、传统互联网企业，以及生命科学、智驾等行业。就企业规模来看，以行业头部客户居多。

它们一般具备较强的技术研发和快速迭代能力，有一定数据积累、数据质量良好。当然，它们也需要采购 GPU 算力。

但对于这些企业来说，如何能把算力用好，是一个核心难题。百度杰出系统架构师，百度智能云 AI 计算部负责人王雁鹏对极客公园表示，这些客户在算力上的核心痛点，大概可以总结为「多快稳省」。

1）多：指的是在算力卡脖子的情况下，企业必然要混合多种芯片训练，但芯片混训难度非常大。

2）快：指的是减少集群部署时间，提升模型训练推理效率，实现大模型业务快速落地。

3）稳：指的是技术故障都有可能导致训练任务停摆，进而造成损失，需要保持稳定和有效训练时长。

4）省：指的是算力没有被利用出来，甚至 50% 的算力都被浪费了，因此提升资源利用率对企业节省成本至关重要。

在王雁鹏看来，很多互联网行业客户的技术能力主要强于上层软件，而对于高性能计算、存储、网络、算法框架等底层基础设施能力上存在欠缺。他们想自己用好算力的难度比较大，这正是百舸平台提供的价值。

百舸延承自百度这十余年的基础设施经验，从最开始自己搭建服务器、到深度学习崛起后开始尝试 GPU 加速、到后来跟上云计算的巨大底层变革、再到今天 GPU 云时代超大规模的并行计算和万卡集群的算力利用。百度将过去多年的技术积累、资金与人员的大力投入、以及文心大模型的训练经验，最终沉淀为了百舸计算平台。

百舸 AI 异构计算平台 4.0｜来源：百度智能云

 

在上述四大方面，百舸平台取得了领先于行业的产品优势：

1）多：百舸支持在同一智算集群中混合使用不同厂商芯片，兼容昆仑芯、昇腾、海光 DCU、英伟达、英特尔等国内外主流 AI 芯片，多芯混合训练任务的性能损失控制在万卡性能损失 5%，是业界最高水平。

王雁鹏介绍，实现多芯混训的核心，包括要在一套框架下面能把所有的芯片都用起来、因此要在抽象层把各个芯片打平；要建立芯片统一的通信库；要通过异构并行切分策略，解决不同芯片之间的互联带宽差异等。

2）快：一方面，百舸 4.0 能帮客户省去大量复杂和琐碎的配置和调试工作，最快 1 小时便能创建万卡规模集群，这要比行业通常需要的数天甚至数周快得多；另一方面通过大模型训推任务加速套件 AIAK，能针对主流开源大模型在并行策略、显存、算力等层面进行深度优化，为万卡集群下的大模型训推加速。比如单个芯片整体训练效率提升了 30%，长文本推理任务可以做到「极速生成」与「秒回」、效率提升了一倍。

王雁鹏介绍，这背后一方面是单卡训练的提升，基于具体场景做算子的加速库。目前，百舸聚焦在大语言模型和自驾模型两大核心场景，同时在算子层面进行加速。 另一方面是并行训练的提升，包括坚持使用 RDMA 进行大规模集群组网、包括一边计算一边通信、也包括显存的优化等，最终形成了并行训练的提升。

3）稳：大模型训练是一个庞大的单一任务，一个点出错，整个集群就得停下、回滚到上一个记忆点。百舸在万卡任务上可实现有效训练时长占比 99.5%，稳定性极强。

这背后在于降低故障次数和减少恢复时间，百舸在故障检测、故障诊断及定位、Checkpoint（检查点）及时写入、可观测能力、故障诊断、快速恢复等多个环节都进行了优化。

4）省：如果说一般客户自己管理算力只能发挥不到一半的资源利用率，那百舸能将资源利用率提升至 90%。

一方面是训推一体技术。如果说传统的模型训练和推理通常是在不同的集群中进行，导致训练阶段需要大量的计算资源和数据，而推理阶段对算力的要求则显著更低，造成资源浪费。那么训推一体技术是在不同时间使用 GPU 资源，让集群能同时支持在线推理服务部署、以及离线训练任务，从而提升资源利用率。 另一方面是弹性资源池技术。百舸是以弹性队列为核心去设计每一个任务的配额和各种分配策略，根据训练任务设计优先级、抢占策略、分配策略，进一步提升资源利用率。

正是看重百舸在稳定、高效提供算力等方面的优势，经过综合评估之后，好未来最终选择了百舸。好未来看来，百舸平台的自适应分配策略，无论是对并行模型、并行训练任务的处理，还是对单任务之间的快速衔接等，都能做到速度非常快、同时保证任务不掉，使得团队快速地完成了九章大模型的研发上线。

这些都还是在万卡集群的维度进行讨论，不过往未来看，国内大模型行业很快将进入十万卡集群的竞争。

沈抖介绍，大模型领域的 Scaling Law（缩放定律，指模型性能会随着参数、算力、数据集的规模增加而提高）仍在继续，这意味着大模型训练会很快进入十万卡集群的竞争阶段。不久前，马斯克表示刚建设了 10 万卡的集群，未来几个月还会扩张到 20 万卡，这不会是个例，

在他看来十万卡集群训练的挑战很大。一方面是空间，部署 10 万卡的大规模集群，光是在物理层面就要占据大概 10 万平方米的空间，相当于 14 个标准足球场的面积。另一方面是能耗，这些服务器一天就要消耗大约 300 万千瓦时的电力，相当于北京市东城区一天的居民用电量。

而这种对空间和能源的巨大需求，已远远超过了传统机房部署方式所能承载的范畴。因此不得不考虑跨地域的机房部署，但这又带来了网络层面的巨大挑战。另外 10 万卡集群的训练中断比例会大大提升，有效训练时长占比会非常低，这也是很大的挑战。

不过在沈抖看来，百舸 4.0 正是为部署 10 万卡大规模集群而设计的，而今天的百舸 4.0 已经具备了成熟的 10 万卡集群部署和管理能力。「它就是要突破这些新挑战，为整个产业提供持续领先的算力平台，让我们的客户始终走在时代前沿。」他说。

 

复盘大模型落地这一年：从试水、到中间阶段、再到真正的爆发

对于那些想要基于现有大模型做二次开发（包括再训练、微调、评估和部署）的企业来说，百度智能云千帆平台的初衷就是为它们打造。去年 3 月，千帆平台提供了大模型调用接口和微调工具链，帮助企业更好地进行大模型落地尝试。

而在百度副总裁谢广军看来，这一年半来，大模型落地趋势经历了三次变化。而针对这三次变化，千帆平台也相应完成了从 1.0 到 3.0 的三次版本进化。

千帆 1.0 推出时，正值大模型爆火，那是企业进行大模型落地的第一个阶段：接触大模型的人都在找卡、囤积算力、尝试训练模型，大模型带火了芯片和算力。那时大模型的需求相对模糊，千帆 1.0 主要提供给企业大模型调用和微调服务。

从去年下半年开始，大模型落地进入了第二个阶段：很多企业和开发者，都在探索怎么基于基座大模型改造现有业务，在模型调用之上新增了应用开发的需求。在这样的背景下，千帆推出 2.0，为企业提供 AI 原生应用开发工具。不过，这个过程虽然有很多企业在尝试，但真正用到生产中的并不多。

而从今年 5 月开始，受各家模型厂商的价格战影响、模型降价，加速了企业把大模型用起来，并在业务场景里产生价值。

自今年上半年以来，大模型的落地发展明显加快｜图片来源：百度智能云

 

据百度智能云观察，自今年上半年以来，大模型的落地发展明显加快。就千帆平台的观察来看，其文心大模型日调用量超 7 亿次，累计精调模型超 3 万个，帮助用户开发 AI 应用应用超过 70 万个。

据谢广军介绍，大模型的应用已经进入爆发期，很多企业不是在等待类似移动时代的爆款应用，而是已经把大模型用到了自己业务的「研产供销服」的各个环节。

在他看来，这也是过去 18 个月整个国内大模型产业发展的一个缩影。「我们可以预判，2024 年将成为国内大模型产业应用爆发的元年。」他说。

 

企业的模型应用趋势：更深的模型工具链、更丰富的模型选择、更专业的应用开发工具

为了接住今天快速增长的 AI 落地需求，千帆大模型平台此次升级了 3.0 版本，在模型开发层、模型调用层、应用开发层三大方面都有了更新。如果拆解每一层，也能看到当下 AI 落地的一些需求和趋势。

 

1.模型开发层：需要大小模型结合、需要更深的工具链、需要补给数据

模型开发层，指的是需要基于现有大模型做二次开发（包括再训练、微调、评估和部署）。

据百度副总裁谢广军介绍，企业在进行模型开发时，一个需求是它们要的不只是大语言模型，也还需要传统的视觉模型、语音模型，甚至是传统意义上的小模型。比如在教育场景里，如果要大模型评判作业，它往往需要一个拍照的过程，通过 OCR 视觉模型解析题目，再通过大语言模型生成答案。

另外，企业进行模型开发的需求也更深度了。比如过去千帆提供的是低门槛一站式部署平台，但现在涌现了很多专业的用户，他们需要更深度的模型开发，比如白盒化训练、作业建模等方式开发等。

而在数据层面，企业也有了更高的要求。比如用户可能存在数据质量不高、数据不够、很难代表行业垂类场景的情况，那么就需要混入一些行业专有数据。另外，很多模型在训练时是针对具体场景做效果增强，但这可能会出现通用能力遗忘的问题，这时也需要混入通用的语料。

针对这些情况，千帆大模型平台 3.0 做了全面的更新。目前，它支持大模型和多种传统模型的协同开发，并提供了行业最全面的模型精调工具链，上线了 DPO、KTO 等模型训练算法和 PTQ 等模型量化算法。它还预置了独家高质量混合语料，支持企业将应用中产生的宝贵数据反馈给模型、形成数据飞轮，放大模型在特定场景下的优势。

 

千帆大模型平台 3.0 模型开发工具链｜图片来源：百度智能云

 

一个案例是，高途教育通过千帆大模型平台的开发工具链训练了作业批改大模型。它可以准确识别印刷体的题干和手写体的学生答案，同时利用千帆「数据飞轮」对这些数据进行清洗和精标，进一步提升模型性能。现在，改大模型的数学判卷准确率已经能达到 95%，最终让老师、学生受益，让公司业务增长。

 

2.模型服务层：持续扩充模型类型、降低模型价格

模型服务层，指的是用户直接调用大模型的需求。

千帆平台的升级思路，一是持续扩充模型的类型。比如在主力模型上，推出了新的模型 ERNIE Speed pro、ERNIE Lite pro 等，上下文都是支持 128K。垂类场景模型上，又推出了包括 ERNIE Character、ERNIE Functions、ERNIE Novel，更好满足一些企业在细分场景的需求。

除了文心系列大模型外，千帆还提供了包括近百个国内外大模型等丰富模型选择。除了语言模型，还支持调用语音、视觉等各种传统的模型等等。

文心大模型家族全景图｜来源：百度智能云

 

在扩大模型类型的同时，另一重点是降低模型调用成本。过去一年，文心旗舰大模型降价幅度超过 90%、主力模型全面免费。这带来的效果是，文心一言大模型的日均调用量超过 7 亿次。

上海巨闲网络科技旗下的产品「考试宝」，通过千帆的大模型调用和提示词工程，实现了试题解析智能化，可以秒级返回解析结果，用户会员转化意愿翻了一倍，且单条试题解析成本降幅达到 98%。最终实现了降本增收。

又比如是国内领先的招聘企业猎聘，通过调用文心大模型，对岗位需求和简历内容进行语义理解分析，帮助猎头顾问快速、智能地筛选简历，实现了高效的人岗匹配。现在，猎聘的人岗匹配准确率比业界平均水平高出 15 个百分点，提升招聘效率 50% 以上。

 

3.应用开发：企业级 RAG、企业级 Agent、AI 速搭三大方向

大模型真正在企业用起来，最上层的一步是看应用。它是一种最简单实用的方式，帮助企业用大模型来改造自己的业务。

目前，企业的的应用落地主要是在 RAG（检索增强生成）场景。因为 RAG 能让大模型快速「懂业务」，它相当于把海量的企业数据和行业知识做成「外挂知识库」给大模型。目前，千帆 3.0 从检索效果、检索性能、存储扩展、调配灵活性四方面对企业级 RAG（检索增强生成）进行了升级。

比如，通过与百度云资源打通，它可以支持无限容量的知识库存储和检索；速度上，能做到 1.5 秒内返回结果；RAG 全部关键环节，包括解析、切片、向量化、召回、排序等等，都可调、可配；企业可以灵活配置出最适合自己业务的方案；最后，它提供了企业级的安全性和稳定性。

在 2024 云智大会现场，演示了澎湃新闻应用企业级 RAG 的例子。这类权威媒体报道一条新闻时，往往需要引入该新闻的前因后果、背景信息，这是写报道的基础。澎湃新闻通过千帆创建知识库，上传了澎湃新闻成立十年以来所有媒资信息，共计 2700 万篇文档，超过 350 亿文字。接下来，设置成 100% 按知识库内容回答。

这对 RAG 的切片能力和召回的准确度要求非常高。比如让它盘点中国网球奥运发展史、以及 2024 年巴黎奥运女单冠军郑钦文的个人发展故事，大模型很快就定位到了知识库里的相关信息，并用结构化的表达方式生成了新闻事件的脉络、提供了文档索引。这体现了大模型强大的意图理解和内容生成能力。

又比如 RAG 的指令遵循能力。如果删掉知识库中有关郑钦文获得 2024 年奥运网球冠军相关的信息，再去问大模型，2024 年巴黎奥运会女单网球冠军是谁，大模型会拒绝回答这个问题。这是才是正确的做法。过去，由于大模型的「幻觉」问题，企业担心大模型不靠谱，但有了 RAG 和严谨的指令遵循，这个问题可以得到解决。

另外一个常见的大模型落地方式是 Agent（智能体）。Agent 在接到一个任务后，会进行自主思考、任务拆解、方案规划、并调用工具，全程自动地完成任务。千帆 3.0 升级的一个重要内容，就是针对企业级 Agent 的开发，增加了业务自主编排、人工编排、知识注入、记忆能力以及百度搜索等 80 多个官方组件支持。

在大会现场，也展示了在电商领域应用的例子。爱库存作为一家私域电商供货平台，数百万店主在爱库存上找到想卖的商品，通过自己的微信群、朋友圈这些渠道分发出去。爱库存正在千帆大模型平台上开发一个叫「爱库存超级助手」的 Agent。

过去，如果一个店主发现销量变差了，想调整一下销售计划、看看接下来适合卖什么。他首先要到数据看板上分析原因，如果确认是选品的问题，他会到爱库存「热卖榜」里去找更有增长潜力又适合他客群的品类，然后去做同类产品的比价、选品，最后还要到生成对应的文案和海报。这几步走下来，一般得几个小时。

而现在通过搭建 Agent，分钟级就可以完成，效率得到极大提升。目前这个功能正在内测，预计在 Q4 向爱库存的店主正式开放。

此外，本次大会还发布了企业级智能化低代码应用开发平台「AI 速搭」，通过自然语言对话，一句话就可以完成应用创建。

在大会现场，还演示了如何通过对话，在 AI 速搭平台上开发一个资产管理应用。只需一句话描述对目标系统的需求，包含资产信息、资产入库、资产领用、资产维修、资产报废等功能模块，大模型就可以清晰地理解需求并生成应用。过去，这样一个应用即使用低代码方式开发也需要几天的时间，现在只需几分钟就能完成。

大模型浪潮已经到了第二年，中国企业的落地速度、规模比想象中要更快。这离不开模型厂商以及提供全套落地产品体系的云厂商的努力。随着大模型落地真正拉开大幕，依靠响应速度、投入、决心等，百度智能云试图领跑、争夺 GPU 时代云计算巨头的生意规模和市场地位。今天或许只是一个开始。

 

刚刚落幕的云栖大会百炼杯「智能好客服」PK 赛现场，上演了一场智能客服领域的「魔法对抗」。

比赛规则很简单，8 支参赛企业赛前卷算法，现场看效果，主办方阿里云提供模型开发平台百炼，选手用各自的解题思路去构建「智能好客服」而好的标准便是把个色人格的消费者都接待满意。

不过，主办方派出的聊天客户，却并非真人。而是同样通过百炼刻意为了「刁难」参赛队伍打造的不同人设 agent：其中，既有讲话错别字连篇还不会网购的阿姨；也有正在气头上的暴躁都市丽人。

只有魔法，才能打败魔法。参赛企业的应对，也堪称教科书级别。

比如冠军云梦科技，靠着一群技术宅团队做出了能应对暴躁都市丽人的 agent。面对买家沟通时的情绪波动，不仅能连续妥善识别应对，甚至还能分清「黄二白」「混油皮」这样的专业美妆术语，并根据买家对产品的特定需求，迅速推荐适合的产品，最后，还能在眼花缭乱的促销活动中，给出用户精准无误的解释。

获得了此次比赛亚军的合力亿捷，则派出了刚进入公司的职场新人，培训了两天不到，就直接通过阿里云百炼平台，让 Agent 就完成了三版迭代，回答的有效性从 80% 提升至 96%。

更「激进」的，是最佳创意奖得主企业云蝠智能，干脆放弃程序员参与，直接派来了公司的财务迎战「退休老大妈」agent，全程负责这次比赛的应用开发。而在此之前，这位财务，仅仅接受了 20 分钟的大模型与提示词培训。

当然，智能客服只是大模型发挥作用的经典场景之一；以此为切口，大赛主办方阿里云试图传达的更深层次意图在于：

大模型，已经真正进入卷应用的时代。

01 为什么是智能客服

关于这场挑战赛，很多人的都有一个疑问，大模型明明有很多炫酷的应用，比如自动驾驶，比如生物制药，为什么要选择智能客服这么一个看起来一点也不性感的方向？

一个基础的行业共识是，大模型应用爆发时代已经来临，每种生意都值得在大模型时代重做一遍。但每种生意的门槛与成本收益比却不尽相同。

图片来源：阿里云

毫无疑问，智能客服会是大模型落地持久战中，一个成本低、收益高的重要赛道，而它的落地场景，也渗透到了日常生活的方方面面。

一方面，智能客服是大模型长文本、多轮对话能力最直接的应用。

另一方面，智能客服背后潜藏的，是一个商业化潜力巨大蓝海市场。IDC 报告《中国智能客服市场份额，2023 ：新旧交替，增长可期》中显示，2023 年中国智能客服市场规模已达到 30.8 亿人民币，较上一年增长近 37%。

更重要的是，智能客服场景往往非常垂直，想要进入这个行业，只需要开源模型微调；但想要做好这个行业，在各行各业累积起的独家数据优势则是必不可少的一环。

也是因此，在现实中，面对智能客服机械式的问答，80% 的用户都会选择转接人工。

就以常见的买衣服来说，客服进行推荐时，往往需要用户的身高体重数据，但大部分用户并不能给出一个精准回答，而且有人习惯用公斤有人习惯用斤，有人统计身高数据用厘米，有人用米，三围数据上，更是有人有厘米，有人用尺……

这就需要模型不仅能精准理解用户需求，对用户给出的数据进行统一的单位转化，也需要能够根据判断出的用户需求，做出精准的款式与尺码推荐。

而一旦涉及到更复杂情况，比如用户讲话方言、用户情绪波动、多轮对话，以及用户随时的打断，那么，如何正确理解用户的讲话内容、保证用户的体验，就成了摆在眼前的拦路虎。这中间不仅比拼模型的技术能力，更考验对场景的理解以及对用户需求的精准洞察。

未来的市场很大，眼前的问题也不小，那如何弥合这种技术到落地之间的鸿沟？

这届百炼杯企业级 AI 应用开发挑战赛，百炼平台与浩鲸科技、亚信科技、合力亿捷、贝斯平、云梦智能、汇智智能、煜象科技、云蝠智能在内的 8 家行业知名独立开发商一同，为智能客服落地打了个样。

02 HR 也能做大模型应用，百炼凭什么？

与移动互联网时代，技术成熟与行业爆发之间需要漫长的等待期不同；大模型产业自 OpenAI 正式推出 ChatGPT 的那一天起，商业化就被按下了加速键。

短短两年时间，AI 绘画，AI 陪伴，AI 文案，就以摧枯拉朽之势将无数行业的格局与工作流颠覆，下游应用的爆发，更远远超出了所有人的预期：

数据显示，2030 年中国 AGI 应用市场规模将达到 4543.6 亿元人民币，更为重要的是，AGI 的应用市场还处在加速增长阶段：截至 2024 年 6 月 15 日，中国大模型市场共计发布中标公告 230 个，远超 2023 年全年的 190 个。

在一片蓬勃爆发的广阔蓝海，谁抓住了最多的开发者，谁就拿到了通往未来的门票。

图片来源：视觉中国

而如何培养更多的开发者，则需要一个门槛足够低，低到公司财务与HR也能动手开发的大模型应用开发平台。

2023 年 10 月，阿里云发布了大模型应用服务平台——百炼。通过集成通义以及上百款三方和垂直领域模型 API，并配套相应的开发工具，百炼可以让即使没有模型自研能力的中小企业开发者，也能以「拖拉拽」式的开发方式，在 5 分钟内创建自己的专属 AI 应用。

其中，底层算力上，百炼依托阿里云，可以支持千亿级模型的万级并发推理需求；让开发者把精力更多放在数据、业务、场景创新上。

而在生态侧，上百款大模型 API 接入之外，百炼同时还提供全链路模型服务和丰富的工具箱，并针对不同客户需求，推出了三种不同的大模型应用方式：

针对定制化需求较低，主打「开箱即用」的企业，百炼可以提供通义、Llama、ChatGLM 等在内上百款大模型 API，同时提供百川等系列三方模型的托管服务。

针对有一定定制化需求的微调型用户，百炼则提供从数据管理、模型调优、评测到部署的全链路模型服务。不仅让用户找到最合适的模型，同时让用户的算力支出，实现弹性调用，整个训练过程可视化。

而针对那些想要打造自身 RAG 应用的企业，百炼则提供 Assistant API，用户可在百炼上轻松创建知识库，并一键开启 RAG 应用，通过 Assistant API 联合输出。

不仅是针对不同开发水平的客户给出不同的开发模式；针对特定场景，百炼也推出了不同的落地扶持思路。

就比如针对此次比赛选定的客服场景，往往单一的大模型并不能很好的解决用户意图识别等问题。百炼平台通过提供完整的全链路模型工具，开源、闭源等多种模型选择，参赛者可以自由的选择不同的模型与工具进行组合搭配，以及大模型与小模型的联动，从而集多模型之所长，来更好的回答用户产生的问题。

再比如，应答客服场景中经常出现的专业知识，仅仅依靠模型以及开源数据，无法对做出精准回答，百炼则提供了集成 prompt 优化工具、流程管理工作流、插件等能力，开发者可以通过借助 RAG 搭建专属领域的知识库，来很好解决大模型的「专业知识短板」。

此外，通过高性能的模型调用服务、完整的应用创建流程、支持使用开放架构创建智能体应用，百炼更是做到了零门槛上手，财务也能开发大模型应用。

门槛降下来了，用户规模自然也就涨上去了。

根据云栖大会的最新消息，当前百炼平台服务客户数已达 30 万，其中，付费客户数较上一个季度增长超过 200%。大批开发者放弃私有化部署，直接在百炼上使用与微调各类 AI 大模型，构建自己的大模型应用。迄今为止，百炼已经成为当前市场排名第一的大模型应用服务平台。

03 技术到落地，仍需千锤百炼

不难看出，相比单纯讲述参数堆砌，打榜卷模型，本次比赛更多聚焦到了那些国内最早真正尝试 AI 应用到各行各业的人，以及为企业提供软件定制开发的 ISV 在各行各业深耕探索的开发者，甚至是对技术一无所知的行业一线员工。解决他们大模型落地过程中的开发上手难，产品用户体验等细节问题。

而这也是阿里云今年对外传达出的重要信号：深入产业，才是现下大模型产业最重要的关键词。

事实上，在大模型落地中，类似智能客服的尺码不统一、用户说方言、产品专业壁垒高深这样的问题并非孤例。

如何从上千页的产品说明中找到工程师需要的那一页，如何让财务轻松处理厚厚的票据，用户到底需要精准的正确还是模糊的可能性组合……都是摆在眼前，一个又一个具体而琐碎的问题。

而阿里云的答案是从技术中来，到落地中去，做大模型、做云服务、投资、做 MaaS、办比赛，做标杆，也做基础设施，把自己卷成国内大模型产业链中最努力也最全能的公司，从传统的云计算厂商一步步升级成为大模型时代的基础设施。

一直坚持下去，不只是因为大模型前路似锦，蓝海广阔；更是因为通往未来的路，就是一步步，一点点从解决怎么搭建客服 RAG 这样的小问题中摸索着走出来的。

真正的落地，从来都是一路咬着牙千锤百炼。

*头图来源：阿里云

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO