(资料图片)

高通近日发布AI白皮书称，混合AI是AI的未来，将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI，能够在全球范围带来高性能、个性化、隐私和安全等优势。此外，混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。（图源：高通中国官方微信公众号）据高通混合AI白皮书，在混合AI场景中，边缘大模型是云端大模型的感知器官，例如用户对手机说话，自动语音识别（ASR）AI模型如Whisper在设备上转换语音为文本，发送到云端，云端运行大模型，回发文本答案。在进阶版本中，设备AI更进一步保护隐私，承担更多处理，提供更个性化的提示给云：通过设备学习和个人数据，设备创建用户个人形象，与调度程序协作，基于上下文提供更好的提示；例如，用户要求手机预约和朋友在最爱餐厅吃饭，对简单查询，较小的大模型可在设备上运行无需云交互，如果用户需要复杂信息，则本地将需求转化为提示发给云端大模型并返回详细答案。高通指出，随着强大的生成式AI模型不断缩小，以及终端侧处理能力的持续提升，混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行，且性能和精度达到与云端相似的水平。不久的将来，拥有100亿或更高参数的模型将能够在终端上运行。混合AI策略适用于几乎所有生成式AI应用和终端领域，对推动生成式AI规模化扩展，满足全球企业与消费者需求至关重要。中信建投阎贵成等人6月15日研报表示，AIGC大模型及应用爆红，拉动算力需求。在万物互联大部分场景中，云端处理存在时延较长、成本较高、并且涉及数据隐私等问题，边缘AI算力的引入至关重要。我们认为未来AI算力将综合考虑硬件能力、成本等因素，以混合AI的架构，在边端和云端灵活分配。据了解，混合AI指的其实是云端和设备端共同处理AI计算，借助设备端的即时感知、即时处理优势，来填补云端AI在延迟方面的短板，同时还通过云端的超高算力，来弥补端侧AI性能的缺憾。高通中国区董事长孟樸表示，混合AI势不可挡，助推AI规模化发展。在孟樸看来，从过去20年AI的发展，到最近大语言模型的发展、交互式AI的发展，所有这些都推动了整个产业的快速发展。可以看到，人们使用的电子设备，不论是手机，还是冰箱、彩电等，越来越多地实现了智能化和网联化，所有这些终端产品都产生了大量的数据，而且都具备情景感知的特点。据财联社不完全整理，在混合AI领域有所布局或有所合作的A股上市公司包括江南化工、天准科技、首都在线和优刻得等，具体情况如下：江南化工持有北京光年无限科技有限公司12.91%股份，根据北京光年科技公司的介绍，“智娃”产品支持硬件系统耦合，即支持本地内容资源的调用、支持离在线混合AI计算架构（该架构可明显提升AI响应时间等）。天准科技是英伟达Jetson金牌合作伙伴，是Jetson在国内最大的NPN(NVIDIAPreferredPartner)合作伙伴；天准科技基于英伟达Jetson和地平线J5平台面向AMR移动机器人、自动驾驶、智慧交通、首都在线提供边缘侧的推理算力支持AIGC应用，针对GPU服务器的特殊性，自研了管理芯片及配套的管理系统，搭建了面向ChatGPT行业的泛渲染异构算力公有云平台，新一代算力平台可为ChatGPT类人工智能应用提供算力、算法、云渲染等技术服务，已为国内多家涉及人工智能类客户提供服务。优刻得是国内领先云服务提供商，根据客户实际业务需求，可以为AI客户提供CPU/GPU算力资源和服务，以公有云、混合云等不同模式满足客户的多样化使用场景需求。
38条 上一页 1 2 3 4 下一页

推荐内容