赋能开发者加速终端侧AI生态建设 高通AI Hub来了

  2023年10月的骁龙峰会上，高通凭借第三代骁龙8、骁龙X Elite等平台展现了终端侧AI的全新应用场景，更流畅的本地大模型、AIGC体验，让手机与PC的“智能体验”有了更具象的展示窗口。随后，众多OEM快速跟进，推出了具备终端侧AI能力的智能手机，未来还将有更多AI加持的PC亮相。可以说，在布局端侧AI多年后，2024年高通将站在新的起点继续发力。

  一直以来高通不仅在芯片、算力领域发力，与软硬件生态伙伴的协作也同样紧密。骁龙峰会上，便携手众多开发者“预览”了一系列基于终端侧AI的全新应用，比如结合大模型的更个性化的本地AI助手，AI赋能的全新影像体验等等。相隔不到半年，当地时间2月26日，高通在MWC2024开展首日宣布推出全新的高通AI Hub，为开发者提供全面优化的AI模型库，支持跨骁龙和高通平台部署，方便为不同平台打造AI应用。 

  据介绍，高通AI Hub将支持超过75个AI模型，囊括传统AI模型以及生成式AI模型，覆盖图像分割、图像生成、图像分类、文本生成、超级分辨率、物体检测、暗光增强、自然语言理解等等，优化后不仅运行速度可提升4倍，还能降低模型对于内存、存储的占用，并实现更高能效，保证终端设备的持久续航。高通表示，开发者在确定所需模型和框架后，选定目标平台(可以是某款手机或者某个型号的高通平台)，高通AI Hub就可以为开发者提供面向其指定应用、指定平台进行优化的模型。开发者只需要几行代码就可以获取模型，并将模型集成进应用程序。

  如果说去年骁龙峰会上高通带来的第三代骁龙8、骁龙X Elite是让生态伙伴释放终端侧AI潜力的画布，那么这次带来的高通AI Hub就是画笔等工具，可以更好地帮助开发者加速AI应用落地、实践。

  除此之外，MWC 2024期间高通还展示了多项新进展：

  全球首个在搭载第三代骁龙8的Android手机上运行的多模态大模型(LMM)――该演示中通过超过70亿参数的多模态大模型完成文本、语音、图像的输入及创作，并实现多轮对话。 

  全球首个在Windows PC上运行的音频推理多模态大模型――通过搭载骁龙X Elite平台的Windows PC，高通演示的音频推理多模态大模型可完成对音频、音乐等声音的理解并进行推理，实现多轮对话。例如，多模态大语言模型能够理解用户输入的音乐类型和风格，为用户提供音乐的历史以及相似的音乐推荐，或通过对话的方式为用户调节周围的音乐。值得一提的是，该模型优化后在终端侧运行也有出色的能效表现，更好地发挥骁龙X Elite增强隐私性、可靠性、个性化以及成本优势。据高通介绍GIMP集成Stable Diffusion插件在骁龙X Elite平台的PC上图像生成速度可以达到x86竞品的3倍。

  高通首个在Android手机上运行的LoRA模型――LoRA能够在不改变底层模型的前提之下，调整或定制模型的生成内容，例如超过10亿参数的Stable Diffusion模型利用LoRA适配器支持定制化体验，可根据个人喜好生成高质量图片。高通技术公司产品市场高级总监Ignacio Contreras在分享时提到，LoRA是面向终端侧生成式AI的关键技术，它能够提升效率，可扩展性以及定制化能力。这一技术不仅能够运用于图像生成，也可以应用于大语言模型等多种生成式AI模型，是实现个性化生成式AI的高效方式。

  写在最后

  2023年大模型、AIGC让终端侧AI相比以往有了较为明显的创新，已经给消费者呈现了“看得到、摸得着、用得上”的AI体验，调动了用户的关注和好奇心。然而不可否认的是，较高的使用门槛与不尽如人意的体验表现，并没有让终端侧AI成为吸引购买、使用用户的痛点，尚且处在尝鲜的“痒点”阶段。

  到了2023年Q4，终端侧AI也仿佛“冲业绩”一般，在芯片、硬件、软件等生态参与者的共同努力下，成为越来越多终端设备“与生俱来”的特性之一，一方面可以对现有应用场景、功能体验进行优化;另一方面，借助AI大模型、更强劲本地AI算力的支持，可以解锁新功能、新应用。因此，2024年AI必然会继续占据年度热词的位置，从智能终端到智算中心都少不了AI的身影。对于手机、PC、智能家居、汽车等终端而言，2024年将会是AI落地的关键年，不仅会看到持续迭代的AI算力，更让人期待的是创新的AI应用。

  对于高通而言，骁龙平台的能效、连接以及多年来布局的AI架构都是发力终端侧AI不容忽视的优势。同时，随着高通AI Hub的亮相，在生态建设方面高通也在软硬件协同推进，不仅赋能OEM等终端厂商，同时也为开发者提供了更多的空间。对于用户而言，未来则有更多“即开即AI”的终端设备可选。目前，多家OEM推出的搭载第三代骁龙8手机已经具备了生成式AI功能，预计到2024年下半年随着搭载骁龙X Elite的设备上市，还将带来更多终端侧AI应用。 

  当然在这个过程中仍旧有一系列的困难，比如在终端侧提供便捷易用的“AI入口”，打通生态应用实现AI助手的协同调用，进一步降低用户体验门槛提升AI应用的生产力，甚至是如何将内置AI终端设备的价格“打下来”等等。另外，尽管终端侧AI相比云端具备安全优势，但为了更出色的体验“端边云”协同的AI算力布局，加上不断丰富的AI应用、场景，还是会带来不容忽视的数据合规、隐私安全等挑战。

  所以，2024年包括高通在内的端侧AI参与者，如何携手合作伙伴加速终端侧AI普及、应用生态成熟，或将是决定多少用户会在“终端侧AI新元年”选择拥抱AI的决定性因素之一。