当我们接近 Nvidia GTC 时，值得注意的是，镇上还有另一个玩家。或者城南，在圣地亚哥：高通。十多年来，该公司一直在积累人工智能专业知识和技术，我们相信其在人工智能硬件和软件方面领先于移动竞争对手。该公司拥有广泛的 SoC 系列，共享核心 AI 加速器技术，包括新的
我第一次对高通人工智能感兴趣是在2017年该公司在旧金山赞助的一次午餐会上。工程师们似乎非常兴奋地谈论了移动骁龙上的人工智能，以及后来成为CloudAI 100的东西，后者在2020年推出时拥有约400 TOPS，功率仅为75瓦。在低功耗下，这是惊人的 AI 性能。事实上，它仍然是市场领导者。让我们看看为什么我们认为高通现在在边缘推理处理方面处于领先地位。
最近，我与高通公司产品管理高级副总裁齐亚德·阿斯加尔(Ziad Asghar)讨论了高通公司的人工智能战略和产品。高通公司认为，目前在云上进行的大部分人工智能推理将迁移到边缘设备。毕竟，如果边缘设备有足够的处理能力和内存来完成这项工作，那么当您可以在已经拥有的设备上运行工作时，为什么要在 CSP 的基础架构上花费时间呢?它是免费的，对吧?Ziad甚至预测，目前只能通过Azure云获得的Microsoft Co-Pilot等AI应用程序最终将在设备上运行!
但是，让大型语言模型在手机或汽车 SoC 上运行不仅仅是简单的编译和运行。您需要减小模型的大小以适应内存(量化)。您需要修剪网络以提高性能(收获稀疏性)。使用压缩可以进一步减小网络大小(MX6 压缩)。推测解码等新技术可以通过并行使用两个 LLM 来加快文本时间;一个快速生成可能的答案，一个更完整的答案来检查该答案。这些都是高通在骁龙和Cloud AI100上研究和部署的领域。
总的来说，以下是高通在人工智能处于边缘地位的几个原因。
人工智能专用硬件：高通骁龙系列处理器包括专用的人工智能引擎(如六边形DSP)，旨在有效处理人工智能和机器学习任务。这样可以更快地在设备上处理 AI 任务，而无需将数据发送到云端。
能源效率：高通的处理器旨在提供高性能，同时有效管理功耗。这对于电池寿命和热管理是重要考虑因素的边缘 AI 应用至关重要。
在移动设备中的广泛采用：高通的骁龙处理器广泛用于各种智能手机和设备。这一客户群推动了一个强大的生态系统，包括针对高通硬件优化的开发人员和应用程序。
AI软件工具和SDK：高通为AI开发提供全面的软件支持，包括AI引擎和面向开发者的特定SDK。这种支持简化了 AI 功能与应用程序和服务的集成。为此，高通在今年的CES上推出了AI Hub;稍后会详细介绍。
但是，让我们从性能开始。良好的性能只是 AI 之旅的开始，但如果没有它，您将无处可去。
Tom's Hardware和 Wccftech 发表了文章(链接如下)，讨论了展示 Snapdragon X Elite 在单线程、多线程 CPU 任务和 AI 工作负载中的性能的基准测试。希望我们很快就会看到一些 MLPerf 基准测试。
以下是一些关键点：
AI性能：根据高通的基准测试，骁龙X Elite的Hexagon NPU拥有45 TOPS(每秒万亿次操作)的性能，在AI推理方面超过了英特尔和AMD的产品。骁龙 X Elite 的 NPU 在使用 UL Procyon 基准测试的 AI 推理任务中明显优于英特尔芯片
CPU 性能：骁龙 X Elite 在 Geekbench 和 Cinebench 等基准测试中也展示了与 Intel Core i7 和 AMD Ryzen 芯片相比的竞争性 CPU 性能。与 Apple M3 相比，X Elite 的速度提高了 21%。
Cloud AI 100 的性能和能效吸引了希望以更低的成本和功耗运行推理处理的合作伙伴，包括 Amazon AWS、HP Enterprise、Dell 和 Lenovo。晶圆规模引擎 3 的发明者 Cerebras 本周宣布，他们也将与高通合作，并利用该平台为其客户实现 10 倍的成本优势。
我们注意到，X Elite 使用了由 Nuvia 设计的全新内核，高通于 2021 年收购了该内核。我们预计这个新核心将很快用于未来的数据中心和移动设备。我们还应该指出，X Elite 虽然是 AI PC 时代的出色芯片，但对于 Windows 应用程序来说，还有一座巨大的软件山需要攀登。
Qualcomm AI Hub 是专为在高通骁龙和其他平台驱动的设备上工作的开发人员设计的资源。它是开发人员访问和利用设备端 AI 开发工具的中心位置。以下是其主要功能的细分：
AI模型库：该中心提供了超过 75 个预先优化的 AI 模型的集合。这些模型涵盖了各种任务，如图像识别、对象检测、语音处理等。开发人员可以轻松地将这些模型集成到他们的应用程序中，从而减少开发时间和精力。
专注于设备上的 AI：AI Hub 强调设备上的 AI，其中 AI 处理直接发生在设备本身上，而不是依赖云。这种方法具有更快的响应时间、更好的隐私和更低的对互联网连接的依赖等好处。
性能预优化：该中心提供的 AI 模型经过专门优化，可在高通处理器上高效工作。这种优化确保了平滑的性能和设备资源的高效利用。
可及性：Qualcomm AI Hub 使这些模型在多个平台上可用，除了它们自己的平台之外。开发人员可以在 Qualcomm AI Hub 本身、Hugging Face 和 GitHub 上找到它们。
总体而言，Qualcomm AI Hub旨在通过提供为设备端AI量身定制的预优化模型和资源，简化和加速在Qualcomm Snapdragon和其他平台上运行的设备的AI驱动应用程序的开发。
随着高通的不断发展，他们将人工智能视为未来的核心差异化因素。人工智能可以帮助从摄影到个性化生产力服务的一切。凭借自己的内部长期创新研究组织和可靠执行计划的 SoC 团队，高通将成为边缘 AI 硬件和软件的领导者。AMD和英特尔没有参与移动领域，苹果似乎甚至没有意识到一场人工智能革命已经在进行中。
高通公司必须为Windows on X Elite制定并执行一个成功的生态系统战略，但Microsoft可以提供帮助。没有人愿意在仿真模式下运行应用程序，至少不会持续很长时间。
虽然英伟达是迄今为止数据中心人工智能领域的领导者，但我们相信高通在边缘领域处于领先地位，那里正在采取很多行动。一些非常酷的手机已经上市，以展示边缘人工智能的价值。
