AI手机、AIPC……随着端侧AI应用逐步落地，AI正成为后续高端消费电子产品的必备功能。市场调查机构Counterpoint Research预测，2023-2027年，全球高级AIPC销量复合增速为115%，AI手机销量复合增速为65%。

　　而随着端侧AI产品的快速增长，应用于端侧、边缘侧的AI算力芯片NPU（神经网络处理单元）或将逐步起量。NPU能够更高效率、更低能耗地处理人工神经网络、随机森林等机器学习算法和深度学习模型，被认为是更适合边缘侧、端侧的处理器，与GPU、CPU共同构成当前的AI计算底座。

　　端侧AI应用加速落地

　　2023年，云端大模型开始在行业层面展开应用，但智能终端如手机、PC、汽车等AIoT设备，无疑是通用人工智能更广泛的应用载体和场景。

　　国内AI算力公司爱芯元智创始人、董事长仇肖莘近日在2024世界人工智能大会“芯领未来丨智能芯片及多模态大模型论坛”上表示，“大模型要想真正落地，一定是落到云边端三级结合的方式，一定要真正落到与日常生活息息相关的硬件设备里。”

　　此前，商汤（00020.HK）曾在2023年年报中表示，2024年将是端侧大模型应用的爆发之年。商汤联合创始人、首席科学家王晓刚解释称，成本、数据传输延迟、数据安全与隐私等几个重要问题，都可以通过端侧AI或云端结合来解决。

　　“凭借在成本、隐私、延时性、可靠性等方面的优势，端侧AI发展会成为全球趋势，这也意味着大模型正式进入了轻量化时代。”大模型厂商北京面壁智能科技有限责任公司（简称面壁智能）副总裁贾超也在上述论坛上表示。

　　事实上，在2024年上半年，端侧AI应用已加速落地。苹果在2024年WWDC发布会聚焦Apple Intelligence，公布了其应用在端侧AI的系列产品，端侧+隐私的技术处理方式获得市场认同；安卓系列手机应用AI化也在持续推进，模型侧各厂商均推出自主研发的边缘端模型产品，如VIVO蓝心大模型、OPPO安第斯大模型等。

　　根据Counterpoint Research，2024年一季度，全球具备GenAI功能的手机市占率提升至6%，较上季度1.3%大幅提升，AI功能手机渗透率持续提升。

　　“在中国做产业往往需要规模化，这就需要对于成本和应用的全流程进行充分考量。目前国内智能设备有几十亿（台），比如智能手机、智能眼镜、智能音箱、智能电视、智能车舱等，如果都接上大模型，就能实现应用边际成本的大幅降低。”商汤COO骆静日前在接受第一财经专访时表示，中国市场的先天优势在于大众对于人工智能的认知和接受度较高，容易接受AI产品，而产品一旦落地就会快速推开。“预计端侧AI产品明年上半年就会开始快速推广。”

　　NPU更适合端侧、边缘侧部署

　　“大模型部署到端侧时，对芯片的算力、存储、数据传输都有明确要求，要求这些芯片能更好地支持Transformer、Diffusion等架构。”王晓刚表示。

　　相比于在云端用GPU部署Transformer大模型，在边缘侧、端侧部署Transformer的最大挑战来自于功耗。因此在端侧和边缘侧，GPU并非最合适的架构。

　　“找到适合的端侧芯片和模型来服务端侧、边缘侧场景将是未来一个重要的方向。”骆静告诉第一财经。

　　贾超在上述论坛上表示，企业开发端侧大模型需要算法侧和芯片侧的“双向奔赴”，端侧模型用端侧芯片，在用户场景上高效落地，才能给用户带来最极致的体验。

　　“Transformer是现在所有大模型的基础，它本身的基础架构也是固定的，在这种基础最原子层架构固定的情况下，DSA架构是比GPU更优的架构。对于AI推理芯片，尤其是在边缘侧、端侧部署的推理芯片来说，DSA架构芯片的运算效率、能量消耗优于GPU。”仇肖莘表示。

　　NPU就是基于DSA领域专用架构技术的处理器，它采用“数据驱动并行计算”的架构，在电路层模拟人类神经元和突触，特别擅长处理视频、图像类的海量多媒体数据。

　　区别于CPU、GPU所遵循的冯诺依曼架构，NPU能够通过突触权重实现存储计算一体化，提高运行效率，因此比GPU更擅长推理，且NPU芯片设计逻辑更为简单，在处理推理工作负载时具有显著的能耗节约优势，因此NPU可以作为在AI计算效率和功耗之间的平衡方案。

　　“NPU跟CPU、GPU一样，都是整个计算架构的一部分，是计算架构里边异构的处理器，用以实现不同的功能。GPU原来是专门为图形渲染做的，更像是张量计算使用的一个处理器，而NPU更像是一个原生的AI计算处理器，CPU则是另外一个处理器，这三个处理器加起来构成了AI的一个计算底座。”仇肖莘在接受第一财经专访时表示，“实际上，NPU在GPU的基础上更近了一步，它的灵活性不如GPU，但它的好处是能效比非常高，更适合边缘侧、端侧。”

　　NPU渗透率提升，成本是关键

　　NPU适合广泛部署在端侧、边缘侧的重要原因，也在于端侧与边缘侧需要性价比，需要在成本可控的前提下提供AI能力。仇肖莘认为，如何以低成本的NPU去实现AI的价值，是实现AI普惠的关键。

　　“现在自动驾驶很火热，但一个显而易见的问题是，到底有多少车能够用得起这个功能？如果一套解决方案花费在1万元人民币，可能10万元以下的车就用不起；如果能够把它的整个成本降到5000元以下，或者3000元，占整车成本的比例就会低很多，普及也会更快一些。”仇肖莘称，现在有一些高端手机和新出的AIPC已经搭载了NPU，但价格确实比较贵，要把NPU的成本降下来，需要达成规模效应，现在量没有起来确实很难降价。

　　仇肖莘认为，从今年开始，NPU的需求，或者说端侧AI芯片的需求会是一个快速上涨的趋势。“从我们自己客户的需求来看，他们的预测都会比原来更高。”