AI大模型领域近来依旧热闹非凡。最新报道，谷歌或将于今年秋季推出Gemini大模型，重新争夺AI头把交椅位置。meta则在7月份推出Llama 2，并有条件地开源使用。OpenAI亦推出网络爬虫工具GPTBot，筹谋GPT-5的训练。然而，在“吃瓜”一众AI大厂在“云端拼杀”的同时，也不得不对另外一个趋势给予关注——大模型正加速涌向设备端。

大模型向设备端延伸

年初，高通就在MWC 2023大会上发布了全球首个运行在Android手机上的Stable Diffusion终端侧演示。Stable Diffusion模型参数超过10亿，高通利用其AI软件栈对模型进行量化、编译和硬件加速优化，使其成功在搭载第二代骁龙8 移动平台的手机上运行。Arm也于日前推出Arm智能视觉参考设计，推进了AI大模型在终端与边缘侧的应用。参考设计不仅包括Arm Corstone-1000、Arm Corstone-300、Arm Mali-C55 图像信号处理器，还集成了安谋科技开发的玲珑VPU和周易NPU，并由安谋科技将Arm IP与安谋科技自研IP进行集成和验证。

手机厂商方面，彭博社爆料，苹果正在筹划“AppleGPT”。在第二财季财报电话会议中，苹果CEO库克承认，AI潜力巨大，但如何使用AI技术，需要深入思考。库克说，苹果已经将AI技术整合进了产品和服务，未来也将继续这一进程。在近日举办的小米年度演讲上，小米集团创始人、董事长兼CEO雷军表示，大模型是重大技术革命，小米必须全面拥抱。小米AI大模型最新一个13亿参数大模型已在手机本地跑通。小米旗下人工智能助手小爱同学开始升级AI大模型能力，在发布会当天开启邀请测试。

未来部署的重要趋势

云端部署是当前大模型的主流方案，但模型推理成本较高限制了其大规模推广。边缘计算相较云端计算实现了计算资源和服务的下沉，能够有效降低交互延迟、缓解数据传输的带宽压力，因此未来AIGC技术将呈现从云端向边缘端延伸的趋势。类似高通这样混合式AI为代表的计算模式通过云端和边缘端协同完成AI计算，较云端计算在能耗、性能、成本、隐私性等方面存在优势，是未来大模型部署的重要发展方向。

事实上，早在生成式AI、大模型技术爆发之前，AI需求已经呈现出向边缘侧设备端转移的趋势。比如在智能家居领域，边缘人工智能可以让智能家居设备在本地处理用户的语音指令和数据，实现更快速、高效的家居自动化。在工业物联网领域，将AI应用到工业设备中，可以实现智能监控、预测性维护等功能，提高工业生产效率和安全性。边缘人工智能甚至在医疗设备中开始得到应用，进行实时健康监测和智能诊断，提供更加个性化的医疗服务。相比局限于云端，边缘设备市场有着更广阔的想象空间。

软硬生态将迎重塑

随着AI大模型浪潮涌向设备端，从手机、笔记本电脑，到AR/VR、汽车和物联网终端等，都会因为这场变革迎来重塑，进而加速AI的规模化落地。首先从硬件上看，终端侧算力将是AI大模型应用落地不可或缺的一部分。由于云端算力不可能承载持续无限增长的庞大计算需求，就需要让更多算力需求“外溢”到终端，依靠终端算力来缓解这一问题。因此，更高的性能与低功耗将成为设备端芯片的需求。

大模型的出现将促使AI对芯片算力的需求变得更加强烈，这需要从提高算力密度和算力集成度等多个角度同时解决问题。芯片高功耗导致的散热等问题，也是芯片算力提升的主要障碍，导致大模型训练与推理的成本巨大。此外，以Transformer为代表的网络模型成为主流，大模型技术算法正有趋同的发展趋势。定制化的AI芯片难以满足AI产业的发展，通用性和可编程性变得越来越重要。

当然，软件上的变革也非常重大，通过改变人机交互的方式，大模型将重塑包括娱乐、内容创作、生产力在内的移动应用。总之，随着大模型加速涌向设备端，终端侧的生态亦将随之而变。