Paddle Lite性能大提升！ARM CPU多场景端侧部署，直击AI产业应用

编程入门行业动态更新时间:2024-10-24 10:19:56

Paddle Lite性能大提升！ARM CPU多场景端侧部署，<a href=https://www.elefans.com/category/jswz/34/1761443.html style= 直击AI产业应用"/>

Paddle Lite性能大提升！ARM CPU多场景端侧部署，直击AI产业应用

随着芯片技术和边缘计算技术的快速发展，AI算法落地应用逐渐从服务器端走向移动端和边缘端。在L1～L4自动驾驶、无人机、智能家居、工业质检、新零售等行业场景中，怎么把目标检测、OCR、人流统计、语音识别等AI模型顺利地部署到端侧设备，并保证模型效果，在项目中至关重要。

智能辅助驾驶算法→ADAS

智能语音识别→小度音箱

“识万物”算法→手机百度

无人机跟踪算法→端侧硬件

人流统计算法→智能摄像头

人脸处理算法→好看小视频

注*：以上视频/图片引用来源注明见引用说明[1]

然而，现实中智能终端硬件种类繁多、内存资源和计算资源相对有限，要完成模型在端侧的部署，一个巨大挑战是AI模型推理速度是否满足业务要求。很多时候，开发小伙伴们对比了各种推理引擎速度后，费了九牛二虎之力做模型转换和精度对齐，终于将模型在端上跑起来了，可是速度还是不太理想，然后又对模型做量化、剪枝、蒸馏等一系列的尝试，最后仰天长啸“坑…死…了…怎么还是这么慢！”

今天我们给大家带来的新升级的轻量化推理引擎PaddleLite+模型压缩工具PaddleSlim正好可以解决上述端侧部署的痛点问题。

此次升级，轻量化推理引擎Paddle Lite通过多维度算子优化技术，性能有了大幅提高。经测试，算子性能在ARM CPU v7与v8架构下，推理速度最高分别可以提升23.09%和23.33%。

再有PaddleSlim非结构稀疏剪枝和INT8量化能力的加持，使Paddle Lite的推理速度更进一步。经测试，在轻量级分类、检测、分割模型上使用PaddleSlim非结构化稀疏后，Paddle Lite的推理加速达到20%～80%，部署模型体积减小22%～36%（精度损失0.2%～1.5%）；量化加速达到20%～50%，模型体积减少75%（精度损失0.2%～1.0%）。以PicoDet-ShuffleNet-m模型在骁龙835芯片上推理为例，通过PaddleSlim完成85%非结构化稀疏剪枝后，可以提升推理速度80%；使用INT8量化，可以提升推理速度35%。

话不多说，直接奉上开源代码实现👇

欢迎大家✨Star收藏，深入研究使用。

更好地使用Paddle Lite

在AI产业应用中，怎么将AI任务更好地落地到各种真实场景呢？Paddle Lite团队联合百度搜索产品研发团队、百度视觉技术团队，从通用目标检测、软硬一体的人脸终端方案、百度APP业务实战三个具体的场景出发，全面剖析AI开发（模型选型-训练-验证-转换-部署）全流程，详解产业落地中端侧部署中的核心技术。3月28日-3月29日每晚20:30-21:30，我们不见不散。

快快扫码关注起来。微信扫码报名课程，即可加入官方技术交流群，在这里您可以获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入！更多飞桨的相关内容，请参阅以下内容。

生态建设欢迎你

自Paddle Lite开源以来，小伙伴们陆陆续续将Paddle Lite应用到各行各业中。感谢可爱的小伙伴们伴随Paddle Lite的成长，给予真诚的反馈，并积极投入到Paddle Lite的项目建设中。同时，真诚地邀请每一位开发者朋友加入Paddle Lite开源项目建设中来，站上中国AI舞台，共舞世界AI蓝图。

图片数据引用说明

【智能辅助驾驶场景】

辅助驾驶图像：源于百度飞桨Paddle Lite

辅助驾驶硬件产品：

【无人机监测跟踪场景】

无人机数据：

端侧硬件：

【智能语音识别场景】

小度音箱产品：/

【智能人流统场景】

人流跟踪动图片段：数据来源于公开数据集：Milan A, Leal-Taixé L, Reid I, et al.MOT16: A benchmark for multi-object tracking[J]. arXiv preprintarXiv:1603.00831, 2016.

摄像头硬件：.html