2024年3月,由湖南大学嵌入式计算省重点实验室(hnu-esnl)实验室主任谢国琪老师主持研发的Paddle Lite on Zephyr RTOS方案(即Zephyr RTOS对国产端侧AI推理框架百度Paddle Lite的支持)已合并进Paddle Lite官方社区。
Zephyr成为了首款被合入Paddle Lite的RTOS,以支持深度学习模型在实时系统场景中的部署。
PR链接:
https://github.com/PaddlePaddle/Paddle-Lite/pull/10443
Paddle Lite on Zephyr RTOS方案也得到了openEuler SIG-Zephyr、openEuler SIG-Embedded及Paddle Lite社区等开发者的支持。通过在国产主流嵌入式板卡Firefly ROC_RK3568_PC上对该方案的验证,结果显示Paddle Lite在Zephyr RTOS上的总体推理速度优于Linux,体现了轻量级实时操作系统在边端推理应用上的巨大潜力。Paddle Lite on Zephyr RTOS方案既满足了国产著名深度学习推理框架Paddle Lite需要RTOS进行实时推理的要求,又为Paddle Lite与国际知名实时操作系统Zephyr RTOS的开源生态各添加了一项重要支持。
Paddle Lite社区官方维护者恭喜hnu-esnl团队首次将RTOS合并到Paddle Lite上游,这一成就使 Paddle Lite 能够在开源 RTOS上运行(原文:Congratulations to the hnu-esnl team for being the first to merge RTOS into the upstream of Paddle Lite! This achievement enables Paddle Lite to run on the open-source RTOS, Zephyr)。
社区开发人员也认为这是一个不错的工作(原文:Zephyr is one of the most famous RTOS. This is a good job for Zephyr and Paddle Lite.),结合了Zephyr和Paddle Lite两大开源项目,可以让开发者具有实时操作系统推理需求时,拥有了一个不错的选择方案。
Paddle Lite是百度开发的一个端侧轻量化推理引擎,旨在帮助开发者在移动设备、嵌入式设备和物联网设备等各类IoT设备上高效地部署深度学习模型。hnu-esnl团队将Paddle Lite移植到Zephyr实时操作系统,并对其进行了性能测试和功能验证。开发者可以在ROC_RK3568_PC的板卡上(RK3568 SoC,基于Cortex-A55处理器)进行一些经典模型的推理。具体的使用教程见如下链接。Paddle Lite on Zephyr:https://github.com/hnu-esnl/PaddleLite-on-Zephyr
作为嵌入式系统开源推广的中坚力量,hnu-esnl团队将继续发挥自身的学术优势和技术实力,在促进自身发展的同时,助力国际、国内嵌入式开源工作的融合和推广,并基于技术成果回馈各个开源社区,为构建一个开放、共享、协作的国内外嵌入式开源生态环境做出贡献。