目前的位置: 首页 实验室新闻 正文

嵌入式实验室一篇论文被TPDS接收: 提出CNN推理加速的按需细粒度分区


《IEEE Transactions on Parallel and Distributed Systems(TPDS)》 主要关注并行和分布式系统研究领域的重要科学进展刊载,是CCF A类期刊。该期刊覆盖了并行和分布式算法,并行和分布式计算的应用,并行和分布式架构以及并行和分布式软件等方面的最新研究成果,是高性能计算领域中最具影响力的刊物之一。

湖南大学嵌入式与网络计算湖南省重点实验室一篇关于异构分布式设备环境下CNN推理加速的论文“OfpCNN: On-Demand Fine-Grained Partitioning for CNN Inference Acceleration in Heterogeneous Devices”被TPDS接收,在CNN推理加速领域的探索和创新获得同行认可。

48727

CNN推理加速领域中,主流模型分区方案粒度不足,也缺乏解决细粒度分区方案问题的算法。本文考虑到了CNN层的执行位置、并行性以及负责数据聚合和分发的设备的位置等因素,从而可以获得更细粒度的分区方案,并提出了一种基于flops和CPU负载的延迟预测模型(FCPM),可以准确预测CNN中卷积层和全连接层的计算延迟。基于多个虚拟机和真实机部署的实验结果表明,FCPM的最小准确率达到88%,与现有方案相比,本文划分方法可将推理速度提高1-2.54倍。

论文由实验室杨磊老师、郑灿(2021级硕士生)、沈肖圆(2019级硕士生)、谢国老师共同完成。


论文信息:Lei Yang, Can Zheng, Xiaoyuan Shen, Guoqi Xie, “OfpCNN: On-Demand Fine-Grained Partitioning for CNN Inference Acceleration in Heterogeneous Devices,” IEEE Transactions on Parallel and Distributed Systems (TPDS), 2023.



上一条:嵌入式实验室一篇论文被RTSS 2023接收:提出CAN-FD&TSN响应时间评估 下一条:嵌入式实验室分享ZVM:ZDS 2023技术报告分享第21篇

关闭

嵌入式与网络计算湖南省重点实验室
版权所有 © 2023 湖南大学