跨境网络空间安全教育部工程研究中心在著名国际期刊

Pattern Recognition上发表最新研究成果

近日，云南大学跨境网络空间安全教育部工程研究中心周维教授团队的论文“An Efficient Training-From-Scratch Framework with BN-based Structural Compressor”被模式识别领域的著名国际期刊Pattern Recognition成功接收，作者为云南大学的胡甫一、王汝欣^*、周维、高嵩，以及昆明物理研究所的张晋、林宇。

随着深度学习技术的快速发展，卷积神经网络（CNN）在计算机视觉领域发挥着越来越重要的作用，在图像分类、目标检测和语义分割等任务中都取得了显著的成果。然而，随着计算机视觉任务复杂性的不断增加，以及大规模数据集的不断涌现，卷积神经网络的模型规模也逐渐增大，使得计算资源需求和模型部署都面临着巨大的挑战。为了将卷积神经网络部署到资源受限的移动设备或嵌入式设备上，利用网络剪枝技术对卷积网络中冗余的卷积核进行剪枝是一种有效的方法。

值得注意的是，当前的网络剪枝方法主要遵循一个渐进式的三阶段剪枝训练流程，首先预训练一个过参数化的网络模型直到收敛，然后基于各种剪枝策略修剪对于模型性能贡献较小的连接或网络结构，最后微调剪枝后的轻量化网络以恢复因剪枝而损失的性能。当面对大量的硬件设备或应用场景时，这种剪枝流程将不可避免地执行重复的剪枝过程，计算成本高昂且效率低下。因此，新型网络剪枝框架的探索和构建引发了模型压缩领域的研究者们的极大兴趣。

图1 动态剪枝框架

论文首先提出了一种新颖高效的动态剪枝框架，该框架可以实现在网络训练过程中实时衡量模型的结构冗余性，动态收缩冗余的网络通道宽度，并在训练过程结束时自动获得一个性能良好的轻量化网络模型，而不需要保留预训练和微调过程。与传统的剪枝方法不同，论文提出了一种聚焦于结构感知的剪枝算法，致力于探索结构优化和网络剪枝之间的内在联系，并将网络剪枝任务建模为减少模型结构冗余的过程，以实现在给定的约束条件下最大化模型表达能力。论文还在动态剪枝框架中引入了稀疏正则化方法，探索正则化方法对于动态剪枝的效果影响。实验证明，论文提出的动态剪枝框架可以有效降低网络模型的结构冗余性，有助于动态探索性能良好的轻量化网络模型，降低网络剪枝过程的计算成本。

图2 自蒸馏框架

其次，为了确保训练的稳定性并提升获得的轻量化网络模型的泛化能力，论文还引入了一种精简高效的自蒸馏框架，促使模型在训练和剪枝过程中动态生成平滑标签进行知识提取，提高剪枝得到的轻量化网络模型的表达能力。论文中引入的自蒸馏框架，可以实现在模型训练阶段的每一次迭代中自动生成平滑标签，从而在下一次迭代时为训练样本提供最即时的蒸馏操作。自蒸馏方法的应用不仅节约了内存成本，还能避免引入额外的预训练教师模型，有效提高了蒸馏效率。更重要的是，论文提出的动态剪枝框架和自蒸馏框架天然契合，便于在网络剪枝流程中实现部署和并行化。

大量实验表明，论文提出的动态剪枝框架和自蒸馏框架可以有效降低不同卷积神经网络模型的结构冗余性，并在图像分类任务上实现了具有竞争力的实验效果，为后续的新型网络剪枝框架的探索和构建提供了良好的思路和方向。

Pattern Recognition是模式识别领域公认的顶级国际期刊之一，属于中科院一区TOP期刊，该期刊涵盖了模式识别、人工智能和图像处理等多个方面的原创性研究成果，在模式识别领域具有极高的声誉和学术影响力。

跨境网络空间安全教育部工程研究中心供稿

2024年5月6日