51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

模型压缩

4.2. 大模型学习笔记-模型压缩之模型剪枝

4.2. 大模型学习笔记-模型压缩之模型剪枝

厉飞雨 阅读(48) 评论(0) 赞(2)

前面一张我们提到过,模型压缩主要分为以下四种方法:剪枝 、知识蒸馏 、量化 和低秩因子分解 。同时,同时也分享过低秩因子分解技术,那么今天就来谈谈另一项模型压缩技术-模型剪枝(Pruning)。 在整个模型压缩的技术里面,模型剪枝的应用没有其他的方法那么广。是因为这种方式相比其他的方法难度更高,会更加损害模型的性能。 模型剪枝是一种减少神经网络参数量和计算量的模