51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

学习笔记

4.2. 大模型学习笔记-模型压缩之模型剪枝

4.2. 大模型学习笔记-模型压缩之模型剪枝

厉飞雨 阅读(102) 评论(0) 赞(7)

*点关注不迷路!* 前面一张我们提到过,模型压缩主要分为以下四种方法:**剪枝** 、**知识蒸馏** 、**量化** 和**低秩因子分解** 。同时,同时也分享过低秩因子分解技术,那么今天就来谈谈另一项模型压缩技术-模型剪枝(Pruning)。 在整个模型压缩的技术里面,模型剪枝的应用没有其他的方法那么广。是因为这种方式相比其他的方法难度更高,会更加损害模型的性能。 模...