基于MB-K-Means的网络模型参数压缩

详细信息    查看全文 | 推荐本文 |

	作者：陈华裔 关键词：网络参数 ; MB-K-Means算法 ; 卷积网络 ; 参数压缩 中文刊名：DNZS 英文刊名：Computer Knowledge and Technology 机构：广东工业大学; 出版日期：2019-02-25 出版单位：电脑知识与技术 年：2019 期：v.15 语种：中文; 页：DNZS201906068 页数：2 CN：06 ISSN：34-1205/TP 分类号：163-164

摘要

深度学习目前是计算机领域研究热点之一,而神经网络是深度学习不可缺少的一部分,然而深度网络模型参数巨大,导致迁移学习困难,硬件需求条件巨大。该文提出了一种基于MB-K-Means算法对权重进行聚类,并进行量化的压缩方法。首先,对模型的参数权进行剪枝,并进行稀疏训练恢复其精度。第二,基于MB k-means算法进行权重聚类,然后权重量化共享。利用算法能够增加网络的训练速度,在深度卷积神经网络上进行参数压缩,减少网络模型大小。实验表明,在ImageNet-1000数据集上,AlexNet模型缩小了31倍,VGG模型的缩小了45倍。
        

引文