Quantization and training neural networks for efficient integer-arithmetic-only inference

神经网络量化与训练优化

• 高效整数算术推理的神经网络量化与训练（Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference）----2017

  • 摘要

  • 1. 引言

  • 2. 量化推理（Quantized Inference）

  • • 2.1. 量化方案（Quantization scheme）
    • 2.2. 整数矩阵乘法---仅使用整数运算的矩阵乘法
    • 2.3. 零点的有效处理---对零点进行高效管理
    • 2.4. 典型融合层的实现--实现一个标准的融合层

  • 3. 使用模拟量化方法进行训练---采用模拟量化的方式进行训练

  • 3.1. 学习量化范围---确定量化的区间

  • 3.2. 批标准化折叠---批标准化的合并处理

  • 实验部分

  • • 大型网络的量化训练---4.1. Quantized training of Large Networks
    • ResNets
    • 在ImageNet上的Inception v3模型
    • 移动网的量化---4.2. Quantization of MobileNets
    • • ImageNet数据集