Bert分类器模型的量化答案

【问题标题】：Quantization of Bert Classifier ModelBert分类器模型的量化
【发布时间】：2020-11-11 19:42:03
【问题描述】：

我目前正在尝试量化一个 bert-classifier 模型，但遇到了一个错误，我想知道目前是否支持这一点？为清楚起见，我问的是 tensorflow-model-garden 中的 BERT 分类器超类是否支持量化？提前感谢您的帮助！

【问题讨论】：

【解决方案1】：

如果您对在资源受限的边缘设备（如手机）上运行类似 BERT 的模型感兴趣，量化标准 BERT 分类器可能不是一个好方法。对于您的具体问题，我相信答案是“不，不支持标准 BERT 的量化”。但是，更好的答案可能是使用为边缘用例创建的较小的 BERT 类型模型之一，例如 MobileBERT：

以上链接包含用于微调然后转换为 TF Lite 格式以便在设备上运行的脚本。

【讨论】：