发新帖

TensorFlow Lite 模型量化的问题

[复制链接]
1181 6

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
Tensorflow 已经提供了对模型进行量化的工具 graph_transform,将浮点数量化为 8 位整型的话,模型的大小会缩小为原来的 1/4 左右,在移动端部署的时候就能有效控制 APK 的大小。
对于 TensorFlow Lite,并没有提供直接量化模型的工具,官方提供的方案是在训练的过程中,利用 create_training_graph() 和 create_eval_graph() 在 Graph 中加入 FakeQuant 节点(参考这里),然后用 toco 工具在转换 pb 文件为 tflite 文件的时候利用 FakeQuant 节点中记录的信息进行量化,我每次都是在最后一步转换 pb 为 tflite 的时候出错,提示 "xxx is lacking min/max data, which is necessary for quantization"。不知论坛里的各位有没有成功量化 TensorFlow Lite 模型的经验,如果有,恳请分享一下。
我知道答案 回答被采纳将会获得10 金币 + 16 金币 已有6人回答
本楼点评(0) 收起

精彩评论6

ZMikkelsen  TF荚荚  发表于 2018-6-1 21:41:24 | 显示全部楼层
本帖最后由 ZMikkelsen 于 2018-6-1 21:47 编辑

www.tensorfly.cn看看API
本楼点评(1) 收起
舟3332  TF芽芽  发表于 2018-6-8 21:39:33 来自手机  | 显示全部楼层
是不是在转换的时候要多给一个参数?
本楼点评(0) 收起
Yanbo  TF荚荚  发表于 2018-7-3 10:48:47 | 显示全部楼层
转换时要给出下面的参数
--default_ranges_min=-1.0 --default_ranges_max=1.0
本楼点评(0) 收起
衣农  TF荚荚  发表于 2018-7-3 11:03:56 来自手机  | 显示全部楼层
转换时要给出下面的参数
--default_ranges_min=-1.0 --default_ranges_max=1.0
本楼点评(0) 收起
快到碗里来  TF荚荚  发表于 昨天 18:02 | 显示全部楼层
请问你现在量化成功了吗?还有你从哪里得知要量化lite文件需要使用create_training_graph() 和 create_eval_graph() 加入FakeQuant 节点.因为我看别的文档似乎并没有这么说.
本楼点评(0) 收起
舟3332  TF芽芽  发表于 10 小时前 | 显示全部楼层
post training quantize 貌似也支持了。可以试试。
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

快速回复 返回顶部 返回列表