TensorFlow 的 TFRecord 和 QueueRunner 简介

[lufficc]

如何将数据集转换为 TensorFlow 的 TFRecord 格式呢？为什么要转换为 TFRecord 格式？如何使用文件队列？如何生成 Batches ？

TensorFlow 的 TFRecord 和 QueueRunner 简介

[Boristype000]

原来那个 tf.contrib.data 在 1.4 并入 tf 变成 tf.data 的数据预处理模块楼主用过吗？好多地方都推荐用这个

[lufficc]

@Boristype000 挺好用的，https://www.tensorflow.org/versions/r1.4/programmers_guide/datasets

[inflationaaron]

这种 feed data 的方法虽然性能最好，但是很不灵活，想要在 epoch 间切换到另一个 dataset 需要用 tf.where 之类的图内条件切换。这也是 TensorFlow 静态图的缺点之一。

[lufficc]

@inflationaaron TensorFlow 动态图机制 Eager Execution，10.31 号出的，你怎么看？

[inflationaaron]

@luffylcc 挺好的啊，给 TensorFlow 使用者提供了另一种选择。当然我觉得对于动态图有需求的早就转到 PyTorch 了。

[zsneoks]

我使用过，无非就是流化输入吧。有相应的 batch 接口啊，还可以 shuffle，可以参考源码里的 cifar10 的示例。