请教，需要写一个 Python 脚本，主要用来校验数据库导出文件的格式是否正确，比如导出文件是否按照表的各个字段约定，编码有没有异常字符，这样的需要哪些包呢？

[jahan]

如题，谢谢。

[Trim21]

这个大概可以? https://wtforms.readthedocs.io/en/latest/

[jahan]

现在主要是大量的数据导出文件，很多入库时候发现错误，想通过脚本验证下数据是否能够顺利入库。

[jahan]

@Trim21 看起来很复杂。

[binux]

你需要定义什么是正确，这就够你受得了

[NoAnyLove]

用的什么数据库？遇到这种问题，我一般的解决方法是，建个零时的数据库，直接导入看效果，比解析格式什么的简单多了

[jahan]

@NoAnyLove DB2;
表太过巨大了，合计表导入都要 4T,要不然临时表是个好办法。。
导入了发现很多因为编码问题或者出现了异常字符，失败。
而且有的是增量，处理起来很麻烦。
曾经尝试 split 文件到小文件，比如 50 万行一个文件，结果发现有些文件一分割就乱码了。
而这种文件基本上导入也有问题，但是如果打开看，基本看不到有什么不同。用 readline 来看，基本是遇到了不是 utf8 的字符。

[PythonAnswer]

找出经常出现的编码种类。你这个库，不会用到超过 5 种以上的编码吧。然后再想办法。

[jahan]

@PythonAnswer 标准编码是 Utf8，其他的字符都是非法。怎么找到这些非法字符？ readline 读到非 utf8 就报异常了。

[BOYPT]

@jahan #8 那就不要 readline 呀，直接 read 进去一段数据，然后尝试按 utf8 decode，如果出现异常就是有问题了。

[PythonAnswer]

报异常时，用其它编码接住啊

[NoAnyLove]

按照 bytes 读入，然后尝试从 utf-8 解码是一个方法，不过有个问题是，有可能可以解码，但是解码出来的字符不一定是有意义或者能够导入数据库的。

[jahan]

@NoAnyLove 是。一旦出现，正行就不行了。

[jahan]

@NoAnyLove 有没有办法把这一行移植出到其他的文件，而不导致下一行乱码？
觉得没有找到文件会出现乱码的原因，因为数据是其他公司过来的

[NoAnyLove]

@jahan 理论上可以，但是不确定按照行来读是不是一定能够解析成功。你最好先找到一个出错的地方再根据出错原因来测试