使用 AI 来识别文件格式

[kamen]

思路:

就我所知，所有文件格式都有着特定结构的数据，这样就有了某种特征，那是否能够提取其特征，再通过 AI 来识别特征，以此来识别文件格式?

详细过程:

例如有一个未知格式的文件，

我们以二进制来读取这个文件， 每隔 X 位换行，不足一行填 0， 这样就能组成一个 X 为宽的 01 阵列。

将 0 转成白色矩形，1 为黑色矩形，我们就能得到一个充满小的黑色正方形的图像，而这份图像就存在某种特征。

我们以各种文件格式的文件生成的图像训练 AI，并提取识别其图像特征

再与未知格式的文件对比，发现符合纯文本文件的图像特征

于是我们可以用 atom 打开它,atom 识别其为 python 源代码文件

天啦噜，原来是 py 文件啊!!!!

[kamen]

思路不收费，但用于商业的时候请记得给我一个激活码

[feather12315]

不都是直接看 magic number ？

[quake0day]

当然可以，但是为啥一定要转换成为图像来识别呢？

[Pyjamas]

https://en.wikipedia.org/wiki/List_of_file_signatures

[kamen]

@feather12315 虽然我不懂什么魔法数字，但是你这种方法肯定要自己提取魔法数字吧，不知道你的速度有没有 AI 识别图像的速度快?

[tyfulcrum]

@kamen https://en.wikipedia.org/wiki/List_of_file_signatures

[tyfulcrum]

@kamen https://en.m.wikipedia.org/wiki/File_format#Magic_number

[kamen]

@quake0day 避免一个可能现有格式识别的局限，不能识别出新现世的文件格式，需要重新写代码，而这个只需增加训练数据罢了

[kamen]

@tyfulcrum 那如果指纹很难识别呢？
我这个想法肯定不能完全代替同类程序，但肯定解决了某些需求
比如私有文件格式识别

[xupefei]

照这个思路下来，说不定训练出的 AI 决定只用了这张图的前 32 个点，因为那里是 Magic ……

[GooMS]

那么有什么场合是需要绝对文件类型正确？

[Pyjamas]

> 所有文件格式都有着特定结构的数据，这样就有了某种特征

这个所谓的某种特征就藏在那几个字节里，至于文件后面的内容，我觉得都可以看作是随机字符串了，所以对着那几个字节有什么好上 AI 的

[kamen]

@Pyjamas 听说文件开头有特征? 纯文本了解一下

[Pyjamas]

@kamen 那就等于丢了一大堆随机字符串给 AI

[kamen]

@xupefei emmm，我可不敢肯定所有文件特征都在开头，比如我设计的一种莫须有的私有格式文件，它的特征到处都有

[kamen]

@Pyjamas https://zh.m.wikipedia.org/zh-hans/Unicode

[kamen]

@GooMS 我要知道了，直接靠这个小赚一笔了

[xupefei]

@kamen 世界上成千上万种格式特征都在头部，你一种格式大概会被当作噪音忽略。

[xupefei]

@xupefei #18 你可以给一个函数考虑文件中间的特征，但这个函数很可能会对其他文件判断的正确性造成影响。
说白了就是，大家都把特征放在头部，你不放，那是你设计有问题。

[kamen]

@xupefei 你可能弄错了一件事，我都被你绕进去了，格式描述能成为特征，但数据就不能成为特征了吗？太绝对了吧。