爬虫挑战。。求支援

[gkiwi]

栗子：
http://www.yinhang.com/licaichanpin_gRrgLT98.html

以前一直觉得爬虫的难度可能在 ip ，频次，模拟鼠标操作等等，从来不觉得解析 html 是问题，但是这次是真给跪了。

网页上的 数字和标点 都是图片生成的，而且每次请求图片都不一样。

第一次遇见这种，如果爬不了，多问一句，有没有这样子的开源库可以拿来做防爬虫。。

[sohoer]

CSS 与 PNG 图片是一一对应的，只能通过 CSS 位置再切字符图片做 OCR 处理
这个 OCR 已经很简单了，转成位图多少个字符做多少个模板，(还可以使用相似度匹配算法，基本上 100%正确)
对字符做 OCR 后可以得到一张 CLASS 对应字符的表

[Rubbly]

20L 方法亲测有效...

[yixiang]

用 20L 方法，产品成立日期和起购金额之类数据是显示不出来的。

这部分是直接服务器传过来 css 和 html ，转换成图片之前的原始数据应该一开始就不在客户端。

不管怎样都要处理图片。

[WildCat]

OCR 感觉清晰度可以，训练下模型应该可以用（ wan ）

[sjlee]

这种黑白数字 OCR 是最简单的。以前我用 tesseract 试过，可行。

[icedx]

写着写着就厌倦了
https://file.io/z6QI7F
先用 binarization_spec()二值化图片
再用 cut_images(图片文件,css_parse_spec(对应 CSS)) 切图
然后 compare_picture(load_image(切好的小图))

[sunchen]

pHash 可以试试能不能简化图片识别

[gkiwi]

@domty 不想当人肉。。

[gkiwi]

@feather12315
@sohoer
@WildCat
@sjlee
@icedx
@sunchen

ocr 效果不好，不太懂图片预处理的事情，大家有思路么？

@icedx 链接挂了~

[gkiwi]

@pimin 这个思路棒，不过在我的场景下不适合，数据库索引就跪了。。

[hiboshi]

@pimin 将图片部分之间切成图片是可行，但是 很多时候 爬出来的数据时要做 查询的。

[hiboshi]

楼组

我觉得 可以 找出 css 里面的规律 然后 对应起来
http://b1r.cn/dicss/584vX.css

[sjlee]

@gkiwi

那些图片的数据貌似在渲染后网页上有固定位置，或者你可以把要爬的网页截屏，再把想要的数据抠出来，然后 OCR 就简单了。

[ysmood]

我直接 curl 就获取到内容了啊？不需要特殊处理就能拿到全部数据。它用图片混淆是为了防止人用鼠标复制内容的，不是为了防搜索引擎或爬虫的，这站点 seo 做的挺好的。

就是你想太多了吧？

[icedx]

@gkiwi 楼主 QQ 多少

[icedx]

https://drive.google.com/file/d/0B3Y1POZM1XkEOHNNZExJVUVfcjg/view?usp=docslist_api

[icedx]

用 phantomjs 或者 QWebkit 渲染页面

然后能拿到一个 css 地址
可以推导出含有字符图片的地址
先用 binarization_spec()二值化字符图片
再用 cut_images(二值化后的字符图片文件,css_parse_spec(对应 css)) 进行切图
然后用 load_image(切好的小图)) 得到一个 list
然后 compare_picture() 进行对比 得到一个 list
根据 list 包含的文件名 就能知道相应的 css ID 对应的是什么数字

[gkiwi]

@icedx

Q: base64.b64decode('MTUwNjA0MTAwMA==')

谢谢！看了你的代码，差异的地方在于 图片识别的我用的是 tesseract （效果不如预期），看你的是利用 ximage_str 直接计算图片二值化后的相似度，这个应该会好很多，毕竟取_max 至少是不会出现 tesseract 中识别不出啥的情况。明早起来我试试看！

[gkiwi]

@ysmood 仔细瞅瞅数据，可以看到 curl 拿到的，部分数字是没有的，文字都是存在的。他图片化的只有标点和数字。这样子对 SEO 和网站自适应都有好处

[RangerWolf]

楼主，如果提供识别率>90%的解析 API ，你愿意付费吗？