Python 爬 ehentai 发生了一些诡异的事情，特来求救

[RqPS6rhmP3Nyn3Tm]

本来我还在想， e 站直接把图片地址放在 html 里，连解析 JS 都省了，最多二十分钟搞定。现在想想，还是太年轻。

因为发生了一些很奇怪的事情。

• 墙内浏览器访问正常， Python 获取会报 connection reset by peer。我猜多半是墙的锅， ss 不方便断点调试我就挂了个 VPN ，果然错误没有了。很奇怪为什么浏览器不会 reset。

• 本来很快就写好了，挂 proxychains 测试的时候发现更诡异的事情，似乎 e 站会根据 IP 的不同返回不同的网页结构，比如这样 和这样的 ，不知道是什么原理。如果网页结构都会变的话，我也不知道怎么写 beautifulsoup 解析了……

咳，代码挂在 这里，能帮忙看一下那就最好了。

[hanqi7012]

h@h 是不是在国内不能运行了？

[Krime]

http://pan.baidu.com/s/1pLcQDHx
两年前还在学校用.net 时写的了，目前还能用。源码在另一台笔记本上没拷出来，新电脑也懒得装 VS 了。

[qnnnnez]

@hanqi7012 可以的，但是有可能下图片的时候被墙

补充一下，略缩图页面的 H@H Downloader 链接提供一个文本文件，里面有一些信息

[RqPS6rhmP3Nyn3Tm]

@UnisandK 感谢……明天研究一下，今天折腾这玩意实在是有点心累

[RqPS6rhmP3Nyn3Tm]

@UnisandK 哇靠，这 API 也太丑了吧，我都看不下去了

[zmj1316]

因为 eh 家有个 hath,相当于把图片分布到大量的用户机器上 serve 了，有可能你被分配到的那个 hath 用户的 ip 被墙了就 reset 了？

[RqPS6rhmP3Nyn3Tm]

@zmj1316 不，是主站 reset

[so898]

一整栋楼的绅士……虽然我也写过 ehentai 的抓取器……
那时候就发现 ehentai 这货返回的 html 会有不一样的，之前还以为是浏览器插件，后来发现要固定 user-agent 来抓
再后来尝试了浏览器插件来抓图……