在国外放的爬虫撞墙也挺郁闷的。。。

[laoyuan]

爬amazon.cn的定向爬虫，这几天就感觉不大对，查了下一看爬到的都是0字节，手工调试发现原来是撞墙了，就是这个亚马逊的页面：

http://www.amazon.cn/JavaScript%E5%8A%A8%E6%80%81%E7%BD%91%E9%A1%B5%E7%BB%8F%E5%85%B8%E5%AE%9E%E4%BE%8B%E6%95%99%E7%A8%8B-%E9%99%88%E4%BA%89%E8%88%AA/dp/B00114B83W

感觉没什么敏感词啊，陈争航这个人名除了写这本书什么也没干，是良民啊~

[mornlight]

你可能得先排除一下是不是你的爬虫被amazon屏蔽了

[Livid]

是的，这个页面确实在国外点开是 connection reset

[efi]

wtf

[66beta]

难道是因为评论里有“卓越亚马逊”，哈哈哈

[wesley]

“动态网”才是真真的G点

[efi]

你URL里面有一个关键词，你可以自己测试。我刚发出来被删了，这不是深度检测的关键词。不能发的能不能把规矩说明，不要偷偷删。

[laoyuan]

@Livid
去掉中间的slug就没问题了 http://www.amazon.cn/dp/B00114B83W
所以不是页面内容触发的，就是url触发，而中间那段decode过来完全不知道痛点在哪里：JavaScript动态网页经典实例教程-陈争航

[halczy]

这个简介是谁写的...
JaVascript JavaScljpt JavaScriDt

[laoyuan]

@wesley 死了个明白终于

[laoyuan]

@halczy 这必须是OCR软件干的啊

[Livid]

@efi 是的。我删除了你的那条。但是在楼主的 notifications 中还是可以看到的。

[ck65]

@laoyuan 云力态网

[9hills]

你可以测试么：
http://www.yahoo.com/%E5%8A%A8%E6%80%81%E7%BD%91

[laoyuan]

说实话弄书最容易碰到敏感词了，什么时候阿里云上SSD我就把网站搬回国内了

[laoyuan]

唉，标题有这个词的亚马逊图书条目有267个。。。

[laoyuan]

@efi @ck65 @wesley

高中数学联赛备考手册 这个也撞墙，G点在何处？

[wesley]

@laoyuan 学联

[laoyuan]

又发现一个新的 url 触发：看中国

[laoyuan]

亚马逊中国全站 https 了，这个问题貌似不存在了