数字公司搞“分布式爬虫”？

[ihacku]

最早看到的是7月18号这条推 https://twitter.com/quakewang/status/225773315527176193

‏@quakewang
发现网站日志里面出现了一些奇怪的404错误，以为是代码写错导致用户误点击，结果查了一圈发现是奇虎的爬虫，问题是这些链接是非公开，猜测是用户使用了360浏览器，然后360收集数据供qihoobot去爬，真是太恶心了

然后是接下来看到百度工程师8月31号的微博 http://weibo.com/2246954235/yzGrucOxV

接下来这条今天看到的就有点那啥了 http://weibo.com/1378379264/yzV5y1ftw

公司内部网站(需要vpn+动态口令才能访问)也被360抓了,这是怎么回事

[skydiver]

360只是学的微软而已。微软也通过IE和必应工具栏抓取用户浏览数据 http://www.williamlong.info/archives/2513.html

[Mac]

@skydiver 两码事，用客户端反馈客户浏览的URL，然后再用蜘蛛抓这个擦边球可以有。但LZ的第二个例子，这不是擦边球的问题了，这完全是用客户端上传网页数据，客户端就是蜘蛛了，这问题就大发了，所有的加密访问都成了摆设了。

[jay_chiu]

@Mac 没看明白怎么不一样了。应改是一样的，不是客户端上传网页数据，也只是反馈URL，让蜘蛛来抓取。
============
百度联盟的广告是不是很精确，你看过什么页面，他就会有什么广告显示，这是什么原理？

[skydiver]

@Mac 刚才没注意第二个例子。不过看了一下，第二个例子还没有得到证实，截图也没有，不清楚抓取的方式。。。等360的回应吧

[CoX]

第二个微博已经删除了，这是啥情况？

[Mac]

有意思了，第二条删了，这个就有点那啥了，360的人还回复过这条微博，证实情况存在，在查原因。

[crabhit]

@jay_chiu 可能会track你在百度联盟网站的访问记录 挖掘你的兴趣 比如你逛化妆品网站 又逛女装网站 可能会判定你的性别为女性 年龄大概多少 然后给你推荐避孕药广告 这个大部分广告联盟都会这么干的

[qiuai]

接下来这条今天看到的就有点那啥了 http://weibo.com/1378379264/yzV5y1ftw

没看到这条...