网上那些抓数据的软件,是怎么躲过对方服务器封ip的?

2014-01-03 04:37:45 +08:00
 fdsfsdfsdf3334
那些采集软件, 或者那些数据抓取的软件

他们去抓人家的数据
人家服务器肯定限制了访问频率

他们怎么避免被封ip的?


我目前可以想到2个方案

1.分布式采集
2.N个vps上装个http或者socks5代理,挨个轮换代理采集
3。。。。。。


大家来参与交流下

看看还有什么办法么,
4007 次点击
所在节点    问与答
5 条回复
alay9999
2014-01-03 07:48:48 +08:00
也可以用代理吧,听说代理很便宜
zencoding
2014-01-03 08:02:42 +08:00
lz没听说过tor吗
a2z
2014-01-03 08:09:22 +08:00
我有全世界的socks5服务器列表,外加tor
n0b0dy
2014-01-03 19:25:52 +08:00
@a2z 如果方便的话 求分享部分socks5 服务器地址, 最好带端口
邮箱地址 n0b0dy001@163.com 已感谢 ;)
dingdong
2014-01-07 17:11:35 +08:00
有很多分享代理的网站,直接去抓下来测试可用就行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/95463

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX