需求是这样的: 经常开爬虫扒数据,就买了几台 VPS 当代理节点使用,爬虫工作的时候轮流切换。
分享下我现在的方案:
现在几个待解决的问题: 1 。 squid 每次只返回配置里面的第 1 个节点,可能是我配置问题? 2 。 实现 VPS 远程拨号功能,这样就可以按需拨号。可控性就高很多了,毕竟爬虫正在工作的时候, ADSL 重拨会有重新连接的开销。
不知道除了 squid 外,还有没有其它可以实现这样需求的工具
顺便贴下我的 squid 配置,大家可以直接用:
# 这上面的全部用默认的就行了
http_access allow all
....
cache_peer 8.8.8.8 parent 8888 0 no-query no-digest
never_direct allow all
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.