需求是这样的: 经常开爬虫扒数据,就买了几台 VPS 当代理节点使用,爬虫工作的时候轮流切换。
分享下我现在的方案:
现在几个待解决的问题: 1 。 squid 每次只返回配置里面的第 1 个节点,可能是我配置问题? 2 。 实现 VPS 远程拨号功能,这样就可以按需拨号。可控性就高很多了,毕竟爬虫正在工作的时候, ADSL 重拨会有重新连接的开销。
不知道除了 squid 外,还有没有其它可以实现这样需求的工具
顺便贴下我的 squid 配置,大家可以直接用:
# 这上面的全部用默认的就行了
http_access allow all
....
cache_peer 8.8.8.8 parent 8888 0 no-query no-digest
never_direct allow all
1
msg7086 2017-04-25 01:06:45 +08:00
VPS 一般是固定 IP 的吧。你说的是肉鸡?
|
3
pagxir 2017-05-14 18:34:37 +08:00 via Android
根本不需要那麻烦,tun2socks 或者 socksify 即可。重拨的问题需要两边配合即可。
|