请问大家， scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？

[moxiaowei]

最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？

[SpiderXiantang]

便宜的可用率低，可用率高的又贵

[moxiaowei]

@SpiderXiantang 是的 是的 纠结的一笔

[moxiaowei]

@SpiderXiantang 能问下 您用的啥么？

[SpiderXiantang]

@moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵

[moxiaowei]

@SpiderXiantang 谢谢 我来看下 。

[glacer]

需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。

[ioven]

买些垃圾 vps 自己搭建

[SpiderXiantang]

@glacer 免费代理实际效果不是很理想

[moxiaowei]

就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔

[hellove1985]

以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。

[moxiaowei]

@hellove1985 好的 我来看看

[princelai]

我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月

[kdwycz]

很好奇 ip 代理服务的 ip 来源是什么

[est]

@kdwycz 中间人用来抓有价值信息的。

你们免费的代理都不靠谱。我这边反扒系统会直接识别免费的或者便宜的 ip 代理池。一键封停。

[xiaobai9927]

免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。

而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403，

有好的介绍下，同求。。。

[kr380709959]

蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费

[WildCat]

https://github.com/imWildCat/scylla

之前写的一个代理 IP 爬虫+验证工具。最近太忙没维护了。

[JCZ2MkKb5S8ZX9pq]

我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。

[moxiaowei]

@JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱

[JCZ2MkKb5S8ZX9pq]

@moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。