关于用 Scrapy 开发爬虫时使用代理 IP 的问题

[saximi]

用 Scrapy 开发爬虫时想使用多个代理服务器的 IP 来隐藏真实 IP，请教大家几个问题：
1、哪里可以找多个可用的代理 IP，以及如何判断 IP 是否可用，多个可用的 IP 间如何择优排序？
2、 有没有基于 SCRAPY 框架，使用代理 IP 来实现爬虫的范例可供学习呢？

感谢！

[seven2016]

[看下这个]( https://github.com/shisiying/tc_zufang)

[fiht]

1. 代理 IP 直接购买就好，五块钱的代理够你爬很多很多很多数据了。判断 IP 是否可用，择优排序，应该属于另外一个系统做的事情。另外一个系统负责对代理池中的 IP 进行存活检测和速度测试打分。你去 gayhub 搜一下代理 IP 有现成的轮子。
2. 请 Google 之。

[mon3]

https://github.com/qiyeboy/IPProxyPool 这是你需要的

[hcnhcn012]

Scrapoxy，这是官方推荐的框架

[saximi]

@mon3
@seven2016
@fiht 感谢指点，因为是初学，所以暂时不准备直接购买代理，准备先学习例子做一个练练手。

[saximi]

@hcnhcn012 谢谢，不知有没有关于这个框架的中文资料推荐？另外这个框架和 Scrapy 不可以同时使用吧？

[hcnhcn012]

@saximi 当然可以同时用啊，这个只是一个 js 写的代理，和 scrapy 没有关系的，但是和爬虫一起用就可以达到换 ip 或者是 user-agent 等等的目的了
官方防 ban 建议里提到了
https://docs.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned
http://scrapoxy.io/

[sunwei0325]

crawlera, 国内也有阿布云之类的每次请求都换一个 ip, 自己爬的免费代理有效性很差, 也可以自己搭几个拨号服务器充当代理, 自己控制拨号手动换 ip

[aaronzjw]

[]( https://github.com/qiyeboy/IPProxyPool)

[ZiLong]

@sunwei0325 老哥，拨号服务器这个怎么搭，有推荐教材么

[sunwei0325]

@ZiLong http://cuiqingcai.com/3443.html

[saximi]

@hcnhcn012 谢谢，我找了下，没看到有 scrapoxy 的中文教材呢?

[hcnhcn012]

@saximi 是的

[saximi]

@hcnhcn012 有已经实现的例子可以供参考么

[hcnhcn012]

@saximi 没。。网上找找应该有的吧

[ZiLong]

@sunwei0325 感谢，老哥稳！