问一个关于 scrapy 爬虫遇到反扒的问题

爬蚂蜂窝，然后遇到了 521response 反爬。自己搜了一下这个反爬还好处理，就是解码设置 cookie 的事。但是我后来测试时候发现其实只要设置一个 5 秒左右的延时，通过 selenium 返回的 page_source 就是跳过反爬信息得到的完整页面信息了。

于是综上探索，我预想的是在 scrapy 中间件中加入 selenium，在 process_request 里做 get 请求之后，time.sleep 四五秒钟，然后返回 response 做后续处理。

想的是很美好，但是测试时候发现，因为中间件的 selenium 做 get 请求时，url 地址是 request.url,而这个 url 好像因为之前 scrapy 自带的 request 没有通过反爬然后就从一开始 url 就变成了 www.mafengwo.cn/robot.txt ，那这个 url 肯定是没法用了。用 spider.start_urls 的话又要处理一个列表问题，如果是爬好几个页面感觉从这个列表提取 url 也不是很靠谱啊。

那么有什么靠谱点的办法，让 request.url 传递过去正常的 url 呢？

附上 selenium 中间件的代码：

class SeleniumMiddleWares(object):

    def __init__(self):
        self.driver_path = '/Users/michealki/Downloads/chromedriver'
        self.options = Options()
        self.options.add_experimental_option('excludeSwitches', ['enable-automation'])
        # self.options.add_argument('--headless')
        self.driver = selenium.webdriver.Chrome(executable_path=self.driver_path,options=self.options)

    @classmethod
    def from_crawler(cls, crawler):
        s = cls()
        crawler.signals.connect(s.spider_closed, signal=signals.spider_closed)
        return s

    def process_request(self, request, spider):
        #url =  request.url
        url = spider.start_urls[0]
        self.driver.get(url)
        time.sleep(5)
        return HtmlResponse(url=self.driver.current_url, body=self.driver.page_source,
                            encoding="utf-8", request=request)

    def spider_closed(self, spider):
        self.driver.quit()

		
class Spider0(scrapy.Spider):
        name = 'spider0'
        start_urls = ['http://www.mafengwo.cn/poi/7918553.html']

        def parse(self,response):
                pass

locoz

2019-11-22 10:57:19 +08:00

@wqzjk393 #6 一看你就是没看文档...我记得文档上写得清清楚楚地说会检测 URL 是否被 robots.txt 所禁止 balabala。

@wqzjk393 #7 虽然我没用过 Scrapy，但是从我这么长时间看到的用法来看，使用 Scrapy 的时候被访问的 URL 并不需要你去从 start_urls 里取，框架已经帮你处理好取 URL 这一步了，你要做的只是重写回调而已，而且在这个流程中你也不需要管当前爬的是第几个。
如果你一定要知道当前爬的是第几个、要可控性非常高的话，我建议你直接自己重新造轮子。基于一个成熟且不是自己写的框架去改的话大概率会碰到奇奇怪怪的问题。

wqzjk393

2019-11-22 12:07:09 +08:00

@GPU selenium 其实我也只是需要它动态加载和手动执行 js 脚本的功能，其他的 xpath 啊 selector 之类的有很多可以替代的东西。scrapy-splash 好像也可以做动态加载，改天试一下~

@skinny 嗯，robot 和 start_urls、request 那些差不多弄明白了。其实我自己写爬虫的话大部分时候都是 request+xpath。只是作为一个学爬虫的 scrapy 都不会用感觉有点说不过去。而且异步这方面 aiohttp 这些真的是不想自己研究了。。。