scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

[ranlele]

[ranlele]

有大佬吗

[ranlele]

没大佬们遇到这种问题吗

[meik2333]

突然全部连接超时，情况有很多的啊。可能是触发网站防火墙了，可能你网络波动了，可能对方网站突然 GG 了。

你可以考虑贴个报错信息出来。

[ranlele]

我爬取很多个不同网站，不只是一个网站。同时都是连接超时、

[15399905591]

你是不是推送了太多请求队列了，scrapy-splash 是异步的，它的超时计算是按你发起的请求时间就计算的，比如你发起 1W 个请求， 超时时间 10S，当处理到 1000 条时已经达到了 10S，那后面 9000 条全部会返回 timeout

[ranlele]

@15399905591 有没有什么解决办法啊。

[15399905591]

控制频率啊，或者添加多个 scrapy-splash 做个负载均衡，然后调整一下你的 scrapy-splash 配置。

[ranlele]

@15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么

[15399905591]

你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率，如果频率过高的话，使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。

[ranlele]

@15399905591 这个频率大概是多少啊 可以自己设置吗。

[ranlele]

@15399905591 如果全部都超时了，只能重启系统吗？

[15399905591]

@ranlele 你现在的请求量是多大呢？ 超时了只是因为推送请求的效率大于处理请求的效率，你把速度降下来，等堆积的任务处理完就好了啊