socket 多线程运行报错，大佬们帮帮看下

[wjx1993]

背景：同时开了几千个线程，运行到 300 多个线程的时间报错了， socket.setdefaulttimeout(45) sleep_download_time = 1 time.sleep(sleep_download_time) 超时和延时都有加上

1、ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 这个我认为是被服务器拒绝了，被发是爬虫了？

2、socket.timeout: timed out 这个我已经设置了超时的时间，还是报错了

[WordTian]

你一个 ip 整上千个并发连接，你不被拦谁被拦

[wjx1993]

@WordTian socket 应该怎么切换代理

[WordTian]

用 squid 吧

[WordTian]

@WordTian 噢，刚发现 squid 主要是 HTTP 代理，socket 的我还真不知道

[defphilip]

开几千个线程的爬虫。。。。系统吃的消吗
真的想用多线程，开个线程池几个线程并发跑就好了

[wjx1993]

@defphilip 还好吧，只是跑到 300 多就被服务器拒绝了，线程池总是有点问题，调了好长时间，话说线程池就不会报错被服务器拒绝了吗？

[wjx1993]

@defphilip 线程池要怎么写？大佬有例子介绍一下吗？😂

[wjx1993]

沉了吗

[ai277014717]

@wjx1993 参考前面说的你想办法爬慢点就能解决了。并发控制到 300 以下试试。
线程池我觉的可有可无，主要是写了可以减少开销。

[wjx1993]

@ai277014717 不能爬太慢，需求就是要同时并发好几千，所以暂时只想到用线程池，但是自己写的线程池总是有问题，跑不起来所以请教一下线程池的写法，最好有个例子最好了，多谢啦！

[hcnhcn012]

concurrent.futures.ThreadPoolExecutor 了解一下

[wjx1993]

@hcnhcn012 好的，多谢！不过我又分析了一下自己的需求，发现目前用不了多进程，只能多线程了，不过会被服务器拒绝，请问有比较好的 socket 代理吗？