多线程爬虫抓小说

[ljdawn]

写了个多线程爬虫，感觉自己好无耻呀。。。 之前写了个单线程的，任务丢到 rq 里面去去，真的很慢，两千多个网页，跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py

[ljdawn]

rq 那个没放是因为。。。这个是抓得 CL 呀。哈哈哈哈哈哈

[sivacohan]

用 gevent 保平安

[je11yfish]

楼主，这事儿用 Gevent 是王道啊……

[ljdawn]

@sivacohan 周末来一发 么么哒

[ljdawn]

@je11yfish 周末来一发。 么么哒

[LeoQ]

楼上这么赤裸裸的求 YP ，哈哈哈

[cooiky]

"Referer":"http://cl.loius.biz/"

这是亮点？

[800126]

@LeoQ 哥，我只是来追随你的头像的。

[ljdawn]

@cooiky 哈哈哈哈 我那会儿用的是另外一个域名。。。

[ljdawn]

@LeoQ 亚灭爹。。。。 来一发不是这个意思。。是说用 gevent 。。。 你太邪恶了哈哈哈

[leeyuzhe]

"Referer":"http://cl.loius.biz/"
说！是不是去抓过图片！还是成人文学？

[ljdawn]

@leeyuzhe 抓得小说哈哈哈哈

[symons]

为啥不用多进程，要用多线程，请教一下