使用 tornado 这种异步请求框架做爬虫，效率高么？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3575 天前的主题，其中的信息可能已经有所发展或是发生改变。

14 条回复 • 2016-01-18 02:27:58 +08:00

1

loading

2016-01-17 21:03:52 +08:00 via Android

1

爬虫要什么效率…不然大家都不会用 python 写了。
好写才是重点，很多时候都是网速不给力。

2

binux

2016-01-17 21:05:30 +08:00

高

3

lepture

2016-01-17 21:16:12 +08:00

@loading 所言得之

4

Garantion

2016-01-17 21:18:22 +08:00

celery

5

ethego

2016-01-17 21:18:51 +08:00

@loading 正因为网速不给力所以异步带来的效率提升才是惊人的，根本不是你说这的这样。

6

ethego

2016-01-17 21:19:17 +08:00

@Garantion celery 不能解决阻塞的问题吧

7

Garantion

2016-01-17 21:24:28 +08:00

@ethego 这个不太清楚一般我会在调度的时候就尽量考虑阻塞的问题有什么好办法吗？

8

ethego

2016-01-17 21:25:51 +08:00

@Garantion gevent ， python3 的话有 asyncio

9

Garantion

2016-01-17 21:26:41 +08:00

@ethego 对对对你一说这个我上次偷懒没用 gevent 看来的确要用一下学习一下多谢多谢

10

loading

2016-01-17 21:27:35 +08:00 via Android

@ethego 带宽跑满了，能更快？

11

ethego

2016-01-17 21:30:04 +08:00

@loading 如果不开多线程或者协程，能跑满带宽？

12

loading

2016-01-17 21:34:21 +08:00 via Android

@ethego 我没说不开多线程…你看下楼主问题好吧。

13

ethego

2016-01-17 21:36:27 +08:00

@loading 楼主问的是是 tornado ，不是 python ， tornado 是通过 ioloop 的方式解决阻塞的问题。

14

ericls

2016-01-18 02:27:58 +08:00

是很高的

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Solana · 982 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 24ms · UTC 23:25 · PVG 07:25 · LAX 16:25 · JFK 19:25
♥ Do have faith in what you're doing.