增加爬虫爬取速度的方式叫并行还是并发呢?

2016-09-03 21:08:47 +08:00
 hujianxin

问大家个问题,增加爬虫爬取速度的方法是并行呢还是并发呢?这两者有什么区别吗?

2764 次点击
所在节点    程序员
7 条回复
huntzhan
2016-09-03 21:13:53 +08:00
metrue
2016-09-03 21:34:18 +08:00
并发是思想,并行是实现。
visionsmile
2016-09-03 21:39:35 +08:00
摘自 CSAPP :并发是一个通用的概念,指一个同时具有多个活动的系统;而并行,指的是用并发使一个系统运行的更快。并行可以在计算系统的多个抽象层次上运用。
kindjeff
2016-09-03 21:48:35 +08:00
并行是指物理上的同时发生,并发是指一段时间内的同时发生(逻辑上的同时发生)—— BY 我的操作系统老师。如果这个定义是对的,那么爬虫由你 CPU 的四个核同时处理的四线程是并行;在一个线程等待 IO 时另一个线程占据了资源这两者是并发。
laoyuan
2016-09-04 10:01:57 +08:00
应该是并发吧, CPU 个数就那么多,但你同时可以发起 100 个网络请求
hujianxin
2016-09-04 11:12:38 +08:00
@laoyuan 好像是这么个意思,我昨天晚上想到两点,查各种博客,稍微有点感觉了。
petelin
2016-09-04 22:22:23 +08:00
并行是 赛车,并发是流水线洗车,完了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/303721

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX