请求数百万个 URL， C#还是 Python 快且容易实现？

[rv54ntjwfm3ug8]

场景是从一个 URL 获取数百万个任务（每次最多获取 1 万条任务，可自定义数量，但不能从中间开始获取，且每 2 秒只能请求一次任务列表），每个任务中的 URL 分别请求（访问每个 URL 需要 0.1~30+ 秒，目标网站没有并发限制），解析出需要的数据后上报需要的数据和任务 ID 到同一 URL （一次可以上报多个任务的结果）。因为不可能同时发几百万个请求，所以应该要用到线程池，设置最高同时多少任务在运行。请问这种场景的最佳实践是什么，C#还是 Python （我比较熟悉这两门语言）速度快且容易实现？

[Jwyt]

@ly841000 肯定是 python 方便，就发网络请求调什么 c 库，没麻烦找麻烦么

[ly841000]

@Jwyt 说得 c#没我网络库似的。。。。

[wzzzx]

大部分的业务场景，语言都不是瓶颈

[iyaozhen]

都行，不是瓶颈。Python 性能差不是在 IO 上差

[Jwyt]

@ly841000 你自己说的 c 库啊。。

[fanxiao]

c# async await 模式，挺适合这种 IO 密集型任务

[wangritian]

语言不重要，协程模型是关键，最适合这件事的我觉得是 go

[westoy]

@Richard14

爬虫其实不需要多进程的，python 的 GIL 本来就不锁 IO, lxml 之类的配套基本也会释放 GIL 锁的......

[em70]

哪个你写代码快用哪个

[Yunen]

首选 golang

[ClericPy]

Python 请求几百万不是大量级, 带宽足够的情况下, aiohttp + uvloop 大约一小时以内就能搞定(之前爬 fb 380 万页请求开个多核加协程 50 分钟就抓完了), 如果是线程的话并发高了切换开销太大真不如协程, 性能损耗太大了. C# 不了解, 不过也算协程友好的, 熟悉哪个用哪个吧

[IvanLi127]

我选 C#。

[ration]

爬虫 python 的库多

[ElmerZhang]

我可能会选择写一段 shell

[Ackvincent]

这不就是 python 的活嘛

[bthulu]

要个屁的线程池啊, 单线程高宽带就行了. 把你这数百万个任务写到一个文件里, 然后直接下载这个文件就好了

[rv54ntjwfm3ug8]

@bthulu #36 有的 URL 不到 0.1 秒就请求完了，有的 URL 要等 10 分钟超时，显然爬的不可能是我的网站，有几个万个不同的网站

[bthulu]

@theklf4 那就走异步, C#的异步 httpclient 很好用

[beyondex]

当然是 C# 在并发、任务调度这块，官方、三方都用很好用的库