golang 一秒能完成多少次 http 探测

[holinhot]

用 python 写了个，一秒几百而一。
最近有个任务，要一秒探测上万网址的 http 状态。这里只获取状态码，暂时没检测内容。

如果用 golang 一秒能完成多少次 http 探测？如果设置 10 秒超时。这样是不是最大的问题在于阻塞？如果很多 url 都超时了，这样就有 n 个 10 秒被阻塞。有没有什么好办法能高效探测成千上网 url.
如果排除超时阻塞一秒能完成多少次探测？

cpu 打算配置个双 E5,宽带 1gbps.

[tourist2018]

@tourist2018 golang 本身 client 可以限制超时时间 那就不用 timer 了

[sagaxu]

@monkeyWie 不管你 nat 之后有几个虚拟 IP，对方服务器看到的 IP 只有出口 IP 这一个

[monkeyWie]

@sagaxu 服务器对出口 IP 又没有限制，只要 fd 够用就行了

[superrichman]

劝你别这么做，qps 太高分分钟被运营商屏蔽，第二天就上新闻：xxx 涉嫌对 xxx xxx 台服务器进行大规模攻击，已被拘留。 /狗头🐶

[sagaxu]

@monkeyWie 那是 tcpip 四元组的限制，跟服务器没有关系

[sagaxu]

@monkeyWie 你的公网地址只有一个，无论你怎么开 docker，也变不出两个地址来

[monkeyWie]

@sagaxu 懂了😅，又看了那个 C1000K 测试也是本地一台机器做的，所以可以适用

[holinhot]

@monkeyWie 端口问题可以用分配多个 ip 地址来解决

[liuxu]

@superrichman 10K CC，不是买的发包机不封才怪

[holinhot]

@phantomzz 还有 https://github.com/yanc0/beeping 这个我也看了，这两个如果任务量不大还行，任务量大了 call 自己的接口又浪费就个数量级的性能吧

[holinhot]

@superrichman 自己的服务器，不是构建 cc 攻击器哦。

[0x1d12er]

@monkeyWie 我刚刚看了下 Docker 的文档好像每个 container 的 port 是映射到 host 的 port 上面的，所以可用的 port 的数量还是一样的吧
https://docs.docker.com/config/containers/container-networking/
https://github.com/mesosphere/marathon/issues/647

[0x000007b]

@est 哈哈哈哈老哥我也想问

[monkeyWie]

@0x1d12er 看看这个项目
github.com/eranyanay/1m-go-websockets/blob/master/setup.sh

[b00tyhunt3r]

@veike 从你们头像分析应该相差不大

[xvrzhao]

正好前些天用 Go 写了你这个需求，正好可以体现 goroutine 的优势，你可以看下： https://github.com/xvrzhao/site-monitor

[xvrzhao]

哦 对了 我是单个 url，没有使用 channel，你可以用 channel 做 url 队列供给下面的 goroutine task 消费。