salt 还可以，安装一些软件 出现一个问题 就是 一直在运行，但是也没结果。不是 bug ， 但是觉得不好， master 无法真正获知系统运行的状态。

小集群 觉得 ansible 更简单。

@qianmeng
@timothyye 我读书少 你们不要骗我

擦 这个只是一个 idea 在我脑子里而已，这东西的另一个关键是 cdn 流量。图片多了 得多少钱才够啊
这不是另一样广告

在家发简历 也被发现 这是个大新闻了。那个楼主就是你们公司的吧？

https 是安全的吗？ 错，大公司的浏览器都内置了证书 其实是不安全的。

不要用和公司相关的设备

如果有好的 idea 我也来做做看

大概除了犯法的 比如草榴。其他的需求都有官方应用了

为什么总是上来就是上亿呢？
没有请求大小 请求频率 数据冷热 就来问这种问题就是耍流氓

孩子 你也不会问了就掌握亿级用户的支持能力的。最好从实践 1 万开始

@ruijanlee 赞

这个主题贴 总是打不开， 系统问题？

这个技术是怎么查到的？ 一个 IP 还能映射到其他 IP ？

这东西怎么查询法？那个国家有多少出口？

如果数据库本身不是问题的话， 插入是美问题的。
但是你 6M/s 按照你的量

6*3600*24 /1024 每天 500G, 数据库会迅速垮掉 ，完全是个错误的设计。

如果是在线查 log 的话， es 会好一点。 这种应用用 mysql 去做 并不好，统计应该靠应用去做。

感觉都疯了， 人人都在谈房子。 不是崩溃就是 继续高涨

也不能修改，
以上经验适用于 2010 年 15 分钟抓取京东全商品数据。

linode 512M vps 4cpu 满核， c++ ,200-500 connection.

6 年前的经验了，也不知道行不行了。看着用吧

下载 分析 主控 要分开。

cache 啊 根据 http 的 cache head 决定是否要继续获取
pipeline 获取, 不要重建链接
本地 tcp 栈优化，加快端口释放
代理服务器
dns 本地服务器，预热你要用的 dns 地址
利用 17ce 这样的网站查询 服务器的所有 ip,提高使用效率
分析和下载处理分开处理，不要让字符解析占有太多 cpu.
加强 recv timeout 的智能判断，在服务器响应不佳的情况下，减少链接数目，让服务器退回服务质量。
用 c++
提高算法，链接命中算法

.... 至于 内存控制这种，估计你也不会去做。

ttl 设置为 10 这完全是太低了，不是个合适的数值。

之前有简单 tcpdump 过，好像是收发包都速度快的，好像是网络传输的问题。

..... 这是什么情况，看服务器的 tcpdump 数据 看 recv 和 send 的时间差是多少 如果是 1 秒多 那么就是服务器的问题，如果是 0.001 秒 那么服务器就没问题，要么就是客户端和网络。

然后看客户端的 send 和 recv 时间查，情况同上。

如果 2 个都是 0.001 秒 那么就是网络问题。 还有可能就是 客户端的 send 时间戳 你算得不对。

tcpdump 先在 2 边抓包 确定， 是服务器发包慢， 客户端收包慢 还是网络传输问题。

200 客户端都出现这个问题 C1000k 怎么办

图形校验码啊

猜也就是这样