继续付费找爬虫牛人啊

[zinfinb]

把需求里 最核心的两个技术性的难点问题再说明一下

对性能（实时性）有非常高的要求， 抓取到的新闻 最多 1s 内的延迟

再就是部分抓取网站有 websocket 的接口推送新闻的，这个需要搞定

能够解决上面两个问题的联系我，最好是有实际相关项目经验的

开发费用 1w，维护费用 5k/年，服务器硬件还有代理部分预算支出在 2w/年 ，

爬取网站 10 个左右，爬取时间一天 6 小时

联系方式 球球:196063

[airyland]

1s 延迟，先说能不能达到这个延迟，你考虑过人家网站的感受么。

[tikazyq]

这种实时性要求高的爬虫需要对网页进行秒级监控，这个有些难度，可以用 polling 来搞。websocket 爬虫我认识一个大牛，可以 wx 我 tikazyq1

顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

// github.com /tikazyq/crawlab

[zinfinb]

@airyland 都是比较大型的网站 1s 访问个 2 到 3 次就打挂了 ？

[explorerEX]

应该是金融类的产品吧，响应可以在这范围内，稳定性不一定能达到

[Moker]

什么类型的网站？

[lekai63]

1 天 6 小时
估计是爬 gov 网站 基于舆情作交易吗

[Taeye9n]

2w/a 买代理都不够的吧

[airyland]

@zinfinb 不会挂不意味着这样频率的请求是合理的，大部分在爬的人估计都是这么想的。你考虑的是反正人家不会挂，而站方必须增加更多额外人力资源成本来应对爬虫。

[zinfinb]

@airyland 多谢提醒 嗯

[dryadent]

我觉得这个的主要难点在于 1s 之内响应，对应的就是反爬策略的更新和代理的稳定性，我觉得 2w 付代理确实有难度

[davie]

这个要求有点疯狂啊

[fate]

自己做新闻源？

[native]

爬取时间一天 6 小时 ，如何做到实时？只有 6 个小时实时。

[zinfinb]

@dryadent 这部分 可以 再增加支出

[dryadent]

@zinfinb 对，我觉得代理这部分可以看着来，一般的网站即使把 ip 封了也不会一直封禁，有一个静默期，用代理池一直更新就好了，主要是测试到准确的静默期边界存在困难

[lesterchen]

不会被计算机犯罪么~

[jpacg]

这个确实很危险，算计算机犯罪了，赚白菜的钱，操白粉的心。

[Constellation39]

监狱里面找 /狗头 /

[murmur]

1s 延迟你要把别人网站爬炸

[dongya]

洗洗睡吧