需爬虫兼职的大牛及询价

[rubylove]

请问各位大牛，有如下爬虫需求外包，请问一般开价几何？有兴趣的请联系我。 谢谢。

针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
2. 性能：内存不能超过300M， CPU使用率不能超过30%。
3. 数据库：已设计好，使用postgresql.
4. 做成可以用cron调用的命令，比如ruby或者node.js的可以执行的命令。

[rrfeng]

怎么从『更早的时间』开始爬？

[icedx]

大约半狗

[faceair]

爬虫用node写不错

[macken]

这个爬虫需求不难，这个网站貌似很脆弱的样子，要注意别把对方的网站爬瘫，技术用啥实现都可以吧，crontab都可以调用

[cdwyd]

第二页还有往后的数据是根据首页的referer参数返回数据的？怎么会有这样的设计

[d0o0g]

专注爬虫定制服务三十年！经验丰富！
政府网站各种奇葩！
楼主的目标网站，响应很慢，不过也就十六页记录。
所以程序写起来不会太难，用python脚本实现，轻松搞定。

[ultimate010]

搞定不难，价位多少？

[no13bus]

恩。楼主给你163邮箱里面发了封邮件，你看看。可以的话联系邮件中的qq。

[RangerWolf]

你们是不是已经把这个网站搞瘫痪了？完全打不开啊~ 哈哈

[chevalier]

我可以做，原来做过半年的Python爬虫工作

[baigreen]

so easy~
小伙伴们上。。

[guosunpeng]

为什么我想起了shadowprotect的增量备份

[chang888]

可以用node来做，不难实现。

[rubylove]

@chevalier 还有兴趣做吗？

[rubylove]

@d0o0g 还有兴趣？

[rubylove]

现在需要扩大规模，爬取更多省份数据，如果还有兴趣的兄弟们，请联系我。 QQ:18028206

[chevalier]

@rubylove 怎么联系你？

[yongjiu236z]

@d0o0g
@ultimate010
@no13bus
@chevalier
+Q2602560384