抓取此网站中的全部数据，需要多少成本

[professorz]

有个项目，需求是抓取http://epub.sipo.gov.cn/ 这个网站的全部公布的信息，根据我的经验，1小时抓取1万条网页，那全站的数据需要2个月不停才能抓完，而且存储这些数据需要很多的存储空间（因为有PDF所以共15T左右），如果租用阿里云服务器进行抓取的话，硬盘价格巨贵。那么问题来了，该项目报价3K。是否合理？

[publicID001]

3K是开发和调试爬虫的费用吧？

[wenxiuzh]

坑在验证码上， 如果发现爬虫就会出现验证码，爬虫识别不出验证码内容就卡在那里了，这种情况下1个小时1000条都困难，3k不多

[ansel]

难道是广州的？最近有在接触这个类似的项目，整个系统也会需要用到你说的爬虫

[david500834]

3k开什么玩笑......骗大学生呢

[professorz]

@publicID001 嗯，说是硬件费用另算

[professorz]

@david500834 唔。。也是觉得有点少

[dai269619118]

呵呵 就出3000 硬件也初步了多少钱

[22too]

还不如你知直接打电话给那个公司，让给你拷贝一份算了，这玩意写程序爬到什么时候了，能动嘴就不要写代码

[professorz]

@22too 我问过提需求的人，他说买不起，要买得起不会爬的。那是他老东家，政府机构。

[dallaslu]

版权所有：国家知识产权局（未经许可不得复制）

[chinabrowser]

反向代理解决问题 需要资源的时候再去抓