公司要用爬虫抓取数据，不知道是否侵权

[zhaofy]

请教一下各位，领导安排一个任务，爬取别的公司网站的资讯然后发布到自己网站上，频率不高，被监测到的可能性不大；但是我看该网站资讯下面注明了非公开数据，我是不是要汇报一下领导告诉他利害关系？

[wdv2ly]

发邮件不是恰好证明了你知法犯法？？

[xiebruce]

某日头条不就是这么起家的么？

[Outshine]

数据是否公开和你是否可以拿来用是两回事
就好比项目是否开源和是否收费也是两回事

[aver4vex]

公开数据也不是随便就能合法的爬取的。

[Dex7er]

robot.txt ？

[zhaofy]

@Dex7er
Disallow: /zixun/
Disallow: /vote/

[wangxiaoaer]

@locoz 我觉得这被抓的话不亏。

[classyk]

明显的侵权。公开数据绝不代表着所有权的变更。

[liangch]

公开是公开的事。不是说数据就没有授权。
比如，马路上有人放了 100w。你去拿了，就是犯罪。

[locoz]

@wangxiaoaer #27 是啊，那种骗了 Cookie 瞎爬一通然后拿个人信息去卖的，被抓了真的是活该。

[yuanbo6]

作为部门里面经常负责处理该性质问题的我……首先和领导表明要爬取的数据是什么性质的有什么潜在风险，其次要做好责任书性质的东西，别真出事儿了你才反应过来先是被领导当枪使然后又替领导挡子弹

[locoz]

@Myprincess #16 正解为 #14 的做法，单发邮件但“收到书面开发需求书后会立即着手开发”的行为可以被判为知法犯法，如果出事了就是作为从犯处理的。

另外补充一下，“老板对你说有授权”这个需要保留证据，如果无法证明有这回事的话，这个做法就失效了。

[christin]

我记得之前有个新闻 一个外包的程序员就提供了几行的爬虫数据 最后被判好多年

[caneman]

@locoz 那现在爬虫的出路在哪？只能逼迫转行？

[paradoxs]

爬虫高压线，现在真的别碰。 别说什么公开不公开的，没有对方授权就不行。

[locoz]

@caneman #34 看看我写的这篇文章： https://mp.weixin.qq.com/s/aXr-ZE0ZifTm2h5w8BGh_Q

只要不搞那些有风险的操作，其实没啥关系的。

[locoz]

@caneman #34 像楼主公司这种“爬取别的公司网站的资讯然后发布到自己网站”的操作，你可以看一下文章中“别人的东西不要拿了之后放到自己家里”的部分买，属于很典型的风险操作。

[abcbuzhiming]

@caneman 没出路，自己研究玩玩可以，别找死，国内之前几年个人隐私和大数据滥用问题如火如荼，必然会有反弹的时候，现在就是反弹的时候，以后的数据，你不拿到授权，就是公开在别人网站上的，你敢爬来用了就能被人告死。除非政策改变，否则对数据获取和利用的限制肯定是越来越严

[caneman]

@locoz 其实说到底，能让你爬的数据一般价值有限，真正有价值的数据是不可能给你授权的。（购买接口就不叫爬虫了）。现在的形势，感觉做爬虫的就是走钢丝，把选择权交给对方，不告你啥事没有，一告你百分百出事....

有商业价值的数据，感觉有一个算一个，只要爬，没一个是具有合法性的。。。只能想各种办法来规避对方告你的风险（要么不要让对方知道你在爬，要么你爬的速率和规模在对方容忍范围内），因为告你也是需要成本的。

还是好难做啊...

[caneman]

@abcbuzhiming 是啊，感觉就是赌，赌对面不会告你，保不齐哪次就栽了...