有谁爬取过工商部或者天眼查， Boss, 拉钩之类的数据

[wganbleuthall]

• 都说现在环境差，找不到工作，有人做过爬下工商部每天有多少公司成立，有多少公司倒闭，然后做做筛选啥的吗
• 或者把 BOSS ，拉钩的所有招聘信息爬下来，看看哪些公司正在招人，哪些公司哪天发布了新职位，哪些公司哪天关闭了哪个职位，哪个公司哪个职位挂那儿半年没动静了
• 借此研究下行业现状，某家公司发展情况之类的，也可以服务下打工人

[0o0O0o0O0o]

违法

[wganbleuthall]

@0o0O0o0O0o #1 哈 爬取公开数据，就展示不盈利也违法吗

[blankmiss]

这倒是不违法

[herich]

以前做过类似的爬虫，能爬下工商部、天眼查、boss 直聘数据的人，很有竞争力

[kwh]

破坏计算机运行？

[systemcall]

违法
现在除了工商部都要实名注册，不随便找到你？
工商部你正常访问都困难，感觉就像是给这些软件卖数据的一样，不过想一想也正常

[0o0O0o0O0o]

@wganbleuthall #2 当然违法，你就算是拿数据来做公益，在爬取的过程中你也已经违法过了。想不违法地爬取？问问工商数据网站的那些反爬手段答不答应。

[lzeeee]

可刑

[wganbleuthall]

@0o0O0o0O0o #7 淦 不考虑对服务器的压力和数据会被拿去做什么坏事 我个人理性上讲 我们公民有权获取这些数据啊 想了解了解工商环境这有啥啊，甚至说应该提供 API

[vemier]

找人手动统计算违法吗

[kingfalse]

有 2.7E 企业数据。。。。。

[abcdxe2v]

@0o0O0o0O0o 违法规模小不会管

[abcdxe2v]

盈利的话就可能管了

[LanFomalhaut]

@wganbleuthall 工商信息的 API 花钱可以买到。

公民有权获取信息≠可以非日常使用的情况下大量获取。
工商系统的公开查询就可以满足日常使用了，至于学术研究等不在日常使用的范畴。
爬的话，很刑。

[cxtrinityy]

你看工商部那数据电脑访问多麻烦就知道他有多不想把数据给你了, 你说公民有权获取这些数据, 他还说要保护公民隐私呢, 结果你注册个公司脚还没踏出服务大厅, 会计公司已经把你电话打爆, 然而实际你上国家企业信息公示系统那网站查一般人还查不到法人电话, 你就琢磨吧.

[baobao1270]

上面说违法的，虽然确实违法，但是不被发现就不算违法。

爬虫 IP 不要用国内的。

但是要是你发布你的研究结果的话，就算是发到 GitHub 上面，也最好当心点。

[sofukwird]

天眼查就是爬虫起家的，你爬它不是找死嘛

[vvbbb]

emmmm 没有人发现现在改叫市场监管总局了么？

天眼和企查都有数据库，脱裤的也有，能买到。但是要向自己去爬，现在很难了

[westerndream]

那么天眼查这种的数据是自己爬的还是和工商那有合作的，人家也有能力监测到每天有多少公司成立，有多少公司倒闭

[crazyweeds]

私下+低调+国外 IP+节制+不分享。
说实话，谁管你？