最近想爬天眼查 网站

2019-01-20 21:41:31 +08:00
 Ewig

这个网站一个账号查询的次数是不是有限制啊？ 限制多少次？

是不是需要买 vip 账号爬？

15556 次点击
所在节点    Python
41 条回复
d5
2019-01-20 21:56:36 +08:00
做爬虫出生的公司，你要爬，阻力太多了
zwl2012
2019-01-20 21:57:40 +08:00
接口加密了 密钥有效期 1 分钟
faustina2018
2019-01-20 21:58:06 +08:00
想多了。老老实实买接口吧，卖数据接口的网站会让你爬？
tomxin7
2019-01-20 22:00:28 +08:00
去年爬过，但是没有批量，cookie 过期好像时间还挺久的，可能我爬的比较少吧
519718366
2019-01-20 22:57:12 +08:00
我这是找他们商务合作的
guog
2019-01-20 23:03:52 +08:00
他们的数据也是从郭嘉企业信息网爬的吧，不如直接从源头入手
locoz
2019-01-20 23:15:24 +08:00
只需要简单的信息就行可以直接爬工商局
ShareDuck
2019-01-20 23:28:04 +08:00
@guog 是直接从工商那边获取数据，不是通过爬的。
lhx2008
2019-01-20 23:30:23 +08:00
反爬虫很厉害的，无所不用其极，验证码也很难，爬几百个没问题，多了代理池都爬不下来。

天眼查最开始应该是自己爬的，后面为了数据合法找了个背景做靠山。
OctopusGO
2019-01-21 00:15:42 +08:00
是需要买 vip，我公司现在是用 Java 爬的
scriptB0y
2019-01-21 00:50:04 +08:00
... 你去爬一个爬虫网站
xiaotuzi
2019-01-21 01:33:27 +08:00
小心给你一个律师函
izoabr
2019-01-21 01:38:11 +08:00
要不考虑一下行政渠道的爬虫？
jssyxzy
2019-01-21 06:13:01 +08:00
以前爬过，应该可爬，可能需要上 phatomjs
myhot21
2019-01-21 08:44:41 +08:00
自从要登录注册后，就基本不能爬了，给钱买数据吧。
supervipcard
2019-01-21 08:50:40 +08:00
如果已经有一个大的公司名列表，逐个搜索爬不难，把代理、cookie 池、验证码识别都弄上。
fenghuang
2019-01-21 09:02:57 +08:00
极验证就不好弄
Ewig
2019-01-21 09:20:44 +08:00
@OctopusGO 买 vip 的原因是限制次数吗？
Ewig
2019-01-21 09:21:16 +08:00
@fenghuang 极验很简单啊
Ewig
2019-01-21 09:21:28 +08:00
@supervipcard 主要怕限制账号次数啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/528898

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX