建设通网站的爬虫设计

[stephenliubp]

建设通的爬虫程序如何设计？

产品有：小程序、App、网站

• 网站的话分析网络看不到接口调用，应该是 Node 中间层对接口和网页做了处理，返回给浏览器端的效果就是已经渲染好的页面。跟早期前后端未分离的效果一样
• App、小程序：都是有接口的。Charles 抓包后发现有些数据是需要登陆才可以肯定，并且是 VIP 才可以，一年 5000RMB。所以不敢拿账号去尝试，爬被封

建设通网站网址

各位大佬，这种情况如何解决啊？如何爬取账号且 VIP 可见的数据

[dingyaguang117]

selenium + chrome headless 啦

[uminokoe]

selenium ＋ firefox headless 啦

[stephenliubp]

@dingyaguang117 为什么他可以解决呢？？请求的时候对方会限制请求次数，只要次数多了就会封 VIP

[shawndev]

selenium + headless chrome

[stephenliubp]

@shawndev 不行的。正常用户操作多了都封锁账号。「 selenium + headless chrome 」 做到的就是模拟浏览器加载出来，这对于这个情景根本不适用

[kangzlong]

@stephenliubp 如果你要的内容必须登录才能爬到而且一个账号操作频繁就会被锁住的话，我感觉你应该在注册账号这块想想办法，自动注册一堆账号。因为我要是这么设计的话，我的 API 也必然要求账号信息，所以你怎么都绕不过去

[stephenliubp]

@kangzlong 注册不可以的。注册必须购买 VIP 才可以，5000 RMB