讨论一个关闭爬虫的脑洞问题

[K1W1]

最近在写爬虫，那些简单的还好，稍等有点安全意识的网站，都是 https + 一大堆 js 加密算法。而且每个网站都不相同。这太耗时间与精力了。
所以我在想有没有 python 框架，可以实现内嵌一个浏览器，这个浏览器要支持方法调用，比如传个地址，修改某些表单 dom 的数据。而且还能拿到页面的内容。我查了一下 Python 内嵌浏览器还是有的，但是可能不支持调用。获得数据可以通过 python 实现一个代理服务器来拿。
请问各位大神有没有相应的框架或者思路？
我发现谷歌有几款插件支持类似的功能，但是我还想 python 原生实现 插件

[yankebupt]

@K1W1
目前只用多个账号都不行，得多个账号配合多地点 ISP 接入+定位配合多设备串号...
我 ios 装过一次闲鱼，卸载清空都不行，重装换 appleid 之后原来的推荐不消除...

[K1W1]

@yankebupt #21 我服，这也是绝了

[mooncakejs]

此种高级的爬虫还是用 js 写吧。 headless 浏览器或者 chrome 插件。

[nVic]

@yankebupt 记得霍炬有一篇文章，互联网完了。互联网现在基本已经中心化了，正在朝着文章中的方向走。

[kltt22]

PhantomJS 效率太差了，要是数据量少的话还行，上百万就很要命了。

[K1W1]

@kltt22 #25 并且这个项目已经很少维护了，还是 headless 比较有发展

[shawndev]

selenium + chrome headless mode

[shawndev]

@yankebupt
可以观察几项内容，是不是写入了 keychain ？
是不是通过 safari controller 写入了 cookie 来记录状态？
是不是通过 app group 保存了相关记录？
尝试清除隐私信息来重置 idfa 看看有没有变化。
如果没有，尝试更换 Wifi 和 IP 地址重新访问。