最近爬虫遇到了一个吊诡的事情：更换 virtualenv 环境会导致反爬

[Te11UA]

前提：爬取的是亚马逊。爬虫代码不变，俩 virtualenv 都装了一模一样的包，在同一台机子上，用同一个代理。

其中一个环境一直出验证码和 503，但是切换到另外一个环境上却都是正常响应。另外，使用抓包软件看的话，一直出验证码的环境走抓包软件代理后也会正常，但一不用就恢复原状……

使用了最简单的 requests demo 也是一模一样的情况

有没有同学遇到过一样的问题呢? 或者说有什么排查点呢?

PS: 被反爬的环境是一直在运行爬虫代码的，目测可能是有机器学习机制，但是特征点完全找不到在哪，HTTP 层是一模一样的，TCP 层粗略看了下也没什么区别……

[Te11UA]

@qqqqq9898 如果说是 InterfaceID 和 MAC 地址的话，抓包看都是一模一样的

[smplesugar]

wx base64: bHN6OTU5

[Te11UA]

@locoz 敢问用 Python 跑的话，抓包怎么解密 SSL ？只用过浏览器的 SSLKEY

[qqqqq9898]

@Te11UA 包括但不限于 CPU 内存 插件 UA 时区 GPU 分辨率 浏览器指纹 还有于用验证的 metadata 等等, 供你参考

[hushao]

看下某些地方是不是有随机的可能？

[locoz]

@Te11UA #23 emmm ？不需要解密啊，看握手的那部分就好了。

[Te11UA]

@qqqqq9898 你说的这些是反爬用到的，用 chromedp 和 selenium 之类的可以操作，但是我想问的是俩 Python 环境之间有什么差别会导致这种现象呢? CPU 内存之类的应该不会有差别吧

[wangritian]

直觉上是某个 http header 引起的，http 版本？ keep-alive ？

[qqqqq9898]

@Te11UA 给你一个思考方向 具体的问题只能你自己调试了 我不用 PYTHON 和无头做爬虫 所以你的问题虽然大概是出在这方面 但我没办法给你具体的解决方法

[zhbzhbzhbz]

@rayhy 这个厉害了~

[PEax]

老哥，遇到了同样的问题，解决了吗