搜狗微信的反爬虫策略又升级了

[macken]

继前不久升级反爬策略以后，又来了一次打升级，躺枪一片，非登陆情况下，新的策略使用了服务端生成验证串的方式，要破解很难，除非能破解加密算法了。大家有什么研究？

[pc10201]

用浏览器模拟，加大量代理 IP

[macroideal]

道高一尺, 魔高一丈

[macken]

@pc10201 不是模拟的问题

[ljcarsenal]

为什么都要做微信相关的爬取呢

[skip11]

1.登录
2.模拟浏览器获取那个串

我也是昨天才发现临时更新的算法

[macken]

@ljcarsenal 好玩

[macken]

@skip11 国庆期间更新的 登录是一个方法，那个串是与帐号相关的，获取以后再抓取数据成本太高了

[sohoer]

我不知道是不是通过搜狗抓取，如果是那就是 ext 这个参数，这个参数会失效需要隔段时间获取一次

[skip11]

@macken 我有几天没看了，我是自己抓过来离线读，具体什么时候更新的不是很清楚，@sohoer,楼主应该说的就是 ext ，失效模拟一下就好了，目前还不难，不知道搜狗后续会更新什么手段

[Moker]

前端时间就不行了
加代理 IP 和降低频率 目前估计只能这样

[macken]

@sohoer @skip11 是 ext,怎么模拟？我试过用搜索的方式获得 ext ，但是这种方法太麻烦了

[johnsneakers]

现在就是一个 302 而已,你多请求一次拿到 302 的地址就可以了

[johnsneakers]

(PHP 版本)粘贴即可看到效果:

$url = "http://weixin.sogou.com/websearch/art.jsp?sg=CBf80b2xkgbhjl0x-hNnSEuCKYJJPsg_h-OjrOxHjU_vFtJfSKnjpz19wNWA5ILUTtJveGGSfLC6VBIRlwc6srq5lrLZ5gXykqfIRjtZWiJm_nQjhF6DEb6_H-c9J_ZynM4JG0XEf_vu4a6BXqY6ow..&url=p0OVDH8R4SHyUySb8E88hkJm8GF_McJfBfynRTbN8wisH87qPWS2UFAFG9qAbOBeXY6RLCSg2kRDYt5ROwiYPFLvkvBrfA0sgKbswv_WSNpL5BYLq2cVN2huY78d2DfqLtelzlOATJZYy-5x5In7jJFmExjqCxhpkyjFvwP6PuGcQ64lGQ2ZDMuqxplQrsbk";
echo sogou_weixin($url);


function sogou_weixin($url) {

$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$data = curl_exec($ch);
$Headers = curl_getinfo($ch);
curl_close($ch);
if ($data != $Headers)
return $Headers["url"];
else
return false;
}

[macken]

@johnsneakers 恩，这是上一次升级后出现的问题，这次升级增加了 ext 验证

[fishlee]

还没试过这方法，有空搞搞看

[johnsneakers]

@macken 我刚试了，是可以的

[macken]

@johnsneakers 这种方式是可以拿到最终的文章 url 的，我遇到的问题是直接访问 http://weixin.sogou.com/gzh?openid=oIWsFtzDjnBIlyxXFCgp7hAApCeM 是无法访问的，必须是这种方式才可以访问 http://weixin.sogou.com/gzh?openid=oIWsFtzDjnBIlyxXFCgp7hAApCeM&ext=Uc8g8yaxQpH6htELFQfGDr3PzTLZg-34eXRrntsODlbP32F_9hAQlNM8VKlUG_IA url 里面的 ext 是刚加的验证机制

[yepinf]

之前用 qwebkit 爬，一直很稳定
换工作之后，就没继续做下去了

[icedx]

搜狗微信 是啥?

[blue7wings]

我在想， sogou 的微信数据是官方给的嘛。。。