写爬虫的时候你遇到过哪些厉害的反爬手段？

[chen2016]

这里举个例子，某磁力离线云，对数据标题进行加密。

前端展示是这样的： 源码是这样的： 就是一堆数字

52297·61356·11868·62314·51679·41594·12321·21896·91661·62294·01438·51845·12308·51567·21864·7468·12335·61597·31691·22328·61750·61738·82280·11847·91732·82298·01739·71515·8460·1650·0461·7843·4976·51209·51055·8466·0684·51144·71059·61183·71014·91142·2468·0500·6489·2494·0550·7465·9728·5683·4556·8503·6489·1800·4461·0881·1505·7543·7528·0462·7654·8659·6676·1469·4677·9727·0830·9453·7561·9565·8509·0701·8882·3469·41090·11072·01184

解密方式是这样的：

$("[decode=true]").each(function () { var obj = $(this); var text = obj.text(); text = text.split("·"); var str = ''; for (var i = 0, len = text.length; i < len; ++i) { text[i] = text[i].substr(1); text[i] = text[i].substring(0, text[i].length - 1); str += String.fromCharCode(text[i]) } obj.text(utf8to16(str)); obj.removeAttr("decode"); });

 function utf8to16(str) {
            var out, i, len, c;
            var char2, char3;

            out = "";
            len = str.length;
            i = 0;
            while (i < len) {
                c = str.charCodeAt(i++);
                switch (c >> 4) {
                    case 0: case 1: case 2: case 3: case 4: case 5: case 6: case 7:
                        // 0xxxxxxx
                        out += str.charAt(i - 1);
                        break;
                    case 12: case 13:
                        // 110x xxxx   10xx xxxx
                        char2 = str.charCodeAt(i++);
                        out += String.fromCharCode(((c & 0x1F) << 6) | (char2 & 0x3F));
                        break;
                    case 14:
                        // 1110 xxxx  10xx xxxx  10xx xxxx
                        char2 = str.charCodeAt(i++);
                        char3 = str.charCodeAt(i++);
                        out += String.fromCharCode(((c & 0x0F) << 12) |
                                       ((char2 & 0x3F) << 6) |
                                       ((char3 & 0x3F) << 0));
                        break;
                }
            }
            return out;
        }

原本想要用 python 重写这个解密过程，但是发现挺麻烦的，基于“反正都是在网页上展示内容”，干脆将他的解密 js 搬过来照用。。

[annielong]

汤不热还是使用 api 抓取比较好，

[vtwoextb]

京东防爬， 我用的是 动态 ip 策略 https://github.com/hizdm/dynamic_ip

[xxdd]

@zbl430 不是国家上了反爬 好多商标平台都要倒闭了

[CareiOS]

@PythoneerDev6 你源码，现在还工作吗？

[chen2016]

@luoshuangfw #17 所以 utf8 怎么转 utf16 ？ https://i.loli.net/2017/10/09/59db406626aa1.png

[catfish]

给假数据

[zbl430]

@xxdd 又不是什么值钱的内容吧，何必呢

[macleek]

@xxdd 为啥上了反爬才不会倒闭啊？

[PythonAnswer]

蜜罐，文字嵌图

[abcbuzhiming]

其实我觉得再牛逼的反爬都对付不了真浏览器，所以我觉得无头浏览器才是未来主流技术

[jadec0der]

携程还是去哪儿，价格数字用一种随机字体，比如 7 在这个字体里可能是 4

[yu099]

@abcbuzhiming 我看到有加挖矿 JS 的做反爬，如果像淘宝一样屏蔽跟踪 JS 就触反爬怎么办？

[NsLib]

前去哪儿员工，你可以试试爬爬看，假数据、前端混淆、字体混淆，23333 ……

[airbasic]

猫眼的票房=。= 得用图像识别

[j3n5en]

啧，这不是黑科云么，。。。，我前两天刚写完。。。。

[chen2016]

@j3n5en 你说的没错，就是某科云

[abcbuzhiming]

@yu099 它一定要探测你也是没办法的，所以爬虫这玩意就是比拼服务器，你服务器众多，伪装的像正常浏览器，它就没招了是不是

[j3n5en]

@chen2016 #36 我是用 nodejs 写的，，，所以复制过去就可以了，，，，嘻嘻嘻

[chen2016]

@j3n5en 我用 python 重写了这部分，几行搞定了

[scriptB0y]

碰到过一个页码记录在 session 中的，也就是你每次发一样的 curl，结果是不一样的…… session 是通过一个 cookie 判断的……不知道算不算反爬

另外记录了一些遇到过的垃圾网站：

https://www.kawabangga.com/posts/2017

https://www.kawabangga.com/posts/2240