写了一篇关于最近爬虫圈内挺火的一道面试题和它的解法的文章

2019-03-13 10:14:26 +08:00
 locoz
传送门: https://zhuanlan.zhihu.com/p/59005948

历史文章:
当你写爬虫时遇上 Flash+加密的解决方式 https://zhuanlan.zhihu.com/p/45508079
当你写爬虫抓不到 APP 请求包的时候该怎么办? [初级篇] https://zhuanlan.zhihu.com/p/46433599
当你写爬虫抓不到 APP 请求包的时候该怎么办? [中级篇] https://zhuanlan.zhihu.com/p/56397466

(小声逼逼)原文不知道触发了什么关键词检测,发不出来。 @Livid
5505 次点击
所在节点    分享创造
34 条回复
rocketman13
2019-03-13 10:17:45 +08:00
牛逼!
shyrock
2019-03-13 11:06:17 +08:00
话说这一通分析要多少时间?别人改一丢丢代码是不是之前的分析全废了要重来?
locoz
2019-03-13 11:15:23 +08:00
@shyrock #2 正常弄的话就几分钟的事情,这个文章里写得细是因为要照顾新手 对方改代码的话要看改了什么,就以这个面试题的情况来说,因为操作复杂度很低+加密简单的关系,即使要改也改不了太多东西,所以不至于出现要重来一遍的情况,最多改一下解析的方式而已。
jzds001
2019-03-13 11:31:22 +08:00
666666
zyj321321321
2019-03-13 11:42:02 +08:00
以后搞爬虫基本上应该都会涉及到 js 逆向解析这方面了,就这最近半年,感觉这方面的资料也越来越多了起来,感谢楼主的分享。
hangs
2019-03-13 13:42:08 +08:00
:) 想知道你们都是怎么遇到这些面试题的,天天面试吗,还是我找不到组织 cry..
locoz
2019-03-13 14:08:35 +08:00
@zyj321321321 #5 后面还有 APP 逆向相关的,可以关注一下专栏等更新
locoz
2019-03-13 14:09:26 +08:00
@hangs #6 就各种爬虫群里都有看到有人提这个面试题,一开始是谁发出来的已经不得而知了
yzkcy
2019-03-13 14:48:02 +08:00
@locoz https://www.v2ex.com/t/528509 洋钱罐借款 这个 APP 求解怎么抓包?
yzkcy
2019-03-13 14:49:56 +08:00
以看雪上的方法"开个 VPN 然后转发到抓包工具",我试了下,这个 APP 还是抓不到,其他的可以。不知道是不是我配置有问题。
est
2019-03-13 14:52:29 +08:00
@shyrock 国内这种一帮人负责建栅栏一帮人负责拆栅栏的事儿太多了。
Johnson66
2019-03-13 15:07:55 +08:00
看了一下,js 就 400-500 百行~~ 难度不高
locoz
2019-03-13 15:32:20 +08:00
@yzkcy #10 可能是开了双向证书认证( HPKP ),看看雪那个帖子里的截图可能还有他们自己弄的检测,有空帮你看看
locoz
2019-03-13 15:32:42 +08:00
@Johnson66 #12 是的,简单难度
leis1015
2019-03-13 15:46:23 +08:00
允许执行 js 就不难

最近碰到比较难的是改版后斗鱼的 web 的视频链接,有大佬能不执行 js 获取到最高画质视频链接吗?

有十几个加密算法,算法里的盐不一样,当主播开播时,随机挑一个算法和盐,用户访问时,下发该直播间的加密算法…
yzkcy
2019-03-13 15:46:43 +08:00
@locoz 多谢多谢
pipi32167
2019-03-13 17:00:09 +08:00
@Johnson66 有两百多行是赋值语句,基本没信息量。
zdnyp
2019-03-13 18:05:55 +08:00
插眼,学习之
zdnyp
2019-03-13 18:07:14 +08:00
里面用到的 aiohttp_requests 还没用过...相同的思路,requests 实现不了...
crab
2019-03-13 23:11:43 +08:00
@zdnyp 测试了下用 winhttp 不行,wininet 可以。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/544005

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX