[求助爬虫大佬指点] 爬虫遇到加密参数到底该怎么处理

2019-06-16 13:14:53 +08:00
 xfspython

自学了几个月的爬虫 到现在感觉遇到瓶颈一直没法突破,主要是在遇到加密参数的时候,比如说 pc 端 通常我会先观察哪些参数可能是被加密处理的,然后拿着关键词全局搜索大概也能找到相关的 js 代码,但是让我进行下一步操作我就不知道该怎么办了 app 同样 现在真的很痛苦,所以希望有好心的大佬指点一下,遇到 pc 端 和 app 的加密参数该如何处理 能不能给个处理思路 让我这个萌新可以学习哈 先说声谢谢哈

1491 次点击
所在节点    问与答
3 条回复
njshiyanhz
2019-06-16 14:08:54 +08:00
能找到相关 js 代码,那就简单了。
比如你的未加密参数是“关键词”,那你就用这段 js 代码,把“关键词”加密成对应的密文,然后再作为参数请求对应的地址。
简单的 js 代码,可以直接改写成爬虫所用语言的代码;
复杂的 js 代码,java 里面可以用 ScriptEngine 执行,或者 phamtonjs 执行。
APP 的加密参数解决方式类似。
xfspython
2019-06-16 16:31:14 +08:00
@njshiyanhz 谢谢大佬, 我仔细想了一下,可能是自己 js 代码还是不够熟悉以及对于那些常见的加密算法还是不够了解,然后有没有必要好好去学学 js 呢?
nyfok
2019-06-16 22:35:00 +08:00
用 google v8 自己做个浏览器,这样抓什么都容易

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/574417

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX