做爬虫做久了感觉都要学学安全方面的东西了,比如接口破签, app 脱壳,唉。。。。。

2018-06-23 15:53:14 +08:00
 linhanqiu

大家一起来说说,做爬虫以后的方向

7383 次点击
所在节点    Python
47 条回复
fengche361
2018-06-25 11:20:29 +08:00
还是要小心一点,感觉数据要是用于商业用途,基本上就是游走在法律边缘
nbboy
2018-06-25 13:07:42 +08:00
不是逆向,是正向,逆向只是手段。产出程序才是正道。
U87
2018-06-25 13:52:24 +08:00
@linhanqiu 爬虫使用代理时,公司提供了快代理收费接口,我这边直接拿到接口返回的那些 addres 和 port,然后做了个简单的判断,就是遍历拿到的代理 ip 列表访问个 http 的网站,返回 200 的我就取,然后就去实现我的爬虫(response = requests.get(url=url, headers=random.choice(self.headers), proxies=random.choice(proxy_list), timeout=10)),随机获取验证过的 ip,然后再请求.但是这样好像不行.都是这种报错 HTTPConnectionPool,请问前辈是哪里的问题
18835579411
2018-06-26 11:59:03 +08:00
@linhanqiu 感谢
rocketman13
2018-06-26 21:06:35 +08:00
js 加密参数一般怎么破
supervipcard
2018-06-27 20:22:32 +08:00
爬虫做多了,不会点逆向跟深度学习,真心搞不动
wushaojun321
2018-06-30 20:56:08 +08:00
一样啊,兄弟,发请求很容易,难的是发的内容,最近在看加密与解密

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/465267

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX