最近接了一个老外的项目,需要模拟浏览器行为

2018-11-28 16:12:27 +08:00
 zixiaomeng

例如用多个地区的 ip 地址,模拟自然人访问某个网站,注册账号。需要绕过反爬虫和机器人识别。

有没有库推荐?

4707 次点击
所在节点    浏览器
15 条回复
Kilerd
2018-11-28 16:20:14 +08:00
https://github.com/kennethreitz/requests-html
试试这个? 不行就用 headless 来实现咯
EvilCult
2018-11-28 16:21:55 +08:00
菜鸟表示能想到的最简单的就是
python + Selenium
使用 chrome driver
设置--proxy-server http 代理
kljsandjb
2018-11-28 16:25:17 +08:00
chrome headless ?
jydeng
2018-11-28 16:27:33 +08:00
puppeteer
zr8657
2018-11-28 16:27:37 +08:00
selenium,最近发现代理 ip 真是贵
onedayoneapple
2018-11-28 16:28:54 +08:00
@zr8657 有好的 ip 推荐吗
q4336431
2018-11-28 16:51:19 +08:00
selenium+phantomjs,只不过 ip 这个不好处理,代理是真滴贵
zr8657
2018-11-28 17:58:46 +08:00
@onedayoneapple 我自己买的最便宜的 60 一个月 1000 条,但是速度很慢,1M 带宽都不到,我也想找更便宜的。。有大肘子科普下为什么这么贵吗
andylsr
2018-11-28 18:01:18 +08:00
adsl 服务器
yanjieee
2018-11-28 19:16:12 +08:00
我觉得主要资源是 IP,以前买过美国的 private proxy,一个月 5 美元,速度非常快。
akira
2018-11-28 19:44:58 +08:00
这个不是某一个库可以做到的事情吧
hadoop
2018-11-28 21:11:56 +08:00
@yanjieee 关键词?
Daveedo
2018-11-28 22:35:27 +08:00
ip 代理去买就行了。几块钱买 500 个
takato
2018-11-28 22:47:47 +08:00
如果对方对抗措施充分,完成这个就至少需要良好的数学和统计学功底。。。

可能一般的库或方法是不行哦。。

举个子问题的例子:如何用 code 控制鼠标光标的移动轨迹,使其符合人类使用物理鼠标移动光标的特征。
clap3times
2018-11-29 16:08:18 +08:00
有个爬虫私活,有人感兴趣吗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/512373

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX