五号代理 -- 自己搭建的智能代理服务

2021-08-30 14:22:42 +08:00
 jasli2

因个人兴趣需要,经常要采集一些数据做分析,为了提高采集效率经常要用到代理。国内的 IP 代理池可用性不高,要自己请求 IP,处理重试,如果碰到需要 JS 渲染才能采集的数据,还得自己上 Headless 浏览器,不是很方便。

国外 scrapingbee 和 scraperAPI 这种服务挺好,但是费用太高,访问国内网站速度也不快。于是干脆就自己参考 scrapingbee 搭建了智能代理服务:五号代理

主要功能特点

基本上可以直接绕过绝大部分的反爬策略。当然价格也比国外的服务便宜,注册就有免费额度,欢迎大家试用。

有问题和意见可以直接或提工单反馈给我。再次感谢。

3251 次点击
所在节点    分享创造
10 条回复
est
2021-08-30 14:27:22 +08:00
感谢。已经把免费额度里的 ip 全部拉黑了。
dapang1221
2021-08-30 14:46:35 +08:00
看了下文档,不能自定义 header……
yuanchao
2021-08-30 14:47:00 +08:00
这些 ip 是自己的还是爬的
jasli2
2021-08-30 14:51:15 +08:00
@dapang1221 header 直接透传的,直接设置就行。
jasli2
2021-08-30 14:52:04 +08:00
@yuanchao 都是数据中心的,: )
xiongbiao
2021-08-31 01:59:18 +08:00
不错,收藏了
Echoldman
2021-09-01 12:12:44 +08:00
adrianzhang
2021-09-02 09:11:53 +08:00
@est 哈哈哈笑死我了
ragnaroks
2021-09-04 19:32:05 +08:00
都是数据中心的 ip,那不是一死就死一大片?我觉得还是和卫士管家那些找量比较靠谱
iqoo
2021-09-07 15:14:52 +08:00
支持 JS 渲染?哪天来一个 1Day 就能把服务器黑了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/798835

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX