请教爬虫代理方案，成本太高了！

想做亚马逊爬虫，用国内隧道代理和国外动态数据中心 IP 、动态住宅 IP 进行了测试：
国外动态住宅 IP 最优，但价格最贵；
国外动态数据中心 IP 也可以，但价格也贵，普遍是 8 元/1GB ，这样我的成本是 0.004 元/1page ，成熟竞品售价是 0.001 元/1page ，哪怕是 2 元，我的成本也跟竞品的销售价一样！根本赚不了钱。

还是说我需要考虑整体盈利模式？成熟竞品的收费模式大概是：
1. 基本会员：几十元一个月，可以查询数据，不可以爬取数据。
2. 付费购买流量进行爬取：98 元，可爬 10w 数据，0.001 元/1page ，每天最高可爬 10w 。

对此我的理解是：让用户付费购买爬取，爬取的数据更新到数据库，这部分数据也可以通过会员费来实现一部分盈利。但我感觉数据肯定是要达到一定量才能收费，否则用户开了会员能查的数据不多，就没意义了。所以一开始只能做爬取，所以要想盈利，就只能考虑如何降低流量成本？
也测试了快代理的国内隧道代理，偶尔能爬，昨天下午爬了 1500 页也没事，但是晚上就彻底不行了，各种重定向、响应超时，但是换国外 IP 就没问题。

疑问：
1. 有没有便宜的国外 IP 代理方案呢？
2. 国内 IP 为什么爬不了，用了 Playwright 作为下载中间件也不行，难道国内 IP 容易被亚马逊反爬虫识别？
3. 还是说我应该放弃这个爬虫方案？我看有些竞品是让用户自己电脑本地爬，但这样太慢了！但开发简单点，爬虫还要弄集群，负载均衡，数据量大了感觉数据库也是个问题，这方面都没做过，头大。

爬虫新手，希望有大佬能解解惑，感激不尽！

ns09005264

80 天前

我不了解爬虫代理的 IP 需求量是多少，不过我上个月做过类似的事，用的机场。
我自己买的两个 10 元机场加上机场白嫖分享，IP 加起来有 500 个左右，抛开无效和出口重复的，大概有 300 个 IP 左右，
如果找那种 1 元机场以及收集白嫖的，感觉应该能收集 1000 个 IP 没问题。

ns09005264

79 天前

看不到出口 IP ，不过可以自建公网服务后通过代理访问进行 IP 查询。

我是通过启动 clash ，然后通过 API 进行节点切换。例子是单线程的，每次请求后，切换一次节点。
如果要多线程，可以每个线程启动一个端口不同的 clash 进程，每个 clash 进程需要提前分配好节点配置。

还有更简单的的方式就是只启动一个 clash ，代理组设置为负载均衡，负载均衡的策略为 Round Robin ，然后就可以多线程通过代理爬取目标地址。clash 会自动切换节点。

还有更进一步的方法，如果你用 golang 开发，直接将 clash(mihomo)导入为库，解析配置后拿到 proxies 随便你怎么分配请求。

https://gist.github.com/MapoMagpie/b7fa02328e0b7cd0a4f4669feae94733.js

ns09005264

78 天前

@esee 相对爬虫请求来说切换节点不慢，上一个请求结束了立即重置 clash 的连接并切换节点，由于是本地服务，基本切换起来没什么延迟。

不过你说的把每个节点转换成本地 socks5 代理端口，我之前没听说过这种方案，搜索了下后，感觉确实是个不错的方案，本质是把每个节点变成一个入口，而 clash-meta 已经支持多入口。所以现在用机场当爬虫代理应该比较简单了。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1076743