请教爬虫代理方案,成本太高了!

80 天前
 callmejoejoe
想做亚马逊爬虫,用国内隧道代理和国外动态数据中心 IP 、动态住宅 IP 进行了测试:
国外动态住宅 IP 最优,但价格最贵;
国外动态数据中心 IP 也可以,但价格也贵,普遍是 8 元/1GB ,这样我的成本是 0.004 元/1page ,成熟竞品售价是 0.001 元/1page ,哪怕是 2 元,我的成本也跟竞品的销售价一样!根本赚不了钱。

还是说我需要考虑整体盈利模式?成熟竞品的收费模式大概是:
1. 基本会员:几十元一个月,可以查询数据,不可以爬取数据。
2. 付费购买流量进行爬取:98 元,可爬 10w 数据,0.001 元/1page ,每天最高可爬 10w 。

对此我的理解是:让用户付费购买爬取,爬取的数据更新到数据库,这部分数据也可以通过会员费来实现一部分盈利。但我感觉数据肯定是要达到一定量才能收费,否则用户开了会员能查的数据不多,就没意义了。所以一开始只能做爬取,所以要想盈利,就只能考虑如何降低流量成本?
也测试了快代理的国内隧道代理,偶尔能爬,昨天下午爬了 1500 页也没事,但是晚上就彻底不行了,各种重定向、响应超时,但是换国外 IP 就没问题。

疑问:
1. 有没有便宜的国外 IP 代理方案呢?
2. 国内 IP 为什么爬不了,用了 Playwright 作为下载中间件也不行,难道国内 IP 容易被亚马逊反爬虫识别?
3. 还是说我应该放弃这个爬虫方案?我看有些竞品是让用户自己电脑本地爬,但这样太慢了!但开发简单点,爬虫还要弄集群,负载均衡,数据量大了感觉数据库也是个问题,这方面都没做过,头大。

爬虫新手,希望有大佬能解解惑,感激不尽!
4864 次点击
所在节点    程序员
33 条回复
viking602
80 天前
我们两套方案 一套是用机场 后端不断自动切换 IP 还有一套就是买数据中心代理 买了很多家 然后做负载均衡轮训
MFWT
80 天前
国内 IP 毕竟还是会涉及到过墙问题,卡顿慢很正常
做大的那些主要还是靠量来堆,以及提高代理 IP 重用率,用各种来源的 IP (甚至有不光彩的手段,比如盗用家宽),等等
qsnow6
80 天前
2 楼说的对,业内大玩家基本都是通过肉鸡降成本的,这不是常规技术手段能解决的问题。
callmejoejoe
80 天前
@viking602 机场我也想到了,晚点试一试;数据中心的代理是包月吗还是按量?感觉对我这一个人瞎搞的成本还是太高了😂
callmejoejoe
80 天前
@MFWT
@qsnow6
好吧,我说他们成本怎么那么便宜,看来这比我想象中的复杂多了
viking602
80 天前
@callmejoejoe #4 数据中心代理这个都有 主要是找相对便宜的
yunlongV
80 天前
一般动态住宅 IP 都有无限制流量套餐,大概$200 一天,有并发数和总带宽限制。按照流量买的越多越便宜,一般在$0.8/gb 左右,还是推荐买动态住宅 IP 。
laiyibeimeishi
80 天前
看看 ipv6 呢?
zqqzqq
80 天前
NoOneNoBody
80 天前
开 100 个 tor
xcsoft
80 天前
可以试试 ipv6, 有些服务商的服务器 v6 都是给整个段的 还不贵

但是不懂 ISP 的 ip 会不会有影响
Ritter
80 天前
op 代理 IP 哪家买的 可以推荐一下吗
aru
80 天前
aws 、digitalocean 、linode 这些 ip 能不能爬?
他们的都可以很容易的换 IP
比如用 aws ,可以创建一个实例负责调度和数据库
其他的用 spot 实例,下载流量不算钱,同一个区域内的流量也是免费的
Kinnice
80 天前
别拿一个 IP 连续爬,分布负载均衡一下。
callmejoejoe
80 天前
@viking602 好的谢谢
@yunlongV 对个人来说还是太贵了
@laiyibeimeishi ipv6 不知道可不可行,晚点试试
@NoOneNoBody tor 是啥?
callmejoejoe
80 天前
@Ritter 我还没买,有些提供免费测试的
@Kinnice 目前只是用代理的 api 返回的 ip 直接随机爬
@aru 感觉不可行啊,换 ip 的操作不麻烦吗?
aru
80 天前
@callmejoejoe
可以通过 api 操作
hujnnn
80 天前
亚马逊卖家, 他们基本都是用卖家精灵这些非常专业的工具.

你需要考虑你的用户是谁? 国内的卖家么, 他们都很抠的希望能白嫖.

如果你的目标用户是国外的卖家, 他们的付费意愿还是比较强的, 但你需要解决如何获取流量并转化流量.
callmejoejoe
80 天前
@aru 不是做后端的,看了一下文档挺复杂的,留作后备计划后续再了解了😂

@hujnnn 流量转化这些问题是后面的事了,😂目前得先把这个可行性问题解决了
vicv
79 天前
大佬国外的隧道代理在用哪家?我也参考一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1076743

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX