好不容易做了网站有点流量，天天第三方爬虫来搞要放弃了

2021-06-30 22:44:59 +08:00
 herozzm

开了 cdn 每天开销不小，怎么办呢？逼我开验证码，看了一下对方是有大量 ip 池

1770 次点击
所在节点    问与答
11 条回复
NPC666
2021-06-30 22:58:52 +08:00
谷歌人机验证？
falcon05
2021-06-30 23:09:19 +08:00
这爬虫有什么特征吗？
herozzm
2021-07-01 00:00:35 +08:00
@falcon05 有 就是没有来源，直接访问，频率很高，但是 ip 不同
johnsona
2021-07-01 06:23:59 +08:00
查询 ip 是否属于云服务商 是的话直接 ban 掉

不行就 wx 扫码登陆
levelworm
2021-07-01 07:21:05 +08:00
@herozzm 难道每次都不一样的 ip 吗？同一个 ip 会短时间内连续访问几次？好奇。
hq136234303
2021-07-01 09:55:40 +08:00
只能找特征了 ip 池也不可能无限的吧。
40EaE5uJO3Xt1VVa
2021-07-01 10:32:59 +08:00
cdn 开销还好吧.www.injdk.cn, 我做的这个镜像,有段时间一天跑一百多个 g 的 cdn ,一看 nginx 日志,河南某个机房,都是同一个 ip 段一百多个 ip ,批量刷的
herozzm
2021-07-01 13:58:08 +08:00
@yanzhiling2001 就是怕封错，另外封了这个 ip 段，搞不好又来另外一个 ip 段
herozzm
2021-07-01 14:03:21 +08:00
@levelworm 感觉每次发起访问都是从 ip 池随机挑选了一个 ip，ip 没有规律
herozzm
2021-07-01 14:13:28 +08:00
@johnsona 查不到 ip 到底是什么，只能看到属于机房，唯一的特征是翻页到某个列表上百页后看，正常人不会的
herozzm
2021-07-01 18:57:20 +08:00
@johnsona 我把 ip 过滤出来，append，没法更多，有什么办法吗？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/786786

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX