网站日志找到大量 Python -urllib/2.7 之类的，是爬虫吗？
tianxiacangshen · 2017-05-04 20:30:39 +08:00 · 7012 次点击这是一个创建于 2749 天前的主题，其中的信息可能已经有所发展或是发生改变。
2017-05-04 06:08:14 120.xx.xxx.xxx GET / - 80 - 58.211.2.120 Python-urllib/2.7 200 0 0 54
持续两三天了，每秒钟几十次记录，这是网站被攻击还是有人采集内容？
持续两三天了，每秒钟几十次记录，这是网站被攻击还是有人采集内容？
32 条回复 • 2017-07-16 11:44:37 +08:00
 |
1
misaka19000 2017-05-04 21:11:01 +08:00 via Android
这爬虫还把自己给暴露出来。。。神奇
|
 |
2
woshinide300yuan 2017-05-04 21:11:46 +08:00
这不是明显的该屏蔽的吗 - -
|
 |
3
billlee 2017-05-04 21:54:55 +08:00  2
耿直的爬虫
|
 |
4
notes 2017-05-04 22:17:57 +08:00 via Android
目测新手，用的还是自带的 urllib
|
 |
5
Yc1992 2017-05-04 22:18:55 +08:00 via Android 1
脚本小子
|
 |
6
wspsxing 2017-05-04 22:59:57 +08:00
UA 都不改一下，差评妥妥的。
|
 |
7
ywgx 2017-05-04 23:06:42 +08:00
留着过年？
|
 |
8
LokiSharp 2017-05-04 23:07:42 +08:00
估计故意的。。。看看有没有人处理
|
 |
9
richardma 2017-05-05 01:08:54 +08:00
猖狂的爬虫，23333
|
 |
10
tonychow 2017-05-05 01:11:52 +08:00
显然爬虫, 都不知道隐藏下 UA
|
 |
11
araraloren 2017-05-05 08:29:07 +08:00
～～
再明显不过的爬虫了。。 封了 IP 呗 |
 |
12
crackhopper 2017-05-05 08:43:18 +08:00
666666
|
 |
13
yanzixuan 2017-05-05 08:50:08 +08:00
连 UA 都不知道改的，估计是新手。另外你们的网站不设置一个 Limiter，限制一下一天的总的访问次数么？
如果对方换 IP，你就限制下 1 分钟 /1 小时之内的访问次数吧。 |
 |
14
tttty 2017-05-05 09:41:13 +08:00
请问一下，如果遇到爬虫直接封 IP，这样不是会导致共用公网 IP 的用户误伤吗.. 比如校园网、网吧什么的？
|
 |
15
hard2reg 2017-05-05 09:52:20 +08:00 via iPhone
弱弱的问下，requests 的默认 ua 是啥
|
 |
16
jy02201949 2017-05-05 09:52:42 +08:00
真是耿直啊，而且还在用 urllib，新手随便抄了网上哪个教程弄的爬虫吧
|
 |
17
anexplore 2017-05-05 09:58:35 +08:00
使用验证码机制啊
|
 |
24
liuxu 2017-05-05 11:31:52 +08:00
我虽然是个爬虫，但我行事坦荡，从不遮遮掩掩
|
 |
25
fuxkcsdn 2017-05-05 11:35:44 +08:00 1
@hard2reg
>>> import requests >>> requests.get('http://httpbin.org/user-agent').text u'{\n "user-agent": "python-requests/2.12.3"\n}\n' |
 |
26
hsmocc 2017-05-05 15:20:30 +08:00 via iPhone
封 IP 显然是下策啊，一段时间内访问次数达到一个上限后出验证码吧
|
 |
27
tianxiacangshen OP @hsmocc 这样的话 每一次访问都要查询（次数）+插入数据库，不是很占用资源吗
|
 |
29
dsg001 2017-05-05 17:52:51 +08:00
这种 UA 直接返回乱码数据呗
|
 |
30
qinbingchen 2017-05-05 21:40:26 +08:00
难道这是我?
|
 |
31
flyshu 2017-05-06 10:43:42 +08:00
新手刚看了知乎的入门教程来练手了
|
 |
32
dreamcountry 2017-07-16 11:44:37 +08:00
我的网站也有大量的这种日志，这些人真是闲的蛋疼
|
Select Language