亲爱的 v2ex,我要向你道歉。

2015-12-31 15:10:15 +08:00
 JamesWone

昨日下午三点半左右,你们运维肯定检测到了一股来自成都某地的异常 IP 。
额,没错那是我干的~

事情是这样滴,前两天闲着没事又无聊~然后我就尝试着自己写了个多线程爬虫框架...两天功夫,就写完了...写完了得测试啊...然后我就寻思着写了个 DEMO...

额,就是这个啦...https://github.com/JamesWone/Spy

然后今天我想再测试的时候,整死跑不出东西...我还以为我代码有问题呢...于是重构..再跑..再重构..再跑~要抓狂了有木有....
难道是我 ip 被小黑屋了?打开 Chrome....果然被"Acceess Denied"了....

oh~mygod~我完全不是故意的啦~一股罪恶感犹然而上心头~希望 V2EX 不要封我的号啦~毕竟这是我的处女贴啊~QAQ

额~事情就是酱紫...

PS:你们运维反应真快,为 V2EX 点个赞~

5571 次点击
所在节点    成都
27 条回复
Liang
2015-12-31 15:12:39 +08:00
大大已报警了。。。看看你最近是否有快递
Ellison
2015-12-31 15:17:11 +08:00
然而...你多 F5 试试...
JamesWone
2015-12-31 15:17:50 +08:00
@Liang 大哥我胆子小~不要吓我~
Slienc7
2015-12-31 15:19:36 +08:00
后台程序自动封的,访问频率过高自动屏蔽对应 IP ,这种应该还不需要人工操作,安心。
JamesWone
2015-12-31 15:21:33 +08:00
@xgowex V2EX 昨天都是可以爬的,明显今天才加的反爬虫措施。
sandideas
2015-12-31 15:23:20 +08:00
自动封的。。
我记得以前弄自动签到的时候有个错误没想出为什么
多弄了几次就被封了三天
warlock
2015-12-31 15:24:21 +08:00
spy.go 49 行 for w.resp == nil {} 这不会死循环吗?
Slienc7
2015-12-31 15:24:40 +08:00
@JamesWone 几年前就有了。
JamesWone
2015-12-31 15:27:52 +08:00
@warlock 那个 for{}是为了起阻塞的作用,因为不确定 goroutine 是否已经执行完毕。
justjavac
2015-12-31 15:54:46 +08:00
如何看待知乎又挂了?
justjavac
2015-12-31 15:55:12 +08:00
靠,发错地方了。 https://www.v2ex.com/t/247465
JamesWone
2015-12-31 15:57:25 +08:00
@justjavac 我用 PHP 有写过一个知乎爬虫,然后当天下午知乎就挂了,那一夜我彻夜难眠....
justjavac
2015-12-31 15:59:19 +08:00
@JamesWone 之前我用 C 语言写过一个 hello world ,结果那天晚上汶川地震了,那一夜我彻夜难眠....
warlock
2015-12-31 16:02:06 +08:00
@JamesWone
1 、 golang 的包名 似乎应该小写
2 、我感觉那里不需要你自己阻塞
3 、死循环也叫阻塞?
mystryl
2015-12-31 16:30:21 +08:00
我三脚猫的功夫写了一个脚本爬限制 ip 的收费资讯网站 5 分钟一次
跑了 3 个月了。。。。期间客服问过我一次干嘛的,我说我挂了个自动刷新
然后就没事了。。
imn1
2015-12-31 16:36:32 +08:00
@justjavac
还是你厉害!!!
usb
2015-12-31 16:40:14 +08:00
@justjavac 23333
lxjsmdc
2015-12-31 16:43:56 +08:00
我每天都 Acceess Denied 几次
等 10 分钟过后就行了

因为我习惯每次打开 N 个帖子再浏览
JamesWone
2015-12-31 16:45:18 +08:00
@warlock 关于阻塞这个是版本遗留问题了,因为第一版的时候 Spy 句柄是可以在 Filter 中动态的异步回调的,第二版然后就去掉了异步回调改成了 Spy.Sub()同步回调,这样其实这个 for{}就没有必要了,多谢你的提醒哦,我会更进的。
JamesWone
2015-12-31 16:45:36 +08:00
@justjavac 纠正一下,汶川地震是下午....

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/247459

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX