V2EX禁止抓取？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 4021 天前的主题，其中的信息可能已经有所发展或是发生改变。

想抓取V2EX的酷工作。

V2EX

抓取

禁止

14 条回复 • 1970-01-01 08:00:00 +08:00

dreamage

2013-04-29 20:34:41 +08:00

@ L 老板问问

BackBox

2013-04-29 20:35:07 +08:00

@Livid

yibin001

2013-04-29 20:41:41 +08:00

http头里加一个referer=v2ex.com应该就好了

swulling

2013-04-29 20:49:40 +08:00

抓取是禁不了的

orzfly

2013-04-29 22:05:07 +08:00

同，ucweb（塞班）访问也是400。
（别pia我说换手机或者不用uc，你若真用塞班还是会觉得uc很有必要的）

hzlzh

2013-04-29 22:15:19 +08:00

不用抓，api现成的，try：
http://v2ex.com/api/topics/show.json?node_id=43

wuyamoyun

2013-04-29 22:19:10 +08:00

塞班可以用opera正常

jacy

2013-04-29 22:33:54 +08:00

模拟成一个正常的浏览器试试，加上rederer,cookie之类的。

iloahz

2013-04-29 23:13:48 +08:00

借楼抱个不知道是特性还是bug的东西：在wp系统的uc浏览器中，后退键的结果是乱的。比如我访问首页->某主题，然后后退，有时就知道退到uc的首页了，也就是跳过了v2ex的首页
@Livid

GordianZ

MOD

2013-04-29 23:18:08 +08:00

没有 user agent 的全部返回 400.

mikuazusa

2013-04-29 23:56:40 +08:00

@GordianZ @BackBox 貌似听L说是V2EX的防DDos逻辑里加了对HTTP Request Header的检测...可以试试伪造一个完整的Header去抓，另外即使有UA貌似不符合规则的貌似也一样400

workaholic

2013-04-30 10:53:05 +08:00

部分节点需要登录，肯定可以抓的

BackBox

2013-04-30 20:05:04 +08:00

@mikuazusa 有理！！
居然为了防DDOS加了HTTP Request header验证，

但是iptables不能对http request header验证。
到了应用服务器验证，也就没有多大效果了。。毕竟也阻塞了。

yeshang

2013-04-30 20:49:15 +08:00

明显 @Livid 不理你