为何curl取不到内容？

[bigdude]

各位试试这个 curl "http://brand.tmall.com/azIndexInside.htm?firstLetter=A&prt=1342414752421&prc=5" 能否取到内容。

初步研究貌似跟referer、useragent等无关。

[yujnln]

可以。
>>> print len(content)
87031

[bigdude]

@yujnln 你用的python？我用urllib2老是告诉我
urllib2.HTTPError: HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Moved Temporarily

[yujnln]

@bigdude 是的。
你可以参考下这里 http://stackoverflow.com/questions/9113652/how-do-i-set-cookies-using-python-urlopen

[bigdude]

抓狂·······
>>> a=urllib.urlopen('http://brand.tmall.com/azIndexInside.htm?firstLetter=A&prt=1342414752421&prc=5')
>>> len(a.read())
0

[bigdude]

@yujnln ok了，必须要带cookie，不带不让抓。

[est]

@bigdude 不需要cookie也可以的

curl -vL "http://brand.tmall.com/azIndexInside.htm?firstLetter=A&prt=1342414752421&prc=5"

[bigdude]

@est 了解了，强制让curl follow这个链接，用-L就行了，搞不懂淘宝为何搞这么多跳转