请教一个爬虫问题， scrapy 访问被转向手机站

2016-07-14 18:16:55 +08:00
 yutian2211
为啥我使用 scrapy 来抓取 http://www.fieldschina.com/zh/index.html ，他都会直接 302 转向 m.fieldschina.com?
我伪造了 User Agent ，不应该是通过 user Agent 来判断的，电脑上用 Chrome 打开正常，说明不是通过 ip 来判断的。
我使用 Chrome 隐私模式来访问，结果也正常，觉得应该不是 cookies 来判断。。
看一下 response header,用的是 php...

请教一下大家，我的思路有没问题？ php 识别客户端正常使用的是什么方法 ？哪些变量？

非常感谢！
2710 次点击
所在节点    Python
4 条回复
Moker
2016-07-14 18:20:33 +08:00
直接 curl 并没有你说的那个问题啊
binux
2016-07-14 18:26:28 +08:00
就是 UA ，确认你的 UA 设置对了。
yalay
2016-07-14 18:31:13 +08:00
同意楼上，就是 ua 关键词判断， ua 设置为 PC 上的 ua 。
yutian2211
2016-07-15 09:44:36 +08:00
感谢，我的 UA 在总开关那设置有问题，谢谢

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/292540

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX