V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xyxc0673
V2EX  ›  Python

在爬正方教务系统的时候,遇到了重定向的问题

  •  
  •   xyxc0673 ·
    xyxc0673 · 2016-09-11 23:45:28 +08:00 · 3188 次点击
    这是一个创建于 2755 天前的主题,其中的信息可能已经有所发展或是发生改变。
    具体的问题是:
    我想把开放选课的时候某个课程的开班信息爬下来,然后我在第一次爬某个课程的开班信息成功爬了下来,然后我想爬其他的课程,结果我用相同的函数爬的时候,程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题,第二次就出现问题了?
    我爬几次所有可选课程都没有出错,但是在开班信息这里出现问题了,我在想是不是因为开班信息是在新窗口打开的?但是真正的原因是什么?
    7 条回复    2016-09-12 17:31:04 +08:00
    bianchensz
        1
    bianchensz  
       2016-09-12 08:49:33 +08:00

    随便搜了一下
    scnace
        2
    scnace  
       2016-09-12 09:10:22 +08:00 via Android
    f12 network 有惊喜 正方都是 iframe 。。。
    coderwen
        3
    coderwen  
       2016-09-12 09:16:29 +08:00
    同楼上,注意 network 抓包详情,如果有跳转记得点个 preserve log
    xyxc0673
        4
    xyxc0673  
    OP
       2016-09-12 10:43:56 +08:00
    @coderwen 实际上网页并没有跳转,而且我第一次爬的时候并没发生 TooManyRedirects 这个问题,但是在第二次爬的时候就出现上述问题,搞不清楚是什么原因
    xyxc0673
        5
    xyxc0673  
    OP
       2016-09-12 10:47:40 +08:00
    @bianchensz 加了 headers
    xyxc0673
        6
    xyxc0673  
    OP
       2016-09-12 10:48:47 +08:00
    @scnace 那个网页是在弹出来的新窗口中显示的
    zonghua
        7
    zonghua  
       2016-09-12 17:31:04 +08:00
    对于抓取的过程大家有什么建议吗?因为按顺序流程访问要函数里面写一大段代码,怎么样可以优化设计模式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5073 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:35 · PVG 17:35 · LAX 02:35 · JFK 05:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.