首页   注册   登录
 Martzki 最近的时间轴更新
Martzki

Martzki

V2EX 第 330308 号会员,加入于 2018-07-20 10:00:18 +08:00
MongDB 文档格式设计求助
问与答  •  Martzki  •  2019-03-17 14:55:47 PM  •  最后回复来自 stabc
2
Scrapy-Splash 问题求教各路大神! Splash 似乎没有渲染网页!
  •  1   
    Python  •  Martzki  •  2019-02-28 12:18:06 PM  •  最后回复来自 Martzki
    7
    部署 CAS 单点登录时导入 Gradle 工程求助
  •  1   
    Java  •  Martzki  •  2018-07-20 14:27:55 PM
    Martzki 最近回复了
    多谢楼上各位 挂了很久发现确实下完了
    但是印象中遇到过一直不显示大小而且下载的流量比文件本身都大很多的情况
    问题解决了
    问题出在新类对象调用接口前的父类对象的 addSeries 调用
    我猜测是 addSeries 会对参数 Series 进行一定的操作比如清空
    但是实际打印了一下 series 的地址和 series 的 count
    发现都是一样的
    但问题确实是上面调用了 addSeries 的原因
    具体原因还真搞不清楚了
    2019-02-28 12:18:06 +08:00
    回复了 Martzki 创建的主题 Python Scrapy-Splash 问题求教各路大神! Splash 似乎没有渲染网页!
    后面换用 selenium+PhantomJS 可以了,splash 还是没能成功
    2019-02-26 10:29:04 +08:00
    回复了 Martzki 创建的主题 Python Scrapy-Splash 问题求教各路大神! Splash 似乎没有渲染网页!
    @SpiderXiantang 多谢,用 splash 是因为了解到比 selenium 效率高。另外我对 web 实在是没有什么基础,能不能请您提示一下下一步应该怎么处理
    2019-02-25 21:49:58 +08:00
    回复了 Martzki 创建的主题 Python Scrapy-Splash 问题求教各路大神! Splash 似乎没有渲染网页!
    @wenbinwu 感谢回复,最高设置到 60 秒,还是不行!
    2019-02-25 21:24:04 +08:00
    回复了 lovezww2011 创建的主题 Python 使用 Scrapy 爬取股票代码
    老哥你好,最近在学 scrapy-splash,我的 splash 似乎没有起到渲染的作用,不知道是 splash 的问题还是网页的问题。
    具体来说,是爬取一个表格,表头存在,表内容由 JS 函数填充。
    网页: https://www.aqistudy.cn/historydata/daydata.php?city=%E6%AD%A6%E6%B1%89&month=201312
    splash 版本:3.3.1
    OS 版本:Windows 10 专业版
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3001 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 15ms · UTC 12:53 · PVG 20:53 · LAX 05:53 · JFK 08:53
    ♥ Do have faith in what you're doing.