V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  xiushenbuhuihui  ›  全部回复第 1 页 / 共 1 页
回复总数  7
2019-07-09 11:11:21 +08:00
回复了 huyu 创建的主题 Python Scrapy 的 CrawlSpider+selenium 爬取一个网站,出现了一些问题
使用 selenium 后将 scrapy 的异步模式改成了同步模式,保存到 item 会相对之前慢一些,让程序跑一会就有结果了
2019-06-14 13:42:43 +08:00
回复了 xiushenbuhuihui 创建的主题 Python scrapy 框架中的 crawlspider 爬虫问题请教!
@fank99 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码
2019-06-14 13:42:29 +08:00
回复了 xiushenbuhuihui 创建的主题 Python scrapy 框架中的 crawlspider 爬虫问题请教!
@luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码
2019-06-14 11:21:26 +08:00
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 但是爬取到 这一页面时,
2019-06-14 11:20:44 +08:00
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码
2019-06-14 11:20:15 +08:00
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
2019-06-14 11:17:39 +08:00
回复了 luanguang 创建的主题 杭州 杭州滨江租房真的被中介给垄断了吗……心好累啊
@luanguang 滨江租房子贼贵
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1010 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 22:53 · PVG 06:53 · LAX 15:53 · JFK 18:53
Developed with CodeLauncher
♥ Do have faith in what you're doing.