首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
crawlspider 爬取全网站原网站信息不全,目前怀疑主要是相对链接没有被转化为绝对链接
xiushenbuhuihui
·
2019-06-14 11:24:58 +08:00
· 1094 次点击
这是一个创建于 1974 天前的主题,其中的信息可能已经有所发展或是发生改变。
您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码
链接
代码
页面
取乐
1 条回复
1
z1421012325
2019-06-17 00:32:26 +08:00
scrapy 框架的话有个方法 response.urljoin(你提取出来的链接) 可以补全
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2745 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms ·
UTC 12:03
·
PVG 20:03
·
LAX 04:03
·
JFK 07:03
Developed with
CodeLauncher
♥ Do have faith in what you're doing.