推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
scrapy 如何爬取网页元素显示样式设置为不可见（即 style="display:none"）标签下的内容
godluo · 2018-10-28 23:52:35 +08:00 · 4171 次点击这是一个创建于 2253 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，scrapy 新手请教，如何爬取网页元素显示样式设置为不可见（即 style="display:none"）标签下的内容：
网页源码如下：
<dl class="xxx" style="display:none">
<li>
<span class="fl">text1</span>
<p class="fl">text11</p>
</li>
<li>
<span class="fl">text2</span>
<p class="fl">text22</p>
</li>
</dl>
请教如何操作？谢谢！
网页源码如下：
<dl class="xxx" style="display:none">
<li>
<span class="fl">text1</span>
<p class="fl">text11</p>
</li>
<li>
<span class="fl">text2</span>
<p class="fl">text22</p>
</li>
</dl>
请教如何操作？谢谢！
 |
1
Trim21 2018-10-29 00:31:22 +08:00 via Android
元素 display:none 会导致 xpath 选不到吗？
|
 |
2
thedog 2018-10-29 00:56:06 +08:00 via Android
不可见，源码里还是有的，有什么影响吗？
|
 |
3
zhijiansha 2018-10-29 09:45:39 +08:00
一样可以 xpath 取到的
|
 |
4
xpresslink 2018-10-29 10:13:09 +08:00
不可见样式是指浏览器渲染方式不让人眼见，然而你爬虫取到的是网页的字符串。
|
 |
5
Qzier 2018-10-29 13:40:44 +08:00 via iPhone
有什么区别吗？
|
 |
6
godluo OP scrapy shell ，元素 display:none 会导致 xpath 选不到。
|
Select Language