推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
用 BeautifulSoup 分析百度贴吧的页面，为什么只能提取前 60 多行的数据呢？
liaipeng · 2015-07-27 11:33:31 +08:00 · 3132 次点击这是一个创建于 3406 天前的主题，其中的信息可能已经有所发展或是发生改变。
f = urllib.urlopen(url).read()
soup = BeautifulSoup(f, 'html.parser')
如上面的代码，f打印出来看了是完整的页面，有几百行，但是把soup打印出来只有60多行。爬取其他网页的数据整成，就是爬百度贴吧的帖子会出现这种情况，是什么原因呢？
soup = BeautifulSoup(f, 'html.parser')
如上面的代码，f打印出来看了是完整的页面，有几百行，但是把soup打印出来只有60多行。爬取其他网页的数据整成，就是爬百度贴吧的帖子会出现这种情况，是什么原因呢？
 |
1
WhiteLament 2015-07-27 11:59:08 +08:00  1
'html.parser' 换成 'lxml' 试试？
|
 |
2
lingo233 2015-07-27 12:01:47 +08:00
我记得贴吧未登录只能看一页的内容。
|
 |
3
iyaozhen 2015-07-27 12:02:53 +08:00
2 楼应该是真相。
|
 |
4
liaipeng OP @WhiteLament
提示这个，对BeautifulSoup模块还不熟悉，第一次接触 Couldn't find a tree builder with the features you requested: lxml.parser. Do you need to install a parser library? |
 |
6
yappa 2015-07-27 12:16:03 +08:00 1
html.parser改成lxml，或者html5lib,这两个模块都要先安装
|
|
9
WhiteLament 2015-07-27 12:36:55 +08:00
你没安装
pip install lxml |
|
10
yappa 2015-07-27 12:38:54 +08:00
估计你是从文档里面复制出来的代码，“html.parser”是“html解析器”的意思，你要找到适合的解析器，lxml,html5lib就是所谓的“html.parser"。
|
|
11
WhiteLament 2015-07-27 12:39:11 +08:00
有些页面不够规范，不同解析器兼容不一样，造成结果不同。
我也遇到过，换一个解析器就好了 |
|
12
liaipeng OP |
Select Language