htmlparsing: 纯净简单的 HTML 解析库

[prasanta]

HTML Parsing

纯净的 HTML 解析库, 取代复杂的 beautifulsoup4, pyquery, lxml

github: https://github.com/gaojiuli/htmlparsing

安装

pip install htmlparsing

# or

pip install git+https://github.com/gaojiuli/htmlparsing

用法

import requests

from htmlparsing import Element

url = 'https://python.org'
r = requests.get(url)

初始化

e = Element(text=r.text, base_url=url)

获取页面中的链接

e.links
"""
{...'/users/membership/', '/events/python-events', '//docs.python.org/3/tutorial/controlflow.html#defining-functions'}
"""


e.absolute_links
"""
{...'https://python.org/download/alternatives',  'https://python.org/about/success/#software-development', 'https://python.org/download/other/', 'https://python.org/community/irc/'}
"""

选择器以及选择属性

e.xpath('//a')[0].attrs
"""{'href': '#content', 'title': 'Skip to content'}"""

e.xpath('//a')[0].attrs.title
"""Skip to content"""

e.css('a')[0].attrs
"""{'href': '#content', 'title': 'Skip to content'}"""

e.parse('<a href="#content" title="Skip to content">{}</a>'))
"""<Result ('Skip to content',) {}>"""

获取文本内容和整个 HTML

e.xpath('//a')[5].text
"""PyPI"""

e.xpath('//a')[5].html
"""<a href="https://pypi.python.org/" title="Python Package Index">PyPI</a>"""

e.xpath('//a')[5].markdown
"""[PyPI]( https://pypi.python.org/ "Python Package Index")"""

目前支持的选择器: xpath, css ,parse

github: https://github.com/gaojiuli/htmlparsing

[engHacker]

恕我直言，我感觉你这是对 kenneth 大神的 requests-html( https://github.com/kennethreitz/requests-html)低配仿造啊……

[prasanta]

@engHacker 是啊，我只是做一个不绑定 requests 的而已

[lhx2008]

还是解析神器 pyquery 好用

[lhx2008]

pyquery 链接就直接 d("a")啊，xpahth 不是更麻烦

[polythene]

恕我直言，要不是有人指出来，你会提出这是“参考”了 kenneth 大神的项目吗？

[xuyl]

@polythene 一定要这么步步紧逼吗？哈哈，打脸打得好

[prasanta]

@polythene 我是先给他提了 issue，对于 html 和 element 作为共同的东西看待，他没回复，我就实现了一个。

[prasanta]

提 pr 改动太大。

[prasanta]

@lhx2008 事确实 pyquery 更好