大家都是怎么解析抓取到的 HTML 文件的？

[mthli]

有的网站没有API接口，如果要想抓取数据的话就必须解析HTML自己提取内容了。

一般来说我会直接遍历，找到特定的标签（或者字符），然后再自己提取内容。如果标签比较多的话就觉得有点烦，毕竟写起来自己也麻烦。所以想问一下有没有什么更好的方法（或者是那种脑洞大开的方法）？

[ZzFoo]

用Xpath吧

[mhycy]

正则表达式

[mthli]

@ZzFoo 看上去好像很不错的样子。值得一试 :)

[mthli]

@mhycy 嗯，我原来是打算正则的。

[paulw54jrn]

xpath, xquery , xslt 都可以~

[mthli]

@paulw54jrn 嗯嗯，thx~

[Automan]

有很多HTML DOM parser，用起来比正则方便多了。。

[mthli]

@Automan 正是如此，主要我也懒得写正则，哈哈。

[paulw54jrn]

beautifulSoup 挺方便的~

[mthli]

@paulw54jrn 嗯，收下了。不过我是打算用Java。以后写Python的时候再用。

[ghy459]

@mthli java 有类似 bs 的 htmlunit。

[lcxseima]

@mthli java的话jsoup也算一个。都很方便。

[ericls]

pyquery

[scusjs]

jsoup

[belin520]

什么语言好像都有**query之类的库。

[tinyhill]

node + jquery

[mthli]

@ghy459 嗯，刚搜到。

[neverno]

beautifulsoup

[baka]

在用beautifulsoup之前一直都是粗暴split的

[mthli]

@baka 啊哈哈哈。