爬虫相关，关于 XPath 的疑问

[MrVito]

http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733222 http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733213

在上面这两个链接中我想获取对应的基金名称，我在浏览器里面获取到的 full XPath 如下

/html/body/table/tbody/tr/td[2]/table/tbody/tr[1]/td[1]/div/table[1]/tbody/tr[2]/td/div/div/table/tbody/tr[1]/td[2]/p

但是第二个链接中我能顺利获取到值，第一个获取到的内容为空

为了给大佬省事，对应的代码如下

from ast import main
from fake_useragent import UserAgent
from lxml import etree
import requests

ua = UserAgent()
headers = {"user-agent": ua.random}
url1 = "http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733222"
url2 = "http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733213"


def get_fund_name(url: str):
    x = requests.get(url, headers = headers)
    selector = etree.HTML(x.content)
    fund_name = selector.xpath('/html/body/table/tbody/tr/td[2]/table/tbody/tr[1]/td[1]/div/table[1]/tbody/tr[2]/td/div/div/table/tbody/tr[1]/td[2]/p/text()')
    return fund_name

print(get_fund_name(url1))
print(get_fund_name(url2))

output 如下

[]
['长信利盈灵活配置混合型证券投资基金']

我仔细对比了这两个网页，实在是找不到原因……

[dongtingyue]

有些 dom 是 js 渲染的

[MrVito]

@dongtingyue 你可以看下这个网页，应该是纯静态的

[Stoney]

@MrVito get 里面加个 wait 设置等待时间？有时候是没来得及加载出来吧

[humbass]

2202 年的爬虫应该用 JS 来实现更强大；比如 Puppeteer

[tankren]

用 try+except 抛个异常看看，为啥要用绝对路径啊，不是不推荐吗

[MrVito]

@tankren 相对路径我也取不到……所以就用绝对路径了

[MrVito]

@Stoney 加了一个 timeout = 10 ，也还是不对……

[MrVito]

@tankren 也没有抛异常出来……

[MrVito]

@humbass 对 js 不熟……

[zengxs]

试试这个

//*[contains(text(), '基金名称')]/../../td[2]/p/text()

[MrVito]

@zengxs 卧槽，你这个确实可以，这个思路好像也是对的。但是我还是想不明白我那种为啥不行……

[zengxs]

@MrVito 因为两个页面的 html 内容不一样，你需要找到二者之间相同的特征才行

[MrVito]

@zengxs 问题是我用的 full xpath ，从浏览器提取出来的这两个页面的都是相同的呀？

[zengxs]

@MrVito 那可能是这个页面的 html 不规范，导致浏览器和 lxml 解析出来的 dom 不一样

[humbass]

网页是 JS 写的，爬虫当然是 JS 来写解析 DOM 结构也是天然的！ Python 是过去式了；

```
const jsdom = require('jsdom')
const axios = require('axios')
;(async () => {
const url =
'http://eid.csrc.gov.cn/xbrl/REPORT/HTML/2022/FC190100/CN_50470000_009421_FC190100_20220039/CN_50470000_009421_FC190100_20220039.html'
const response = await axios.get(url)
const result = new jsdom.JSDOM(response.data)
const table = result.window.document.querySelector('#tabItem0')
const title = table.querySelectorAll('p')[1].textContent
console.log('title:', title)
})()

``

[zjuster]

如果 Xpath 写的绝对路径太多了，可能要比较一下两个页面（虽然链接一致），但在 Dom 结构可能不一致的情况。
写的宽泛一点试试看。

[wxf666]

@humbass 问一下，看起来都是调包，Python 是有啥明显的坑吗？

[humbass]

@wxf666 也不是说 Python 有坑，而是网页解析这玩意本身就是 JS 的领域。

[zengxs]

@humbass 这个是和底层的 html parser 有关，和语言关系不大，jsdom 用的 html parser 和浏览器的也不一样

[wxf666]

@humbass js 本身也没有啥特别的语言特性，是用于描述 DOM 的吧

你是想说，无头浏览器能方便地，执行一些自己的 js 代码？