Python 中怎么执行 js?

[wsds]

场景：爬虫 遇到的问题：获取页面隐藏的 token 节点，难道通过接口爬的东西，还要去自动化打开网页，取到 token，再塞进接口里边？？

2 个问题： 1、python 如何执行 js 2、这种场景的问题，是怎么解决的？难道真要通过 selenium 取打开网页，去找到 token，再回过去把取的值，放到接口里边用？

[est]

纯 js 没有 DOM 的，你考虑清楚哦。

[qianc1990]

用 splash

[zthxxx]

https://pypi.org/project/PyV8/

[wly19960911]

解析 DOM，然后 xpath 直接取页面的数据不行吗。我记得 python 不是提供的吗？又不是 JS 渲染的页面，不需要 selenium。

[rabbbit]

import execjs
execjs.eval()

[wsds]

@wly19960911 python 可以解析 DOM 吗，通过 bs4?

[tulongtou]

读一下 JS 逻辑，用 Python 实现一下就好了，不必非要执行 JS

[wsds]

@tulongtou 就是要在 dom 中取值，python 能做到？

[wly19960911]

@tulongtou #7 我不了解 python 最近想试试爬虫玩玩，看了下 bs4 的介绍应该没什么问题，主要你搞错了问题。

你运行 JS 只是为了获取 html 的值的话没什么意义的。本身 JS 有意义的在于需要根据各种事件和功能去执行业务流程，去修改 DOM 只是一个必要的流程，不管哪个语言都有库解析 XML 和 HTML。不需要执行 JS 都可以

[wsds]

@wly19960911 是这个意思，但我只能想到用 js 去取啊，还有其他 方法 吗

[tulongtou]

@wly19960911 为什么是艾特我？

[wly19960911]

@tulongtou #11 抱歉 AT 错了，

[wly19960911]

@wsds #10 你刚刚说的 BS4 的库应该没问题，你可以看看各种教程。

[hahastudio]

如果这个值写在了 HTML 里，比如 <input name="token" type="hidden" value="blablabla"> 这样的，可以用 bs4，甚至你直接用 XPath，正则什么的都行的

[wsds]

@hahastudio
<input type="hidden" name="_token" value="UlORUHsXUBI7YKg2h73u8pEaWyqDhYioSa1ZYwUK">
取这个 value 的值

[wsds]

@hahastudio 现在的问题是，我 requests.get("http://szjw.changsha.gov.cn/ywcx/"),返回的 dom 中，找不到这个 input
好尴尬

[just1]

遇到过相同的问题，最后我选择了写 nodejs 脚本

[hahastudio]

@wsds 因为你想要的这个 token 是 iframe 里的
<iframe id="Frame_Content" src="http://www.cszjw.net/preselllicence" frameborder="0" scrolling="auto" style="width: 100%; height:100%; min-height:600px;"></iframe>
你打开 http://www.cszjw.net/preselllicence 就有了

[wsds]

@hahastudio 在 iframe 也没关系吧，requests.get()不是返回所有的 html 吗？

[wplct]

我也是最后选择了 node js 写了个 web 服务调用
在脚本上模拟一些环境，如
var navigator = {};
navigator.userAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
navigator.vendor = "Google Inc.";
// 电池状态相关
navigator.getBattery = function () {
var battery = {
charging: true,
chargingTime: 0,
dischargingTime: Infinity,
level: 1,
onchargingchange: null,
onchargingtimechange: null,
ondischargingtimechange: null,
onlevelchange: null
};
return new Promise(function (resolve, reject) {
resolve(battery)
});
};
然后在脚本后面开个服务器
// 导入 koa，和 koa 1.x 不同，在 koa2 中，我们导入的是一个 class，因此用大写的 Koa 表示:
const Koa = require('koa');
// const koaBody = require('koa-body');
// 创建一个 Koa 对象表示 web app 本身:
const app = new Koa();
// app.use(koaBody());
// 对于任何请求，app 将调用该异步函数处理请求：
app.use(async (ctx, next) => {
await next();
console.log(ctx.request.body)
// const body = ctx.request.body;
// if(!body.href){
// body.href = ''
// }
ctx.response.type = 'text/html';

ctx.response.body = get_isg('');
});

// 在端口 3000 监听:
app.listen(3000);
console.log('app started at port 3000...');