我想把 puppeteer,这个抓取网页的功能,做成一个 web 服务,具体来说,这个 web 服务接收两个参数,一个是网址 url,另一个是选择器 selector, web 服务接收这两个参数,然后 puppeteer 抓取这个 url,解析出 selector, 并返回 出这个 selector.
大致代码如下 :
const express = require('express')
const app = express()
app.get('/myurl/:url/:selector', function (req, res,page) {
const puppeteer = require('puppeteer');
var url=req.params.url;
var selector=req.params.selector
(async() => {
const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
const page = await browser.newPage();
await page.goto('
http://www.iciba.com/'+vocabulary); const html = await page.$eval(selector, e => e.outerHTML);
browser.close();
res.send(html);
})();
})
app.listen(5000, function () {
})
但这个代码有致命问题,它每次都启动一次 puppeteer, 每次都开新标签,用完之后,每次都关闭标签 。能不能这些动作都做一次,每次都复用相同的标签页,来打个页面,各位 nodejs 高手有办法吗?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/436667
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.