最近在做一个网页爬虫,先抓取列表页面,再获取列表页所有内容页的 url,然后将所有列表页的 url 循环调用抓取方法,这样导致抓取的顺序不可控,想知道如何能够控制抓取的顺序。 例如:正在抓取 A 页面, A 页面抓取完毕;正在抓取 B 页面, B 页面抓取完毕...按这样的顺序执行。
抓取函数:
function doRequest (url) {
console.log(chalk.red(`正在抓取 ${url} 的内容...`));
return new Promise ((resolve, reject) => {
request
.post(url)
.set(headers)
.charset('utf-8')
.then(result => {
resolve(result.text);
console.log(chalk.red(`${url} 的内容抓取完毕!`));
})
.catch(err => {
reject(err);
})
});
}
调用
// 请求列表
doRequest('list.html')
.then(content => {
return this.parseList(content); // 得到所有的内容页面地址
})
// 请求内容页
.then(links => {
return Promise.all(links.map(link => {
return doRequest(link);
}))
})
.then (allContent => {
console.log(allContent);
})
执行的结果
这个结果不是按照顺序来的。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.