shell curl 如何循环抓取 html 里的 meta refresh 跳转地址？

[qsbaq]

每个 html 页面里都有 <meta http-equiv="refresh" content="3; url=http://laoji.org>'; 这样的跳转，如何使用 shell 的 curl 循环抓取这个 url 进行跳转。
已经试 curl -L 的参数，因为这里没有发送 header 文件头，所以这里不会继续抓取。
求大佬指点一下~

[golmic]

curl 拿到 html，正则匹配 url，再 curl 跟进

[qsbaq]

@golmic 这个是不是应该用 shell 来写，可惜不会写 shell。求指导~

[lihongjie0209]

用 python 吧

[raysonx]

你确定你需要的不是无头浏览器？还有的页面是用 JavaScript 进行跳转的呢，比如 location.href=http://example.com 。

[Lostars]

发个网址看看

[golmic]

shell 写最简单，我看你标题里写着 shell 就说了 shell 的思路。Python 的话也很方便，requests、re 就搞定了，不到 10 行

[golmic]

发个网址吧，我给你写了

[qsbaq]

@golmic 我写的是 WordPress 的采集插件，这边有兴趣的话可以加我 QQ 私聊

[qsbaq]

@golmic QQ：3666-098-77

[qsbaq]

@Lostars 写的是 WordPress 采集插件 wp-jpost，这边想放入脚本里自动运行。所以上来问一下思路

[golmic]

@qsbaq #10 php 我不会写，shell 或 Python 可以顺手帮你写了。。

[qsbaq]

@golmic 大佬来帮写一个 shell 吧~