shell curl 如何循环抓取 html 里的 meta refresh 跳转地址？
qsbaq · 2018-09-10 16:54:02 +08:00 · 3127 次点击这是一个创建于 2047 天前的主题，其中的信息可能已经有所发展或是发生改变。
每个 html 页面里都有 <meta http-equiv="refresh" content="3; url=http://laoji.org>'; 这样的跳转，如何使用 shell 的 curl 循环抓取这个 url 进行跳转。
已经试 curl -L 的参数，因为这里没有发送 header 文件头，所以这里不会继续抓取。
求大佬指点一下~
已经试 curl -L 的参数，因为这里没有发送 header 文件头，所以这里不会继续抓取。
求大佬指点一下~
 |
1
golmic 2018-09-10 16:56:42 +08:00 via Android
curl 拿到 html，正则匹配 url，再 curl 跟进
|
 |
3
lihongjie0209 2018-09-10 17:03:30 +08:00
用 python 吧
|
 |
4
raysonx 2018-09-10 18:39:20 +08:00 via Android
你确定你需要的不是无头浏览器？还有的页面是用 JavaScript 进行跳转的呢，比如 location.href=http://example.com 。
|
 |
5
Lostars 2018-09-10 19:05:57 +08:00
发个网址看看
|
|
6
golmic 2018-09-10 19:45:37 +08:00 via Android
shell 写最简单，我看你标题里写着 shell 就说了 shell 的思路。Python 的话也很方便，requests、re 就搞定了，不到 10 行
|
|
7
golmic 2018-09-10 19:45:59 +08:00 via Android
发个网址吧，我给你写了
|
Select Language