如何镜像一个 MediaWiki 网站?

2023-04-16 13:10:55 +08:00
 baobao1270

想要备份一个国内小众圈子的 Wiki ,害怕哪天整个站都被屏蔽了

  1. 不是维基百科,对方也不提供 dump 文件,所以不能使用「离线 Wiki 浏览器」之类的东西
  2. 想要采集 Wiki 语言格式的文件内容,而不是 HTML 格式
1405 次点击
所在节点    问与答
5 条回复
clockwise9
2023-04-16 14:39:53 +08:00
根据 https://m.mediawiki.org/wiki/Web_scraping_access ,url 加参数 action=raw 就可以获得 wikitext 内容
baobao1270
2023-04-16 14:51:16 +08:00
@clockwise9 不是很想自己写爬虫,最好有能够有已经有的开源程序
LxnChan
2023-04-16 14:55:39 +08:00
https://lxnchan.cn/wget-all-grab.html

刚才我用我自己的 mediawiki 试了一下,wget 整站抓取基本是可行的,但是抓下来的东西比较乱而且只能是静态页面(包括在页面内跳转也会失效)。不过可以参考#1 的思路,在抓取时每个 url 后加 raw 参数然后自己本地搭一个把 raw 导入数据库应该也可行。
vazo
2023-04-16 15:14:59 +08:00
可以试试 HTTrack
http://www.httrack.com/page/2/
winterx
2023-04-16 17:13:09 +08:00
特殊:导出页面

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/932898

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX