这是一个创建于 116 天前的主题，其中的信息可能已经有所发展或是发生改变。
一个多月前，在这里分享了 tophn.co ，它可以帮助你以现代化的方式快速浏览 Hacker News 榜单，包括多语言 AI 翻译、总结、文章封面、RSS 等功能。
但是之前只抓取了近几年的数据，这次狠下心直接把 Hacker News 从 2006 年起长达 19 年的数据全部下载下来，并且开源： https://github.com/heyppen/hn-dump 。
SQLite 文件可以到 https://github.com/heyppen/hn-dump/releases 下载，但只包括 score ≥ 5 的 story ，数据截止到 2025.4.30 ，文件大小约 181 MB ，总共 135 万条记录，感兴趣的朋友可以自取，或者亲自下载一遍。
顺便分享一个 Hacker News 在线实时 ClickHouse 官方数据库，详见： https://x.com/ipen_ink/status/1919664189251191296
同时，tophn.co 也同步更新了总榜单（ https://www.tophn.co/?tab=all ）以及年度榜单（例如 https://www.tophn.co/?tab=2018 ），欢迎大家体验～
但是之前只抓取了近几年的数据，这次狠下心直接把 Hacker News 从 2006 年起长达 19 年的数据全部下载下来，并且开源： https://github.com/heyppen/hn-dump 。
SQLite 文件可以到 https://github.com/heyppen/hn-dump/releases 下载，但只包括 score ≥ 5 的 story ，数据截止到 2025.4.30 ，文件大小约 181 MB ，总共 135 万条记录，感兴趣的朋友可以自取，或者亲自下载一遍。
顺便分享一个 Hacker News 在线实时 ClickHouse 官方数据库，详见： https://x.com/ipen_ink/status/1919664189251191296
同时，tophn.co 也同步更新了总榜单（ https://www.tophn.co/?tab=all ）以及年度榜单（例如 https://www.tophn.co/?tab=2018 ），欢迎大家体验～
16 条回复 • 2025-05-09 12:44:18 +08:00
 |
1
clemente 116 天前  1
6666
|
 |
2
newdongyuwei 116 天前 1
赞
|
 |
3
followad 116 天前 via iPhone 1
赞👍
|
 |
4
Pipecraft 116 天前
包含评论吗？怎么才有 181 MB ，这么少。
|
 |
7
Patrick6 116 天前 1
昨天刚从 X 看到，今天又在 v 站看到了哈哈
|
 |
8
iMusic 116 天前 1
赞
|
 |
10
JJJLG 116 天前
1
|
 |
11
mywaiting 116 天前 6
Hacker News 的数据库很大程度算公开数据源，很多地方都有下载
1 、官方 API 接口，使用 Firebase 提供，近乎实时更新数据 https://github.com/HackerNews/API 2 、全量数据搜索接口，Algolia 提供，API 提供每 IP 每小时 1w 访问限制（等于无限制） https://hn.algolia.com/api 3 、graphql API 。它将允许您在单个请求中获取所有评论、用户和帖子 https://hngraphql.fly.dev/graphql 由于 HN 的数据本身就是公开的，爬虫抓取到本地意义不大 |
 |
12
ammeto 116 天前 1
赞👍
|
 |
13
punkerhyde 116 天前 1
66666666666666666
|
 |
14
hidev OP 1
@mywaiting 这里用的就是官方 API ，下载下来目的是可以做一些离线分析，比如词云，比如训练个 Hacker News LLM
|
 |
15
Akagi201 116 天前 2
评论这么关键的数据没有啊? hn 主要价值就是评论啊
|
Select Language