这是一个创建于 34 天前的主题，其中的信息可能已经有所发展或是发生改变。
当前在做的课题研究设计到了 ipfs ，我现在需要获取大量的 ipfs 地址，最主要的就是获取 ipfs.io 服务的 CID ，例如
https://ipfs.io/ipfs/bafybeigddnp66y6qbn2ut3uvnlpxqtt5qmi3pcaiwrfhcxfd3ng7a3gese/
说白了就是需要大量有效的那一串 CID ，那些一个 CID 下面带有大量路径的页面（比如 Wikipedia ）不是我想要的，最好对应的资源是 html ，现在已经尝试的方法包括：
- CommonCrawl （包含 dweb.link 的 URL ，但是 ipfs.io 很少）
- Fofa （搜不到）
- URLSCAN （虽然有不少，但是都是恶意网站，我现在需要的是良性数据集）
目前尚无回复
Select Language