打算开发一个数据同步工具针对区块链的， 有价值没?

[scalaer]

从区块链同步数据到传统数据服务， 类似 mysql, hdfs, ....

[rekulas]

我帮你起了个名字，就叫区块链浏览器怎么样

[scalaer]

@rekulas 这个能做一些数据分析吗

[0o0O0o0O0o]

不了解商业化产品怎么做的，我猜一般也是利用区块链浏览器背后的 archive node 提供的 rpc ，也或者直接读取 node 的 kv 数据库，搞到传统数据库里来做数据分析吧？你的思路是这样吗？

[lithiumii]

Etherscan 那种背后应该是把区块链数据存数据库了吧

[scalaer]

@0o0O0o0O0o 目前只想做一些 web3 工具的尝试。 不知道您有没有用过 mirror, 进入后发现光秃秃的页面， 没有推荐系统， 一下子很不适应。 所以用 web2 的思路去应用数据， 我觉得还是有一定的需要

[kaichen]

你可以看看著名分析数据服务商 nansen 早期实践的 https://github.com/blockchain-etl/ethereum-etl 最终可以导入到 sqldb https://github.com/blockchain-etl/ethereum-etl-postgres

最后你会发现存储也是个最费钱的事情，如果你做的数据颗粒度越细存储成本就越高，仅仅转账以太坊就需要 2T ，如果把各种业务结果结构化存下来不会少，再加上快照型数据那更是天量

如果你想分析各种各样的链，可以 github 上搜索各个链的浏览器实现，每个链都有差异，像 nansen 就做精以太坊系的

---
这个事情实际上区块链相关服务商都会做自己做这个事情，我们厂是做钱包的，从 2016 年就在做这块，v2ex 区块链节点下右边有我们招聘广告，和 etherscan 是很早合作伙伴（他们处理这么多数据成本控制是件难事）

[scalaer]

@kaichen 谢谢

[beyondsoft]

#6 以太坊转账就 2T 有点儿夸张了, 现在 eth full node 才 700G. 全归档节点才占用很大
就目前看链上获取 Internal Tx 是最困难的
# 3
区块链浏览器背后绝对不是简单的 web3 rpc, 举一个例子, 地址和 token 的关系,rpc 没有接口能获取,需要自己解析 transfer event 的关系索引出来

我觉得这块还是有需求的, 小团队想把链上数据转换成关系型数据, 自建成本太高了,要么只能用第三方的 api 来搞了

[woshifyz]

Dune Analytics 了解下