几项说明：1. 我目前在 Dune 有一份全职工作。2. 图标是指该该部分的产品仍处于测试阶段，所以你需要向团队申请权限。3. 在本篇当中，我没有谈到纯粹的 API 产品，因为现在每个人都有一个包含原始/解码/聚合数据组合的 API。因此，我不可能涵盖所有这些产品。如果你想了解关于增强型 API 的发展趋势，请参考这篇文章。4. 像 Dune 这样的查询-仪表盘提供商可以支持这里的所有内容。然而，基于查询的仪表盘还不能与某些部分的专用应用程序的用户体验（功能循环和低延迟）相比，所以我没有将其包含进来。发现：寻找并比较高层次的趋势开始时，我使用本节中提到的几个工具来研究一个主题，并从中找到我想进一步探索的趋势。在 Web3 当中，发现正确的问题并对其进行分析是最难的工作之一，而这些工具的使用将让整个过程变得更加容易。
在过去的一年里，我们从纯粹的链上数据仪表板或简单的排名表发展为了具有增强搜索和元数据的全面发现产品。任何人都可以比以往更容易地探究和分享数据——市民新闻取得了很好的发展。
协议/域：为了了解一个协议（或域）在大量指标下的表现，你可以参考下面这些工具：
1. Dune 可以用来寻找 erc20、NFT、质押、空投、拍卖等的细分仪表盘，并且有一个原生的搜索功能，可以查询仪表盘、向导和询问的排名。
2. Flipside 可用于发现数据科学的编写和研究，如流动性池 PnL，钱包排名等。他们目前正在测试较新的仪表板功能。
3. DefiLlama 有关于 TVL、交易量和收益率的高层次的趋势。你可以在他们对 2022 年的回顾中找到一些很棒的例子。
4. Messari 协议/资金池界面是 DefiLlama 的一个很好的替代品，并且正在快速增长。
5. Token Terminal 让协议（dapp）或链上的收入、收益和费用等传统分析变得更加简单。
6. Artemis 有最好的图表，可以按链进行开发/社交活动，并包括概述链指标。它与 google sheet 整合得很好。
Token：虽然你可以使用更多的定制查询仪表板来深入研究 Token，但你可能需要一个更优化的产品界面，从而让发现和比较过程变得更快捷、更简便。
1. Nansen 的 Token 上帝模式和 Token（DeFi/NFT）天堂提供了对分布、交易和钱包趋势的深刻见解。
2. DefiLlama 允许你密切分析 Token 对的数量和流动性深度。
3. Parsec 以 Bloomberg 式的 Token 分析为特色，并且有一个可定制的终端。
DAO/治理：由于协议的变化/更新变得越来越频繁，治理在追踪趋势上越来越重要，并且需要投资或动用金库。
1. Messari：通过对讨论、重要性、治理过程和治理浏览器中的子 DAO 进行标记，让人们更深入的了解提议。
2. Tally：其首页展示了投票权随时间的变化情况，并且该平台允许人们根据链的特征查询不同的 DAO。
3. Boardroom：它有一个可过滤所有 DAO 提案的信息流，不过我希望它上面能有更多可过滤的参数（例如，价值超过 20K 美元的提案）。
4. Agora：现在它还只用于 Nouns，但对了解投票人的情况及其所代表的对象非常有用。
探索：快速查看地址和交易，以获得跨场景信息一旦你发现一些有趣的趋势，你可能想弄清楚常见的交易是什么样子，以及所有交易背后的钱包/地址是什么。
在这一步中，你需要更加细致以确保你不会遗漏任何有助于分析的背景线索——这也是你最终打开 20 个不同标签的步骤。
交易展示器：上面的交易既可以是一次简单的 ETH 转移，也可以是稍微复杂的杠杆曲线 stETH/ETH 金库。在界面上你可以看到交易内容、日志，合同代码和状态数据。
1. Blocksec/Phalcon 能很好地用于研究交易中的痕迹和日志，它们能清楚地展示所有内部调用和事件发出的顺序，其最新更新为该工具增加了代码片段和收支图表功能。
2. Tenderly 多链浏览器包含最快的跟踪代码片段侦查，以及其他功能。它拥有所有工具中最流畅的用户体验/用户界面，尽管它可以在事件日志追踪和代码片段方面做得更好。
3. Blocknative 是内存池（交易队列）的一个专业浏览器，你可以在这里实时监听提交给任何合约的交易。
地址/钱包展示器：对于它们来说，快速搜索、交叉分析、组合和分享钱包余额和活动的便利性才是关键。虽然现在有很多「投资组合」风格的应用程序，如 zapper.fi 和 rotki，但这些都不利于数据分析工作，所以没有列入其中。
1. Nansen 加强了标签功能，还有一个钱包分析器，可以很好地与他们的 Token 分析页面配对。
2. Zerion 和 Debank 在分析多个链上的钱包捆绑包方面是 Nansen 的最佳免费替代品。
3. Warden 允许以一种易于搜索的格式对钱包进行 DeFi 层面上的分析（清算、借贷等）。它目前支持 Aave，并很快将支持 Euler、Notional 和 Compound。我猜测这种工具在明年将有独立的门类，因为它开启了 DeFi 分析浏览器的趋势。
4. Bubblemaps 有助于识别有趣的钱包集群和连接。
混合型（交易+地址/钱包）：这些都是探索的一体式解决方案，并将获得很大程度，该领域会出现一些最强大的通用产品——下一个谷歌很可能从这里诞生。
1. Etherscan 适合于快速获取单个地址的概况。我通常用它来做标签，并快速检查特定 Token 的余额和历史转账（对于一个特定的钱包）。同时，它也有最基本但可易于理解的交易概述。
2. Onceupon.gg 为分析师带来了福音。它们支持在横向滚轴中使用迷你窗口，以及在特定 Token 和实体中通过某种方法和来源（包括痕迹）快速过滤所有交易。在你点击进入之前，每笔交易都会以人类可读的方式进行标注和描述。钱包和窗口分组可以很容易地得到分享和理解。最重要的是，所有地址都有一个「邻居」标签，用于快速识别顶级对手方，其图形网络可视化功能将协助你进行分析。
3. Arkham 是最集中的网络和交易方分析工具。你可以很容易地检查个人/团体之间的对手方/交易所和余额，并依据不同的交易分解资金转移的流入/流出量。它的图形网络工具让 zachxbt 式的侦查比以往任何时候都更容易——你可以轻松地调整时间尺度，以查看特定钱包在特定时期的关系。
自我托管型：这些选项允许你在本地运行一个开源的区块浏览器，这也属于混合式解决方案。
1. Otterscan: 基本功能与 etherscan 大致相当。
2. Trueblocks Explorer: 也许是最快的账户历史抓取工具，其核心项目在下一部分。
挖掘：为链上数据编写你自己的查询语句所有的 SQL 引擎都基于云计算，所以你可以使用浏览器内的 IDE 来查询原始数据和聚合数据（如，nft.trans/dex.trans）。这些引擎也支持一些强大的表格功能，如 NFT 清洗交易过滤器。
我们可以使用这些引对协议、社区和 Token 做出完美的分析，一些引擎还有更多我想探讨的专业表格。
免费类 SQL：这些引擎可以免费访问。
1. Transpose (25 秒的免费限制，顶级计划的最长扩展时间为 10 分钟)。
2. Flipside（15 分钟的免费限制，没有计划），也是现在唯一一个有存储/状态表的工具，由TokenFlow提供。
3. Footprint（20 分钟免费限制，付费计划可扩展计算量），它是我所见过的唯一一个可以实现以 gamefi 为中心进行聚合的工具。
4. Dune (30 分钟的免费限制，付费计划以扩大计算量)，这是唯一一个有解码表的工具，所以你不必搞清楚原始的十六进制/字节转换、函数/主题签名过滤，或代理/工厂模式。
付费类 SQL：这些引擎只有在付费后并获得批准的情况下才能访问。
1. Nansen 目前正在测试他们的新查询引擎，你终于可以查询他们的实体/地址标签表了。
2. Goldsky 允许从 theGraph 迁移子图（或创建新的子图）到他们的托管服务。你可以很容易地组合子图，这同时解决了 theGraph 的一大缺陷（尽管丧失了去中心化）。
3. Covalent Increment 有一个巨大的表格，所有的原始数据都可以被查询到，最近还开始增加聚合数据。
自我托管型：这些都是代码包，允许你快速获得原始、解码和聚合的数据（包括一些特定链的 RPC 提供者）。这样做的好处是，如果你运行一个更有效的客户端（特别是 Erigon），你可以更快地探索更多的数据。请注意，Erigon 需要一个星期的时间来同步，并且在你的硬盘上需要>2TB 的空间，不过将来它可能会提快速度。
Python:
・web3.py：首批用于在 Ethereum 上轻松使用合约 ABI 和节点提供者（客户端）的软件包之一。
・ethereum-etl：由 Nansen 和 google Bigquery 使用，用于特定区块范围的链上获取，并且可以轻松导出到不同的数据库或文件类型。
・checkthechain：在 web3.py 的基本功能之上，唯一一个具有域聚合（如 uniswap 池）的软件包，专门为数据科学家定制。
・Ape 曾经是这样的，后来变成了 hardhat for-vyper 解决方案。
・mev-inspect-py：按区块查询 MEV 数据（即矿工付款/利润、掉期、套利等）。这些 flashbots 数据也可以在 Dune 中找到。
Golang:
・trueblocks-core: 这个工具可以非常快速地获得任何地址的交易历史，在上面的浏览器中可以看到。
Javascript/Typescript:
・web3.js：最初的 Web3 脚本包。与 ethers 相比，它的许多方法/模式现在看来过于冗杂。
・ethers.js/ts：更有效/更精简的 Web3 脚本包，广泛用于前端和智能合约测试套件，如 truffle 和 hardhat。
Rust:
・ethers-rs：其创建主要是为了与 foundry 协同工作（如 ethers.js hardhat）。
定义：创建可信的指标和数据汇总原始数据已经很好了，但为了得到更好的指标，你需要在不同协议的合约中标准化、汇总数据。一旦你汇总了之后，你就可以创建新的指标和标签，提高分析的效率。
这一层的社区拥有 Web3 的领域、技术和背景知识的最深层次组合。
协作型：所有明确的视图都是开源的，你可以贡献自己的代码或者与其他分析员共同合作。
1. Dune 允许创建任何你需要的模型，其中所有的链都在一个 repo 中。它目前已经有 300 位贡献者（社区成员+团队成员）。
2. Flipside 也允许你创建任何需要的模型，但每条链都有自己的 repo。
3. DefiLlama 允许任何对预定义指标集的贡献，而其通常是基于子图建立的。
4. theGraph 允许任何人创建一个 graphQL 模式和映射，但仅限于特定的网络，通常一次只能创建一个协议（即明确的合约）。Messari 以一种更有组织的方式建立在它们之上（类似 Dune/Flipside/DefiLlama repo）。
5. Goldsky 基本上是 theGraph，但只针对私人/付费客户，并以 SQL 编写。
上一部分中的一些查询语句提供者已经定义了他们自己的数据汇总，但这些汇总并不是开源的，你不能将数据添加到它们当中。
展望：总的来说，Web3 数据工具正变得更清晰、更可信、更社会化、更具协作性。信息系统的发展让我们都可以更快地查询和定义更好的指标，改善我们在产品中可以发现和探索的东西。整个生态系统就像一个大的飞轮，Web3 社区最终将共建在一起，让数据流动起来。
我很期待看到我们到明年会发展成什么样子，并且我希望能把尽可能多的新面孔聚集在一起。如果你正在建造一个我在这里没有涉及的产品，但你又想将其展示出来并获得反馈，请随时给我发邮件。如果你觉得你的产品遭到了曲解，或者有更好的关键功能想要强调，也请联系我，我会考虑将这些内容重新编辑进来。
这只是我 2023 年指南的第一部分，其他部分的内容会更加专业，并且会包含大量的技术用语。Web3数据工具2023最新指南
Tyshawn52484
发表于 2023-11-10 17:36:52
1625
0
0
几项说明：1. 我目前在 Dune 有一份全职工作。2. 图标是指该该部分的产品仍处于测试阶段，所以你需要向团队申请权限。3. 在本篇当中，我没有谈到纯粹的 API 产品，因为现在每个人都有一个包含原始/解码/聚合数据组合的 API。因此，我不可能涵盖所有这些产品。如果你想了解关于增强型 API 的发展趋势，请参考这篇文章。4. 像 Dune 这样的查询-仪表盘提供商可以支持这里的所有内容。然而，基于查询的仪表盘还不能与某些部分的专用应用程序的用户体验（功能循环和低延迟）相比，所以我没有将其包含进来。发现：寻找并比较高层次的趋势开始时，我使用本节中提到的几个工具来研究一个主题，并从中找到我想进一步探索的趋势。在 Web3 当中，发现正确的问题并对其进行分析是最难的工作之一，而这些工具的使用将让整个过程变得更加容易。
在过去的一年里，我们从纯粹的链上数据仪表板或简单的排名表发展为了具有增强搜索和元数据的全面发现产品。任何人都可以比以往更容易地探究和分享数据——市民新闻取得了很好的发展。
协议/域：为了了解一个协议（或域）在大量指标下的表现，你可以参考下面这些工具：
1. Dune 可以用来寻找 erc20、NFT、质押、空投、拍卖等的细分仪表盘，并且有一个原生的搜索功能，可以查询仪表盘、向导和询问的排名。
2. Flipside 可用于发现数据科学的编写和研究，如流动性池 PnL，钱包排名等。他们目前正在测试较新的仪表板功能。
3. DefiLlama 有关于 TVL、交易量和收益率的高层次的趋势。你可以在他们对 2022 年的回顾中找到一些很棒的例子。
4. Messari 协议/资金池界面是 DefiLlama 的一个很好的替代品，并且正在快速增长。
5. Token Terminal 让协议（dapp）或链上的收入、收益和费用等传统分析变得更加简单。
6. Artemis 有最好的图表，可以按链进行开发/社交活动，并包括概述链指标。它与 google sheet 整合得很好。
Token：虽然你可以使用更多的定制查询仪表板来深入研究 Token，但你可能需要一个更优化的产品界面，从而让发现和比较过程变得更快捷、更简便。
1. Nansen 的 Token 上帝模式和 Token（DeFi/NFT）天堂提供了对分布、交易和钱包趋势的深刻见解。
2. DefiLlama 允许你密切分析 Token 对的数量和流动性深度。
3. Parsec 以 Bloomberg 式的 Token 分析为特色，并且有一个可定制的终端。
DAO/治理：由于协议的变化/更新变得越来越频繁，治理在追踪趋势上越来越重要，并且需要投资或动用金库。
1. Messari：通过对讨论、重要性、治理过程和治理浏览器中的子 DAO 进行标记，让人们更深入的了解提议。
2. Tally：其首页展示了投票权随时间的变化情况，并且该平台允许人们根据链的特征查询不同的 DAO。
3. Boardroom：它有一个可过滤所有 DAO 提案的信息流，不过我希望它上面能有更多可过滤的参数（例如，价值超过 20K 美元的提案）。
4. Agora：现在它还只用于 Nouns，但对了解投票人的情况及其所代表的对象非常有用。
探索：快速查看地址和交易，以获得跨场景信息一旦你发现一些有趣的趋势，你可能想弄清楚常见的交易是什么样子，以及所有交易背后的钱包/地址是什么。
在这一步中，你需要更加细致以确保你不会遗漏任何有助于分析的背景线索——这也是你最终打开 20 个不同标签的步骤。
交易展示器：上面的交易既可以是一次简单的 ETH 转移，也可以是稍微复杂的杠杆曲线 stETH/ETH 金库。在界面上你可以看到交易内容、日志，合同代码和状态数据。
1. Blocksec/Phalcon 能很好地用于研究交易中的痕迹和日志，它们能清楚地展示所有内部调用和事件发出的顺序，其最新更新为该工具增加了代码片段和收支图表功能。
2. Tenderly 多链浏览器包含最快的跟踪代码片段侦查，以及其他功能。它拥有所有工具中最流畅的用户体验/用户界面，尽管它可以在事件日志追踪和代码片段方面做得更好。
3. Blocknative 是内存池（交易队列）的一个专业浏览器，你可以在这里实时监听提交给任何合约的交易。
地址/钱包展示器：对于它们来说，快速搜索、交叉分析、组合和分享钱包余额和活动的便利性才是关键。虽然现在有很多「投资组合」风格的应用程序，如 zapper.fi 和 rotki，但这些都不利于数据分析工作，所以没有列入其中。
1. Nansen 加强了标签功能，还有一个钱包分析器，可以很好地与他们的 Token 分析页面配对。
2. Zerion 和 Debank 在分析多个链上的钱包捆绑包方面是 Nansen 的最佳免费替代品。
3. Warden 允许以一种易于搜索的格式对钱包进行 DeFi 层面上的分析（清算、借贷等）。它目前支持 Aave，并很快将支持 Euler、Notional 和 Compound。我猜测这种工具在明年将有独立的门类，因为它开启了 DeFi 分析浏览器的趋势。
4. Bubblemaps 有助于识别有趣的钱包集群和连接。
混合型（交易+地址/钱包）：这些都是探索的一体式解决方案，并将获得很大程度，该领域会出现一些最强大的通用产品——下一个谷歌很可能从这里诞生。
1. Etherscan 适合于快速获取单个地址的概况。我通常用它来做标签，并快速检查特定 Token 的余额和历史转账（对于一个特定的钱包）。同时，它也有最基本但可易于理解的交易概述。
2. Onceupon.gg 为分析师带来了福音。它们支持在横向滚轴中使用迷你窗口，以及在特定 Token 和实体中通过某种方法和来源（包括痕迹）快速过滤所有交易。在你点击进入之前，每笔交易都会以人类可读的方式进行标注和描述。钱包和窗口分组可以很容易地得到分享和理解。最重要的是，所有地址都有一个「邻居」标签，用于快速识别顶级对手方，其图形网络可视化功能将协助你进行分析。
3. Arkham 是最集中的网络和交易方分析工具。你可以很容易地检查个人/团体之间的对手方/交易所和余额，并依据不同的交易分解资金转移的流入/流出量。它的图形网络工具让 zachxbt 式的侦查比以往任何时候都更容易——你可以轻松地调整时间尺度，以查看特定钱包在特定时期的关系。
自我托管型：这些选项允许你在本地运行一个开源的区块浏览器，这也属于混合式解决方案。
1. Otterscan: 基本功能与 etherscan 大致相当。
2. Trueblocks Explorer: 也许是最快的账户历史抓取工具，其核心项目在下一部分。
挖掘：为链上数据编写你自己的查询语句所有的 SQL 引擎都基于云计算，所以你可以使用浏览器内的 IDE 来查询原始数据和聚合数据（如，nft.trans/dex.trans）。这些引擎也支持一些强大的表格功能，如 NFT 清洗交易过滤器。
我们可以使用这些引对协议、社区和 Token 做出完美的分析，一些引擎还有更多我想探讨的专业表格。
免费类 SQL：这些引擎可以免费访问。
1. Transpose (25 秒的免费限制，顶级计划的最长扩展时间为 10 分钟)。
2. Flipside（15 分钟的免费限制，没有计划），也是现在唯一一个有存储/状态表的工具，由TokenFlow提供。
3. Footprint（20 分钟免费限制，付费计划可扩展计算量），它是我所见过的唯一一个可以实现以 gamefi 为中心进行聚合的工具。
4. Dune (30 分钟的免费限制，付费计划以扩大计算量)，这是唯一一个有解码表的工具，所以你不必搞清楚原始的十六进制/字节转换、函数/主题签名过滤，或代理/工厂模式。
付费类 SQL：这些引擎只有在付费后并获得批准的情况下才能访问。
1. Nansen 目前正在测试他们的新查询引擎，你终于可以查询他们的实体/地址标签表了。
2. Goldsky 允许从 theGraph 迁移子图（或创建新的子图）到他们的托管服务。你可以很容易地组合子图，这同时解决了 theGraph 的一大缺陷（尽管丧失了去中心化）。
3. Covalent Increment 有一个巨大的表格，所有的原始数据都可以被查询到，最近还开始增加聚合数据。
自我托管型：这些都是代码包，允许你快速获得原始、解码和聚合的数据（包括一些特定链的 RPC 提供者）。这样做的好处是，如果你运行一个更有效的客户端（特别是 Erigon），你可以更快地探索更多的数据。请注意，Erigon 需要一个星期的时间来同步，并且在你的硬盘上需要>2TB 的空间，不过将来它可能会提快速度。
Python:
・web3.py：首批用于在 Ethereum 上轻松使用合约 ABI 和节点提供者（客户端）的软件包之一。
・ethereum-etl：由 Nansen 和 google Bigquery 使用，用于特定区块范围的链上获取，并且可以轻松导出到不同的数据库或文件类型。
・checkthechain：在 web3.py 的基本功能之上，唯一一个具有域聚合（如 uniswap 池）的软件包，专门为数据科学家定制。
・Ape 曾经是这样的，后来变成了 hardhat for-vyper 解决方案。
・mev-inspect-py：按区块查询 MEV 数据（即矿工付款/利润、掉期、套利等）。这些 flashbots 数据也可以在 Dune 中找到。
Golang:
・trueblocks-core: 这个工具可以非常快速地获得任何地址的交易历史，在上面的浏览器中可以看到。
Javascript/Typescript:
・web3.js：最初的 Web3 脚本包。与 ethers 相比，它的许多方法/模式现在看来过于冗杂。
・ethers.js/ts：更有效/更精简的 Web3 脚本包，广泛用于前端和智能合约测试套件，如 truffle 和 hardhat。
Rust:
・ethers-rs：其创建主要是为了与 foundry 协同工作（如 ethers.js hardhat）。
定义：创建可信的指标和数据汇总原始数据已经很好了，但为了得到更好的指标，你需要在不同协议的合约中标准化、汇总数据。一旦你汇总了之后，你就可以创建新的指标和标签，提高分析的效率。
这一层的社区拥有 Web3 的领域、技术和背景知识的最深层次组合。
协作型：所有明确的视图都是开源的，你可以贡献自己的代码或者与其他分析员共同合作。
1. Dune 允许创建任何你需要的模型，其中所有的链都在一个 repo 中。它目前已经有 300 位贡献者（社区成员+团队成员）。
2. Flipside 也允许你创建任何需要的模型，但每条链都有自己的 repo。
3. DefiLlama 允许任何对预定义指标集的贡献，而其通常是基于子图建立的。
4. theGraph 允许任何人创建一个 graphQL 模式和映射，但仅限于特定的网络，通常一次只能创建一个协议（即明确的合约）。Messari 以一种更有组织的方式建立在它们之上（类似 Dune/Flipside/DefiLlama repo）。
5. Goldsky 基本上是 theGraph，但只针对私人/付费客户，并以 SQL 编写。
上一部分中的一些查询语句提供者已经定义了他们自己的数据汇总，但这些汇总并不是开源的，你不能将数据添加到它们当中。
展望：总的来说，Web3 数据工具正变得更清晰、更可信、更社会化、更具协作性。信息系统的发展让我们都可以更快地查询和定义更好的指标，改善我们在产品中可以发现和探索的东西。整个生态系统就像一个大的飞轮，Web3 社区最终将共建在一起，让数据流动起来。
我很期待看到我们到明年会发展成什么样子，并且我希望能把尽可能多的新面孔聚集在一起。如果你正在建造一个我在这里没有涉及的产品，但你又想将其展示出来并获得反馈，请随时给我发邮件。如果你觉得你的产品遭到了曲解，或者有更好的关键功能想要强调，也请联系我，我会考虑将这些内容重新编辑进来。
这只是我 2023 年指南的第一部分，其他部分的内容会更加专业，并且会包含大量的技术用语。
成为第一个吐槽的人
