原标题|方法论、工具与团队：如何成为一名Web3数据分析师？
作者|AndrewHong
译者|GaryMa吴说区块链
本文假设你是一个刚接触web3的数据分析师，开始组建你的web3分析团队，或者刚刚对web3数据产生兴趣。无论采用哪种方式，你都应该已经大致熟悉了APIs、数据库、转换和模型在web2中的工作方式。
在这本新指南中，我将尽量简明扼要地阐述我的三个观点:
思考：为什么开放的数据渠道会改变数据发挥效用的方式工具：web3数据栈中的工具概述，以及如何利用它们团队：web3数据团队的基本考虑和技能数据思考
让我们先总结一下如何在web2中构建、查询和访问数据。我们有四个步骤来简化数据渠道:
触发API事件更新到数据库特定产品/分析用例的数据转换模型训练和部署当数据是开源的时候，唯一需要的步骤是在转换完成之后。Kaggle和hugsFace等社区使用一些公开的数据子集来帮助企业构建更好的模型。有一些特定领域的情况，比如在前面的三个步骤中开放数据的开放街道地图，但是它们仍然有写权限的限制。
观点：区块链可以消除互联网主要协议TCP/IP的基本安全缺陷:RSA Conference发布了一篇博文，建议将互联网的主要协议TCP/IP替换为区块链。该文章的作者、区块链支付公司RocketFuel的首席技术官Rohan Hall建议将互联网集中化，并对信用卡的增加负责。Hall认为，“区块链可以消除TCP/IP的基本安全缺陷。”
由于这些协议不是为大规模使用而设计的，它们缺乏保护数据不受攻击的安全条款。然而，这些天来，互联网已经加强了它的安全性，以弥补TCP/IP提供的保护的不足。霍尔认为，“区块链可以消除TCP/IP的基本安全缺陷。”[2021/7/5 0:26:57]
我想声明的是，我只是在这里谈论数据，我并不是说web2完全没有开源。像大多数其他的工程角色一样，web2数据有大量的开源工具来构建他们的管道。我们仍然在web3中使用所有这些工具。总之，他们的工具是开放的，但他们的数据是封闭的。
Web3也将数据开源，这意味着不再只有数据科学家在开放环境下工作，分析工程师和数据工程师也在开放环境下工作！每个人都参与到一个更连续的工作流程中，而不是一个几乎是黑盒的数据循环。
观点：比特币网络享有美国宪法第一修正案的保护:评论人士Justin Wales表示，美国宪法第一修正案对表达自由、结社自由做出保证，而这种自由也随网络技术的扩展而扩展。在Packingham诉北卡罗莱纳中，大法院裁定第一修正案适用于在线网络，并保证涉及到的表达、结社自由。正如互联网一样，比特币网络享有第一修正案的保护。
比特币是一种协议，全世界有相同意愿的人都可以使用并维护该协议。节点记录事实，矿工保证记录准确。任何人能加入且软件免费易得。每个人有权对网络提出改进，持异见者可以分叉。从这种意义上来说，比特币是一种直接民主。内部激励机制使得无需中心主体即可有效运行，这使得比特币网络产生了第二层价值。应该从新的角度对比特币进行讨论，而不仅仅从数字货币这一角度出发。（Coindesk）[2020/7/30]
工作的形式已经从web2数据大坝到web3数据河流、三角洲和海洋。同样重要的是需要注意，生态系统中的所有产品都会同时受到这个循环的影响。
让我们看一个web3分析师如何一起工作的例子。有几十家交易所使用不同的交易机制和费用，允许你将代币A交换为代币B。如果这些是典型的交易所，如纳斯达克，每个交易所将报告自己的数据在10k或一些API，然后其他一些服务，比如capIQ，会把所有交换数据放在一起，然后收取费用，让你访问他们的API。也许有时候，他们会举办一次创新竞赛，这样他们就可以在未来收取额外的数据/图表功能。
观点：许多机构投资者过于关注比特币而错过山寨币热潮:加密交易公司GSR联合创始人兼交易负责人Richard Rosenblum在接受采访时表示，尽管比特币(BTC)是大多数涉足加密技术的金融机构关注的焦点，但山寨币市场才是真正发生这种情况的地方。他认为目前加密市场正在出现“迷你山寨币热潮”。 许多机构投资者之所以错过繁荣，仅仅是因为他们过于关注比特币。Richard Rosenblum表示，山寨币确实没有得到应有的关注。不过，Rosenblum也表示，在加密领域的大多数小型项目“最终不会成功”，但仍会有少数项目“能够在该领域保持领先地位，并成为未来投资的好地方”。（CryptoNews）[2020/7/10]
在web3交易所中，我们有这样的数据流：
dex.trades是Dune上的一个表格，所有的?DEX?交换数据都被聚合在一起，所以你可以很容易地在所有交易所中搜索单个代币的交易量。一名数据分析师通过社区开源查询创建了一个仪表盘，所以现在我们对整个DEX行业有了一个公开的概述。即使所有的查询看起来都是由一个人写的，你可以猜测这是在discord上经过大量的争论，才准确地将其拼凑在一起得。DAO?科学家查看仪表板，并开始在他们自己的查询中分割数据，查看特定的对，比如稳定币。他们会观察用户行为和商业模式，然后开始建立假设。由于科学家可以看到哪个DEX在交易量中占据了更大的份额，他们将提出一个新的模型，并提议改变治理参数，以便在链上进行投票和执行。之后，我们可以随时查看公众查询/仪表板，看看提案如何创造出更具竞争力的产品。在未来，如果另一个DEX出现，这个过程将重复。有人将创建插入查询来更新这个表。这将反过来反映在所有的仪表板和模型。任何其他分析师/科学家都可以以别人已经完成的工作为基础。由于共享的生态系统，讨论、协作和学习在一个更紧密的反馈循环中发生。我承认这有时会让人难以承受，我认识的分析师基本上都在轮换数据耗尽。然而，只要我们中的一个人继续推动数据向前，那么其他人都会受益。
观点：比特币不会受美联储过度印钞影响 救助计划促使公众转向加密货币:加密货币评级机构韦氏评级（Weiss Ratings）区块链分析师表示，比特币不会受到美联储(Fed)过度印钞的影响。他们本周谴责了美联储以7比1的杠杆率购买垃圾公司债券的最新决定。美联储上个月宣布的救助计划将向企业信贷市场再注入7500亿美元。这些资金将为大公司提供额外的流动性和信贷。但韦氏评级分析师Bruce Ng和Juan Villaverde在7月1日的一篇文章中指出，这并不能解决美国因冠状病大流行而萎缩的经济。分析师称：“购买与有关联的大型企业债券(如果不是无止境的救助，这些企业就会破产)并不能创造新的就业机会，也不能产生因大范围封锁而损失的数十亿利润。”分析师认为，正是这种救助计划促使人们转向比特币和其他加密货币。他们接着说：“这就是为什么比特币(和其他加密资产)将成为未来货币的原因。中央银行正在摧毁世界上主要的纸币，地球上没有任何力量可以阻止它们。”（Decrypt）[2020/7/5]
它并不总是必须是复杂的抽象视图，有时它只是实用功能，如使它容易搜索ENS反向解析器或工具的改进，如自动生成大多数graphQL映射与一个CLI命令！所有这些都可以被每个人重用，并且可以在某些产品前端或您自己的个人交易模型中进行API的使用。
声音 | 观点：工业互联网的发展将反哺区块链等技术革新:5月13日，经济参考报刊文《数字技术推动制造业快速“蝶变”》。文章指出，业界认为，在消费级互联网发展成熟的当下，工业互联网将成为未来数字技术新的增长点——门类齐备的工业基础、领先成熟的通信技术为工业互联网孕育了基础，而工业互联网的发展又进一步反哺区块链、人工智能、大数据等技术革新。[2019/5/13]
虽然这里开启的可能性是惊人的，我确实承认，轮子还没有平稳地运行。与数据工程相比，数据分析师/科学领域的生态系统仍然很不成熟。我认为有以下几个原因：
数据工程是web3多年来的核心焦点，从客户端RPCAPI的改进到基本的SQL/graphQL聚合。像theGraph和Dune这样的产品就是他们在这方面所付出努力的例证。
对于分析师来说，要理解web3独特的跨协议关系表是非常困难的。例如，分析人员可以理解如何只分析?Uniswap，但却很难在混合中添加聚合器、其他DEXs和不同的代币类型。最重要的是，实现这一切的工具直到去年才真正出现。数据科学家通常习惯于收集原始数据并独自完成所有的工作。我认为他们不习惯在开发初期与分析师和工程师进行如此密切和公开的合作。对我个人来说，这花了一段时间。
除了学习如何协同工作之外，web3数据社区还在学习如何跨这个新的数据堆栈工作。你不再需要控制基础设施，或者慢慢地从excel构建到数据池或数据仓库，只要你的产品上线，你的数据就会到处上线。你的团队基本上是被扔到了数据基础设施的最深处。
数据工具
以下是一些数据工具汇总：
下面我们看看每种类型以及用法：
交互+数据源：这主要用于前端、钱包和较低层次的数据摄取。1
客户端：虽然以太坊的底层实现是相同的，但每个客户端都有不同的额外特性。例如，Erigon对数据存储/同步进行了大量优化，Quorum支持隐私链。
节点即服务：你不必选择运行哪个客户端，但使用这些服务将为你节省维护节点和API正常运行的麻烦。节点的复杂性取决于你想要捕获多少数据。查询+数据映射：这一层中的数据要么作为URI在合约中引用，要么来自使用合约ABI将交易数据从字节映射到表模式。合约ABI告诉我们合约中包含哪些函数和事件，否则，我们只能看到部署的字节码。
交易数据：这些是最常用的，主要用于仪表板和报告。theGraph和FlipsideAPI也在前端中使用。有些表是合约的1:1映射，有些表允许模式中额外的转换。元数据“协议”：这些并不是真正的数据产品，而是用于存储DIDs或文件存储的。大多数NFT将使用其中的一个或多个数据源，我认为今年我们将开始越来越多地使用这些数据源来增强我们的查询。专业提供商：其中一些是非常健壮的数据流产品，Blocknative用于mempool数据，Parsec用于链上交易数据。其他的聚合链上和链外数据，比如DAO治理或国库数据。高维度数据提供商：你不能查询/转换他们的数据，但是他们已经帮你完成了所有繁重的工作。如果没有强大的、杰出的社区来配合这些工具，web3就不会出现！我们可以看到每种类型对应的杰出社区：
Flashbots：专注于MEV上，提供从保护交易的自定义RPC到专业白帽服务的所有事宜。MEV主要指的是跑问题，当有人支付比你更多的Gas，这样他们就可以抢先执行他们的交易。Dune数据精英：专注于为Dune的数据生态做贡献的数据分析精英。Flipside数据精英：专注于为Web3数据升天做贡献的数据分析精英。MetricsDAO：跨生态工作，处理多个链上的各种数据奖励。DiamondDAO：专注于Stellar的数据科学工作，主要在治理、财政库以及代币管理方面。IndexCoop：专注于代币等特定领域的分析，以制定加密货币行业最好的指数。OurNetwork：每周对各类协议以及Web3的数据覆盖。注：以上DAO的参与联系方式详看原文。
每个社区都做了大量的工作来改善web3的生态系统。毫无疑问，拥有社区的产品将以100倍的速度增长。这仍然是一个被严重低估的竞争优势，我认为除非人们在这些社区中建立了一些东西，否则他们不会获得这个优势。
数据团队
不用说，你也应该在这些社区中寻找可以加入你的团队的人。让我们进一步分析重要的web3数据技能和经验，这样你就能真正知道你在搜索什么。如果你想被雇佣，把这看作是你追求的技能和经验！
至少，分析师应该是Etherscan侦探，知道如何阅读Dune仪表盘。这可能需要1个月的时间来适应悠闲的学习，如果你真的要疯狂学习，则需要2周的时间。
除此之外，你还需要考虑更多的内容，特别是时间分配和技能转移。
时间方面：在web3中，数据分析师大约有30-40%的时间将花在与生态系统中的其他分析师和协议保持同步上。请确保你不会气晕他们，否则，这将成为对每个人的长期损害。与更大的数据社区一起学习、贡献和构建是必要的。可转移性方面：在这个领域，技能和领域都是高度可转移的。如果使用不同的协议，可能会减少上手时间，因为链上数据的表模式都是一样的。记住，知道如何使用这些工具并不重要，每个分析师或多或少都应该会写SQL或创建数据仪表盘。这一切都是关于如何做出贡献并与社区合作。如果你正在面试的人不是任何web3数据社区的一员，你可能要问问自己这是否是一个危险信号。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。