编者按:本文主要取材于 David Aronchick 在 2023 年巴黎 Filecoin Unleashed 大会上的演讲。David 是Expanso的首席执行官,也是协议实验室(Protocol Labs)的前数据计算负责人,该实验室负责Bacalhau项目的启动。本文仅代表原创内容创作者的独立观点,并已获得重新发布的许可。
据IDC称,截至 2025 年,全球存储的数据量将超过 175 ZB。这是一个庞大的数据量,相当于 175 万亿个 1 GB 的 U 盘。这些数据大部分在 2020 年至 2025 年之间产生,预计复合年增长率为 61% 。
Filecoin独立协议Lotus发布v1.13.0,支持Filecoin网络Chocolate升级:10月24日消息,Filecoin独立协议Lotus发布v1.13.0,支持Filecoin网络Chocolate升级,此功能版本包括最新的功能和改进,如存储和检索交易的数据传输速率限制、CUDA支持的proof v10等。
此前消息,Filecoin网络将于10月26日12:30PM(UTC)在epoch 1231620开始进行v14 Chocolate网络升级,结束时间约为10月26日2:30PM(UTC)。此次升级是一个小型网络升级,旨在改善Filecoin协议和存储提供商的用户体验。[2021/10/24 6:10:40]
如今,快速增长的数据圈出现了两大挑战:
移动数据既缓慢又昂贵。若您试图以目前的带宽下载 175 ZB 的数据,大约需要 18 亿年。
Anypay创始人玖儿:成功出圈是Filecoin的最大优势:由开源矿池和火币主办,金色算力云、链上ChainUP、Filecoin Beijing联合主办的“分布式存储中国行暨开源矿池IPFS私享会”2020年12月6日在武汉举行。Anypay创始人玖儿在会上表示,IPFS是一种底层的网络协议,想要取代现有的HTTP的协议,Filecoin给它赋予了一个激励机制,让更多的人参与到底层协议的应用中来。比较于比特币和以太坊,Filecoin最有优势的一点,就是成功跳出数字货币的圈,让更多的传统实体老板,进入到行业去了解,赋予实体一些能落地的商业应用。随着Filecoin 挖矿模型的逐步成熟以及很多投资机构的进场布局,现在是入场Filecoin的安全时机。[2020/12/6 14:22:02]
合规任务繁重。全球有数百种与数据相关的管理规定,使得跨司法管辖区的合规任务几乎不可能完成。
Filecoin当前全网有效算力为991.95PiB:据IPFS100.com报道,filfox浏览器数据显示,Filecoin网络当前区块高度为248746,全网有效算力为991.95PiB,总质押量约为1765.0414万枚FIL,活跃矿工数为666个,每区块奖励为13.3694FIL,近24小时产出量为181231FIL,24小时平均挖矿收益为0.1794FIL/TiB;
目前有效算力排名前三的分别为:F02770(时空云&灵动)以60.70PiB暂居第一,F01248(智合云zh)以58.04PiB位居第二,F01782(hellofil)以27.22PiB位居第三。[2020/11/19 21:20:59]
网络增长乏力和监管限制的综合结果是,近 68% 的机构数据处于闲置状态。正因如此,将计算资源转移至数据存储地(广义上称之为 compute-over-data ,即“数据计算”)而不是将数据转移至计算地变得尤为重要,Bacalhau 等数据计算(CoD)平台正在为此而努力。
支点国际站即将上线FIL主网?金色算力云提供算力支持:据官方消息,支点国际站即将上线FIL主网,100T超值金色算力云IPFS将于10月12日12:00开始发售,申购价格为23.5USDT=0.1TB/年。
支点国际站成立于2019年3月,注册于新加坡。服务全球近百个国家和地区,注册用户超50万,真实日活超2万,上线交易对超180个,非小号全球交易所24H成交额历史排名前10,综合排名前70强。
金色云算力是由金色财经推出的算力销售平台,公司与行业领先的矿机厂商合作,为用户提供便捷安全的挖矿服务。基于团队专业性,公司先后获得节点资本、ChainUP Capital百万美元投资。[2020/10/12]
在接下来的章节中,我们将简要介绍:
当下的机构如何处理数据。
提出基于“数据计算”的替代解决方案。
最后,假设分布式计算为何重要。
Filecoin姊妹链FILV将实施提升可挖矿份额、减少前置抵押等9项改进:Filecoin姊妹链FILV 通过GitHub发布文章《Filecoin Vision宣言书》,宣布将实施众多改进,其中包括:
1.可挖矿份额提升到 99%;
2.减少前置抵押额度,让每一个矿工都能轻松参与挖矿;
3.Window PoSt 允许宽容性地重试提交;
4.Garbage 扇区丢失或掉线,将不用承受对抵押币的惩罚;
5.宽容性惩罚,实施惩罚一定是确定恶意行为并绝不过度惩罚;
6.不能通过链上规则良好辨别出来的恶意行为,绝不实施惩罚;
7.惩罚将预先确定但延期执行,避免引起多米诺骨牌反应;
8.没有验证人,没有验证的承诺数据;
9.提倡道德,但更倾向于合理化链上规则,不排斥人性自私;[2020/9/18]
目前,机构应对数据处理挑战的方式主要有以下三种方式,但均不理想。
最常见的方法是使用集中式系统进行大规模数据处理。我们经常看到机构将 Adobe Spark、Hadoop、Databricks、Kubernetes、Kafka、Ray 等计算框架结合起来使用,形成一个连接到集中式 API 服务器的集群系统网络。然而,这些系统无法有效解决网络违规问题以及其他有关数据移动性的监管问题。
这在一定程度上导致机构因数据泄露而遭受数十亿美元的管理罚款和处罚。
另一种方法是让开发人员建设定制的协调系统,该系统应具备机构所需的认知度和稳健性。这种方法很新颖,但由于过度依赖少数人来维护和运行系统,往往面临失败风险。
令人惊讶的是,大多数情况下,机构对其数据无所作为。例如,一个城市每天可以从监控录像中收集大量数据,但由于成本高昂,这些数据仅支持在本地机器上查看,既不能归档,也不能处理。
数据处理痛点主要有两种解决方案。
解决方案一:开源数据计算平台
开发人员可以使用开源分布式数据平台进行计算,而不是使用前文提到的定制协调系统。因为该平台开源且可扩展,机构只需构建所需的组件即可。这种设置可满足多云、多计算、非数据中心的应用场景,并能驾驭复杂的监管环境。重要的是,开源社区的访问权限不再依赖于一个或多个开发人员进行系统维护,从而降低了发生故障的可能性。
在 Bacalhau 和 Lilypad 等先进计算项目的帮助下,开发人员可以更进一步,不仅在解决方案一中提到的开源数据平台上构建系统,还可以在 Filecoin 网络等真正的分布式数据协议上构建系统。
解决方案二:分布式数据计算协议
这意味着机构可以使用分布式协议,这些协议懂得如何以更精细的方式协调和描述用户问题,从而解锁紧邻数据生成和存储位置的计算区域。这种从数据中心到分布式协议的转换可以在理想情况下进行,且仅需对数据科学家的经验做出少量改动。
通过在 Filecoin 网络等分布式协议上进行部署,我们的愿景是用户可以访问同一网络上分布在不同地区的数百(或数千台)机器,并遵循与其他机器相同的协议规则。这本质上为数据科学家打开了一个充满选择的海洋,因为他们可以请求网络:
选择世界上任何地方的数据集。
遵循任何治理结构,无论是 HIPAA、GDPR 还是 FISMA。
尽可能以最低廉的价格运行。
胡安三角|解码缩略语:FHE(完全同态加密),MPC(多方计算),TEE(可信执行环境),ZKP(零知识证明)
说起选择最大化的概念,就不得不提“胡安三角(Juans triangle)”,该术语是在 Protocol Labs 的创始人Juan Benet 解释为何不同用例(在未来)会有不同的分布式计算网络来支持时创造的。
胡安三角提出,计算网络通常需要在隐私、可验证性和性能这三者之间进行权衡,传统的“一刀切”方法很难适用于每种使用情况。相反,分布式协议的模块化特性使不同的分布式网络(或子网络)能够满足不同的用户需求——无论是隐私、可验证性还是性能。最终,我们将根据自己认为重要的因素进行优化。届时,将有许多方服务提供者(如三角形内方框所示)填补这些空白,并使分布式计算成为现实。
总而言之,数据处理是一个复杂的问题,需要开箱即用的解决方案。利用开源数据计算来替代传统的集中式系统是很好的第一步。最终,在 Filecoin 网络等分布式协议上部署计算平台,可以根据用户的个性化需求自由配置计算资源,这在大数据和人工智能时代至关重要。
FilecoinNetwork
个人专栏
阅读更多
白话区块链
神译局
Gryphsis Academy
CertiK中文社区
新浪科技
元宇宙之心
金色早8点
Web3小律
MarsBit
ForesightNews
吴说区块链
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。