Web2存储的缺陷和去中心化存储体系的必要性?
基于互联网云的集中式存储,一直是现阶段的主流存储模式,它为传统互联网体系的运行提供了必要的保障,而互联网科技巨头也因市场的极度需求而成为了最大的商业受益者。集中式内容存储模型,通过中心化的调配虽然能够保证相对的效率,但这种方式的容错率普遍较低。人为因素、自然灾害所引发的单一的存储机房故障,就容易造成不可避免,甚至是致命的经济损失。
通常,这种方式也通常会因为、战争等因素,造成一些不公平现象,比如俄乌战争,就因海外云服务商拒绝为很多俄罗斯的科技企业提供服务。而中心化存储模型,也面临存储安全问题,比如Facebook就曾被指控,泄露106个国家/地区的超过5.33亿Facebook用户的个人信息,这也进一步引发一些科技企业对服务商数据安全问题的担忧。此外,一些存储能力突出的服务商,通常会垄断市场,服务价格昂贵。
所以基于现有Web2存储体系存在的弊端,让我们看到去中心化存储的刚需。通过以更为分散的存储方式,来进一步降低存储系统的容错率,而通过将用户的闲置存储资源接入网络,也将进一步降低数据存储的成本,提升闲置资源的利用率。
目前,较为知名的去中心化存储系统比如IPFS、Arweave、Sia等正在推动这个领域不断的前进,尤其是IPFS引入区块链激励层的Filecoin,在2020年主网上线后进一步推动了去中心化存储板块的热度。总的来看,区块链在其中则主要扮演激励的作用,来让更多的人接入网络成为节点,帮助系统获得存储能力,而这些系统的定位通常是去中心化存储。
各项技术的应用前提,应该建立在高效、安全的基础上,虽然现有的Web2存储方式过度中心化,但它至少能够满足大多数用户的基本需求。而现有的去中心化存储体系,难以兼顾去中心化、安全以及效率,比如Filecoin因匹配机制设计不合理,系统中常常出现节点存储效率低供需不匹配等情况。同样,绝大多数的去中心化存储体系,存储安全性也存在瓶颈,内容通常会存储在特定节点,存储安全性门槛取决于节点自身的安全性。所以,受制于安全性、效率、功能等存在的弊端,进一步导致鲜有需求者来进行尝试。
Tezos:已激活“内罗毕”升级:6月27日消息,Tezos官方发文表示,Tezos已激活其第14个核心升级:Nairobi(内罗毕)升级。该升级完成后,Tezos的TPS可增长至此前的8倍,且降低大多数操作的gas成本。团队认为,新的gas模型对用户更公平。
此外,本次升级还为Tezos带来了支持Layer2的能力,Tezos链上的智能Rollups将和layer 1同步发展。[2023/6/27 22:01:40]
我们看到,新兴的去中心化分布式存储网络CumulusEncryptedStorageSystem正在对现有的去中心化存储体系,共识机制、技术上的革新,以进一步为需求者提供安全、高性能和无限的云数据存储服务,来满足个人、企业等多层次存储用户的需求。同时,CESS有意以存储为基础,进一步构建一个高性能的公链,来为开发者、创作者们服务,构建以应用为目的Web3生态。本文将对CESS进行解读,以让更多的读者能够对CESS体系进行了解、认识,来更好的对分布式存储技术进行传播。
CESS去中心云存储详解
CESS是一个基于Substrate开源框架开发的多层级架构的区块链系统,是去中心化云储存网络基础设施,CESS采用随机选取轮值共识节点机制来对网络资源和负荷进行协调,并通过多副本可恢复存储证明、多类型数据确权、去中心化代理重加密等机制和技术手段来保证数据的完整、安全、可溯源以及隐私性。CESS不仅对原有分布式存储系统在性能、安全性上有所提升,同时也在“信息上链”层面做到了尽可能的满足,并利用高效的链上处理效率来避免去中心化带来的低效问题,在“分散”和“高效”两个对立面上做到了很好的平衡。
多层级架构
CESS是一个多层级架构体系,它包含区块链服务层、分布式存储资源层、分布式内容分发层以及应用层。目前,绝大多数以分布式存储为定位的存储网络,并不包含应用层。
Axie Infinity推出地块委托功能:6月16日消息,据官方消息,链游Axie Infinity推出地块委托功能(Axie Land Delegation),Land持有者可将Land委托给一个或多个用户(称为管家),并设定委托期限。此外,处于质押中的Land无法进行委托。[2023/6/16 21:41:59]
区块链服务层在CESS系统中,包含了共识算法、存储证明、支付及激励等等方面的功能。CESS除了是一个存储系统外,它还是一个去中心化的存储账本,账本中也记录了全网存储空间和存储内容元数据的记录,在完成CESS区块打包任务的节点除了基础的任务之外,还需要根据供需等方面因素合理分配全网存储资源。
所以区块链服务层,在这个过程中主要起到了协调、共识的作用,它就像一个军队中的指挥官,不停的在系统内进行协调与调度,来保证系统有条不紊的高效、安全的工作,比如存储资源分配、共识节点的随机选定、激励的分配协调以及奖惩等。
内容分发层以及存储资源层,主要包含四类节点,他们就像CESS系统中随时听从调配的军队。其中存储资源层包括存储节点、共识节点,而内容分发层则包含缓存节点、检索节点。其中,存储节点根据系统中的存储证明机制,基于池化技术获得存储数据分配,而缓存节点以及检索节点则可以被理解为去中心化的CDN,来进一步提高网络中对内容的检索以及热门信息的分发效率。
而上述节点的工作,在轮值共识节点机制选定共识节点后,都将在系统中被打包出块,对链上交易进行记录并全网共识。服务层、分发层以及存储资源层,都将由上述四个节点共同维护。
而应用层,则类似于类似于现有支持智能合约的Layer1,能够提供开发者API、SDK等工具包,支持构建各类Web3、Web2应用,Substrate框架将给予CESS更多的跨链支持,除了一些开发者构建应用外,也将支持其他链上DAPP的迁移。通过存储系统的进一步赋能,来为Web3商业体系的爆发做准备。
Arbitrum网络RPC近乎全部宕机:3月23日消息,ChainList 数据显示,Arbitrum 网络持续拥堵,RPC近乎全部宕机。[2023/3/23 13:22:31]
共识机制
通常,区块链系统的共识机制,将对链上效率起到决定性作用。虽然比特币的POW因节点足够多、足够分散能够为链上提供足够的安全性,但工作量证明本身就是一种效率低下的方式,并且对节点的要求门槛很高。
CESS采用的随机选取轮值共识节点机制,它借鉴了POS以及DPOS,并以随机非固定的方式,来选定系统内参与出块的共识节点,并采用安全性更高的拜占庭容错与可验证随机函数来确保共识的安全。
成为基于R2S共识机制候选节点的用户,首选需要质押一定量的$CESS,这也将作为作恶的一个经济门槛。R2S共识机制将选取一个窗口期,并在每一个时间窗口内,只从候选节点中选取11个正式的轮值节点参与出块,而未参与出块的候选节点,也可以通过参与数据预处理流程来为自己的工作能力提供证明,从而参与下一轮的正式轮值节点选取。。
在轮值节点当值过程的同时,网络将会在满足条件的候选节点中再度随机选取11个节点作为下一个时间窗口内的正式轮值节点进行共识维护,以此类推。当候选节点,因延迟出块、无响应甚至作恶的情况出现,则会被系统基于经济处罚,并在候选节点中进行随机替换。通过引入门限签名算法和收集者角色的PBFT共识算法,以及随机数,将能够进一步保证系统的安全性。
R2S继承了DPOS的高效性,同时基于随机性为网络赋予了去中心化特性,以具备低廉的gas费用和快速的交易处理吞吐量实现效率,同时保证各类矿工节点的平等参与网络的机会。
一方面实现了共识与存储分离,解决了大节点长期垄断及不作为。从另一面看,CESS共识的高效性,进一步为它将元数据上链提供了效率保证,并能够直接通过链上寻址的方式保证数据的真实性,降低链上数据请求的成本提升效率,即大幅度提高去中心化框架下的效率并实现了链上事务处理。目前,绝大多数分布式存储体系,更多的将存储数据放在链下,存在一定的数据安全隐患。
而链上的高效性、可扩展性,同样也是未来生态作为Web3底层的保障。
多副本可恢复存储证明(PoDR2)
CESS除了池化技术外,其也基于多副本可恢复存储证明(PoDR2)来进一步保证系统存储的安全性。当用户上传数据后,数据将被自动复制三份,并为每个数据副本生成可恢复证明所需要辅助验证元数据,并将这些元数据保存到区块链系统之中。
系统中的候选节点将其预处理比如分片、冗余后,进一步分发给存储节点进行存储。除了在有效的周期内,矿工需要上报自己存储的数据,便于CESS系统确认数据是否损坏外,PoDR2机制会以组成单个文件的所有数据段为整体进行统计与监测。一旦某个数据段被认定为损坏时,CESS会自动生成新的数据段作为补充,并发送至新的存储矿工,保证副本的可恢复性,提升系统数据存储的鲁棒性。
所以即便是部分存储矿工因不可控因素,导致存储资源丢失,系统保证数据的完整性。
目前,Filecoin在存储用户无特殊需求时,仅仅将个副本上传至存储节点,而该节点数据的丢失将导致该内容的永久缺失。所以从安全性上看,Filecoin等分布式存储系统安全的护城河在于存储节点的安全性,而CESS则是多道防线来提升容错率。
CESS系统大概的存储流程为:
1.CESS客户端发布用户上传的数据,并通过多格式数据权利确认机制预处理,包括数据元信息提取、数据指纹提取并在CESS系统中发布。
2.进行副本复制,并进行分片、冗余。
3.对每个数据段,生产辅助存储证明的验证参数,以便后续验证。
4.负责调度的节点,将数据段随机分配给存储矿工。
5.通过多副本可恢复存储证明(PoDR2),定期检查存储矿工的数据,以确保数据的可用性。
CESS作为新兴的分布式存储系统,在原有的分布式存储体系进行了改进,让安全性、效率有所提升,更重要的是它还具备确权防伪功能,这是Filecoin等老牌存储系统所不具备的。
智能云空间管理
Filecoin更像一个分布式的P2P存储系统,它能够为存储需求者与存储资源提供建立市场匹配。比如一个3T文件的存储需求,系统会在加密后将其分配给能够提供大于3T存储能力的存储矿工,但当需求者的存储需求过大,将会导致系统中具备大型存储能力的存储矿工更具有优势。这会导致众多的存储资源不能充分利用,尤其是一些小型的存储矿工。
CESS的池化技术,则更具备先进性。CESS在系统中通过虚拟化技术将存储供给池化,即基于存储资源构建“存储池”,对顶层应用或外部应用提供统一的、按需使用存储方式,屏蔽底层硬件差异化带来的不稳定问题。“池化”技术有效利用了闲置资源,实现了利用效率的最大化。
任何能够提供有效存储空间、存储数据量、流量贡献量、及运行性能等的存储节点,都能加入池中。当用户上传数据后,共识节点会首先将数据进行加密、分片和冗余等预处理,处理完毕的数据将依据用户对数据的存储要求挑选满足条件的矿工进行随机存储。这意味着,任何存储节点都有机会存储待存储文件的一部分,大型的存储矿工也不再具备以量取胜的优势。
不仅仅小型的存储矿工能够获得收益,因CESS的存储矿工只需要执行存储的任务而无需进行复杂专业的操作,这也让通过让更多闲置存储资源获得收益的方式使得存储资源更加优化,进一步让CESS整体的存储生态更加去中心化、分散化且安全。
CESS网络将全球节点空间“池化”,形成类似于“去中心化云存储池“,提供用户按需购买的云存储服务模式,CESS在网络空间中设置调度服务将存储用户的数据智能分配到全球节点中,最大限度和有效利用存储空间,实现智能云空间管理。
隐私与确权
隐私与确权是目前存储体系中仍旧未涉及到的领域,尤其是在NFT赛道爆发后数据的确权尤为重要。我们看到,目前CESS在候选节点对数据的预处理阶段,就基于多类型数据确权机制技术,从每个数据文件中提取数据指纹以生成数据证书ID。这意味着这些内容将通过特征在系统中被确权,解决数据流转过程中数据存证和数据确权难问题,从数据源头就开始确权,并通过区块浏览器可视化展示数据之间的数据血缘图谱。比如NFT在通过CESS进行存储后,将在CESS链上对NFT对应内容实现确权,来进一步提升NFT的绝对确权特性。
而尤其是在Web2领域,传统领域UGC无版权保护造成内容复制泛滥,在CESS作为存储方式普及后,将有望得到重塑。
此外,通过去中心化代理重加密机制,数据持有者在不泄露数据内容情况下,以去中心化的形式在目标用户之间进行交互,也是现有分布式存储体系所不具备的功能,这也为保护用户的数据安全以及权益,以Web3.0的方式提供了保障。
分发
存储资源的需求是巨大的,除了存储外,数据提供者也可能不断的提取其所存储的内容。通常,通过检索矿工检索数据后,存储矿工将存储的数据上传来提供给用户。但根据Filecoin系统中,存储矿工更倾向于基于存储证明下载用户存储的数据,而不愿意在用户需求该数据时将其上传供存储用户获取。原因在于上传所需要的网络成本却比较高,导致了网络实际上的不可用。传统云服务上基于CDN,来分发存储者存储的数据,但一些分布式存储系统比如Filecoin,就不具备这样的功能,所以他们通常无法处理大容量数据检索,这也是很多人不愿尝试分布式存储系统的原因之一。
CESS将在检索节点的基础上,进一步增加了缓存节点,它将缓存热门数据来实现更快的调用速度,保证了快速的数据检索和交付,所以缓存节点与检索节点共同构成了一个分布式的CDN,致力于快速数据索引和返回。随着整体效率的提升,CESS为多层次用户以分布式的形式存储数据,提供了必要基础。
Web3应用底层
目前,绝大多数存储系统,并不支持进一步的扩展,因为他们并不支持智能合约。这样意味着,IPFS等分布式存储技术,在存储不能得到进一步的认可后,商业道路越走越窄。
CESS基于自身随机选取轮值共识节点机制为链上赋予高扩展性、高效性,同时支持智能合约,这意味着CESS可以支持大规模的商业应用,也是业内首个在原生设计上就支持大规模商业应用的去中心化存储协议。
除了自身具备存储优势外,基于Substrate框架开发的CESS不仅支持WASM,也会兼容EVM,也能为应用的开发者提供模块化的开发工具以及API、SDK工具包等服务,直接在链上构建和启动Dapps/Apps,全栈解决方案,无限可扩展性将为开发者提供便利的开发和运行条件。
应用场景上,去中心化分布式网盘、NFT和Defi、元宇宙和链游、音频和视频、支持流媒体和数据、数据要素交易市场以及Web3.0存储等等都可以利用CESS网络轻松部署应用,CESS具备构建丰富强大的应用生态的潜力。
此外,存储公链CESS具有跨链能力,其他生态的链上资产将能够跨链至CESS中,为生态提供丰富的资产流动性以及丰富度。
所以从应用的角度看,CESS生态将广泛适用于大多数商业用途。
总的来看,CESS通过轮值共识节点机制、存储资源上链、“池化”技术、多副本可恢复存储证明(PoDR2)等技术,对分布式存储体系进行重新构架,它不仅打造了一个能够承载大规模商用的分布式存储体系,也构建了一个高性能的、广泛适用于大多数商业用途的公链系统。CESS无论对于存储领域还是区块链领域,都有着建设性的意义。
此外,在CESS的推动下,更多的Web3应用将能够通过Web3基建获得资源,摆脱对Web2世界的依赖,加快Web3世界发展的脚步。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。