引?言
星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的点对点超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。
在IPFS网络中，文件是拆分后存储在不同节点的，每个节点存储的内容并不相同，当我们使用IPFS私有网络来作为系统的文件系统时就存在存储一致性问题，如单个节点的故障导致存储的文件不可用。
IPFS-Cluster项目很好地解决了私有IPFS网络数据可用性问题，IPFS-Cluster通过给IPFS网络添加一层分布式共识协议，从而保证IPFS集群节点存储内容的一致性。IPFS-Cluster也是分布式的系统，附加在IPFS节点之上，通过维护全局一致Pinset并和IPFS交互来构建一致性存储。
图1?IPFS-Cluster示意图
IPFS-Cluster架构介绍
IPFS-Cluste是由各功能组件构成的，所以首先需要对组件化及各组件功能进行简单介绍；然后介绍使用IPFS-Cluster进行文件Pin操作的工作流程，与IPFSPin文件工作流程进行对比；Consensus组件是IPFS-Cluster能够完成分布式一致性存储的核心，最后会介绍基于“Raft”的强一致性分布式共识组件，和基于“Merkle-CRDT”的最终一致性共识组件。
BBKX平台将于今日20时免质押币60天填满IPFS云算力认购:据BBKX官方消息，平台将于本周四20：00（UTC+8）开启金色算力云IPFS云算力认购，由金色算力云提供前置质押币，60天填充满有效算力，限量100IPFS。请参与者提前做好准备工作。BBKX平台IPFS云算力为与金色算力云联合推出，起购门槛为530USDT/IPFS，可以满足不同用户的投资需求。 BBKX是一家持续分红的综合型交易平台，已获得节点资本与链上基金联合战略投资。[2020/11/12 12:24:08]
图2?IPFS组件结构示意图
▲?组件化设计
IPFS-Cluster基于组件化设计，同节点的各组件之间通过内部RPC进行通信，此方案很容易把各组件部署到不同的机器，是一种极其容易扩展的架构设计。
IPFS-Cluster由以下8个组件组成：
Consensus共识组件:?负责在集群节点之间实现一致性，使所有节点的Pinset保持一致，并且管理节点的加入及退出。目前支持两种共识算法“Merkle-CRDT”和“Raft”。
IPFS中国社区发起人：若Filecoin官方无视矿工社区状况 或会发生社区共识分裂:此前有区块链媒体发布消息称，为和Filecoin官方博弈，先河系五家头部矿商包括智合云已经集体停摆示威。引起社群里的圈内人士的争议。IPFS中国社区发起人、时空云科技董事长赖楚航回应称，矿工现在就是没有币用于抵押，经济模型设计问题，而新的经济模型（25%直接释放）还没有发布合入。如果持续这种状态，矿工就得在二级市场高价买币，很明显是划不来的，行不通。现在大家都在等官方的答复，如果官方无视矿工社区状况，可能会发生社区共识分裂，项目可能堪忧。（巴比特）[2020/10/17]
PinTracker组件:PinTracker处于共识组件和IPFS中间层，PinTracker接收并维护Consensus组件发送的Pin操作，通过RPC组件将Pin操作发送到IPFS。
PeerMonitor组件:?负责维护集群节点的状态，PeerMonitor周期性的检查节点存活状态。
State组件:存储Pin操作的数据库，便于对Pin操作进行增、删、查等操作。
RestApi组件:该组件提供了基于HTTP的ClusterPeer功能的访问服务器。
IPFS产业生态基金正式成立，由启赋资本、盈创资本和XnMatrix共同发起:8月27日，由海南省工信厅指导，海南安迈云网络技术有限公司主办，海南自贸区(港)区块链试验区协办的XnMatrix云海兴潮下一代云计算平台与IPFS分布式存储生态启动会在海南省澄迈县举办。
XnMatrix董事长吴文杰在演讲中表示，人工智能和大数据的发展,推动了数字文明时代的到来。在数字文明世界里,算力是能源，存储是土壤，算法是生命法则，共识成为社会规则，基于不可篡改的记录，以及可验证参与者身份的区块链系统，个体或组织的各种活动将共同创建一个更文明、有序、高效的数字社会。
活动现场进行了XnMatrix数字文明战略及产品发布，同时，IPFS产业生态基金正式宣布成立。据悉，该基金由启赋资本、盈创资本和XnMatrix共同发起，旨在深度参与孵化基于IPFS分布式存储项目，给予资金、资源、技术、运营等在内的全方位支持。目前该基金主要投资技术方向的早期项目，基金规模视具体项目的投资金额而定。启赋资本联合创始人顾凯、XnMatrix董事糜佳、盈创资本创始合伙人易宇参与成立仪式。[2020/8/27]
IPFSProxy组件:是一个代理endpoint，可以用来调用IPFS-Cluster连接的IPFS。某些请求比如Pin/Unpin等会被拦截并触发IPFS-Cluster集群操作，从而操作会在集群所有节点执行。未被拦截的请求都直接转发Cluster所连接的IPFSDeamon。
麦客存储朱颂：IPFS对于数据中国战略具有重要意义:IPFS100.com现场报道，8月5日22:00，由IPFS100.com主办；麦客存储联合主办；链上ChainUP、金色算力云战略合作的IPFS100.com发布会在深圳蛇口·麦考利爱尔兰酒吧拉开帷幕。麦客存储CCO朱颂指出，麦客存储是区块链分布式存储产业链先行领导者。在未来的数据技术时代，商业社会将以数据为核心和内在驱动力，推动社会发展的不再是对自然资源的利用，而是以云计算、大数据、人工智能为导向的技术革新，数据资源将会是众多利益集团必争的战略性资源之一。如果说人工智能是一场生产力革命，那么分布式存储IPFS的诞生很可能是一场生产关系的革命。目前，Web2.0时代还未结束，Web3.0时代才刚刚开始。IPFS对于数据中国战略具有重要意义，会带来革新与颠覆式的改变。[2020/8/6]
Allocator/Informer组件:Informer组件用于监控系统的硬盘使用情况、Pin操作的数量。Allocator组件用来选择文件Pin到的具体节点，系统可以根据硬盘使用情况来选择文件存储到的节点，把文件存储到特定的节点。
RPC组件:?系统使用内部RPC在同节点各组件间进行通信，外部RPC在不同节点各组件间进行通信，提高了系统的可扩展性。
Uniswap为其社区构建了托管Uniswap接口的机制，可自动部署到IPFS:去中心化交易所Uniswap为其社区创建了一个可以托管Uniswap接口的机制，以持续促进去中心化推进权力下放。该机制可使得Uniswap团队和社区构建的开源Uniswap接口每天都会自动部署到IPFS。社区成员可以固定IPFS哈希值，以确保可用性。[2020/7/1]
▲?Pin处理流程
当使用IPFS-Cluster添加内容时和IPFSadd命令添加内容命令的选项基本相同。但是IPFSadd命令仅将内容添加到本地IPFS，IPFS-Cluster同时添加到多个集群节点连接的IPFS，具体添加到多少个节点依靠ReplicationFactors参数控制。
Pin和Unpin是集群操作的核心，涉及多个内部组件，但有两个主要阶段：
ClusterPin阶段：持久化Pin操作，并通过共识组件广播给其他集群节点。
首先接收到一个Pin请求，请求包括特定参数。
根据参数会选择Pin到哪个节点，ReplicationFactors决定多少副本，磁盘空间决定选择哪个节点来进行存储。
共识组件负责将Pin请求广播到集群其它节点。
IPFSPin阶段：被指定的IPFS负责将文件内容成功Pin到本地。当Cluster-Pinning阶段完成，每个节点会被通知有个新的Pin工作，如果节点在配置列表中，会调用IPFS来进行Pin操作。
PinTracker组件开始追踪CID。
如果分配到节点，IPFSPinadd操作被执行。
PinTracker会等待IPFSPinadd操作完成，如果Pin出现错误则会进行上报处理。
这两个阶段是异步处理的，ClusterPin阶段处理后就会给用户返回应答，IPFS-Pinning阶段处理比较慢，由PinTracker对Pin过程进行管理。如果IPFSPin失败,或Pin超时失败，Cluster会接收异常情况，并定期运行Recover功能来进行异常处理。
▲?Consensus共识组件
共识组件主要职责：
管理全局Pinset集合，包括从其它节点获取或者向其它节点发送Pin操作命令。
管理Pinset相关的文件在IPFS中的持久化存储。
在所有的节点间实现分布式一致，所有的节点需要收敛相同的Pinset。
管理集群节点，包括节点加入离开，设置节点间的管理机制。
设置节点信任机制，定义哪些节点可以访问本地RPC服务。
IPFS-Cluster共识组件目前有两种具体实现，基于“Raft”的强一致性分布式共识，和基于“Merkle-CRDT”的最终一致性共识。基于“Raft”的强一致性共识，对任何一个节点发起请求都会得到相同的回复，但将产生相对高的延迟；基于“Merkle-CRDT”的最终一致性共识具有更低的响应延迟，但可能会回复过期的数据，最终一致性即是经过一段时间后终会到达一致的弱一致性。
▲?基于Raft共识算法实现
(1)通过将更新直接发送到连接的每个节点来发布更新。
(2)在本地BoltDB保存所有的持久化数据。
(3)使用Raft共识来获得强一致性。集群选出一个Leader负责提交每个请求的日志，必须群集中超过一半的节点确认才能使操作有效。可以仅将追加日志合并并压缩为快照，然后将其发送给新的节点方。
(4)相信所有节点，所有节点都可以申请加入Raft集群，并且所有节点可以和其它节点进行网络通信，前提是他们都知道私有网络的ClusterSecret。
▲?基于Merkle-CRDT?实现
CRDT是Conflict-FreeReplicatedDataTypes的缩写，即“无冲突可复制数据类型”。Merkle-CRDT是IPFS-Cluster默认的共识组件实现。
(1)通过libp2p的pubsub组件来广播Pinset更新，通过DHT+Bitswap来定位并交换数据。
(2)在本地BoltDB保存所有的持久化数据。
(3)使用Merkle-CRDTs来达成最终一致性。Merkle-CRDTs是CRDT一种改进，使用Merkle-DAG作为共识的逻辑时钟，Merkle-DAG中每个Node代表一个操作，前一个操作Node作为后一个操作Node的Parent。这样不同节点间只需要对比并同步Merkle-DAG数据结构即可维持操作的一致性。Merkle-DAGs作为逻辑时钟是只增的，不能修改的。当新的节点加入时需要从RootNode开始遍历整个Merkle-DAG，当Merkle-DAG深度比较大时，这可能导致新节点加入处理流程过慢。
(4)不需要执行任何Peerset管理。通过pubsub收到“Ping”的每个对等方都被视为集群的成员。
IPFS-Cluster总结
IPFS-Cluster作为IPFS网络的附加层，通过添加分布式共识算法达到了IPFS集群存储的一致性。此方案可以将IPFS私有网络打造成高可用存储系统，也可以用来提高IPFS的稳定性。基于内部RPC的组件化设计非常适合分布式系统，整个系统可以很方便的扩展并部署到不同的节点。
当然，目前IPFS-Cluster还不支持基于文件系统的一致性存储操作，以集群形式添加的文件在IPFS中存储为Block格式，并不支持整个文件系统状态的分布式一致性维护。
作者简介
马耀耀
来自数据网格实验室BitXMesh团队研究方向：P2P网络、数据安全传输
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。