最新！Filecoin如何实现大规模离线数据传输？ | 萤火虫IPFS矿机
2020/6/9 10:10:18
Filecoin旨在存储世界上最有价值的信息，它基于区块链技术，创造了分布式存储交易市场。区块链技术提供了安全的存储保证，加密资产机制创造了动态的市场。目前在全球范围内，我们每天都大约产生2.5亿字节的数据，其中一些数据涵盖了人类在科学、数学、艺术、历史和人文科学领域创造的最重要的信息。然而当处理大量数据时，你就会发现我们很难通过Internet传输这些文件（昂贵且耗时）以进行保管。对于PB级数据集和更大的数据集，最明智的解决方案通常涉及在硬盘上传输数据。
因此，Filecoin想利用协议和项目制造的工具和结构来支持离线数据传输。决定在线还是离线传输数据，我们需要考虑两个关键因素：费用&时间。举个例子：一个博物馆或图书馆（信息量巨大），希望在分布式web (dweb)上上传、存储和保护它的收藏。
线上传输：在当今的云服务中传输PB级数据需要通过多个区域发送数据，这会产生互连费和区域带宽费，如果你选择租用专用线路或考虑重试需求，还会产生额外费用。粗略的成本来看，仅带宽传输2.5 PB的数据就需要花费约140,000美元；如果跨区域传输这些数据，则成本会更高。线下传输：考虑硬盘驱动器本身的成本，服务器级8TB驱动器的价格约为200美元。要传输2.5 PB的数据，你将需要大约315个硬盘驱动器，总计约为63,000美元。尽管你可能需要支付一些额外的运输，进口费用和货币兑换单位成本，但总体算下来成本远低于线上传输！
线上传输：以100Mbps的速度传输500TB的数据需要一年多的时间。线下传输：用硬盘驱动器传输相同的数据仅需花费下载和发送的时间，大概一周之内就可以完成！归根结底，很明显，在某些情况下，物理传输数据的成本效益更高且速度更快。当存储较少的数据时，矿工和客户协商交易后，客户通常可以直接在线传输给矿工即可。当存储大量的数据时，Filecoin的离线数据传输功能使客户可以离线完成数据传输步骤（例如，通过将硬盘从客户端运送到存储矿工），并按预期的顺序进行交易。Filecoin会通过一个标志告诉客户端不要通过网络传输数据；而客户端会传递一个CID（描述数据的唯一标识符），矿工必须匹配该CID，才能通过交易。这为客户端节点提供了如何设置交易的灵活性，例如，在硬盘传递特定位置给矿工，以供他们用来生成分段CID的数据。
该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘，并作为交换，获得额外Filecoin。这是一种帮助Filecoin成为人类最重要的数据集之家的种子，并使其他人可以访问它的方法，也能扩大我们的知识库并形成新的想法。
4月，Filecoin提出了一项有关存储设备（类似于AWS Snowball）的提案请求，以实现更快的离线数据传输。该RFP的目标是构建冗余且安全的低成本硬盘解决方案。矿工可以在设定的期限内租用这些设备，以保持数据传输。客户端可以将数据加载到这些设备上，而矿工则在收到数据后将其卸载到自己的服务器上。考虑一下海上的一艘潜水艇，它收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时，邮寄这些硬盘驱动器可能更有意义，而不是依靠在线数据传输。在我们致力于web去中心化的过程中，大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来，EB级的数据传输（例如AWS Snowmobile）是数据传输发展的下一步。最终，离线数据传输之类的解决方案将使Filecoin成为传统云存储平台的更强大替代品——如果存储成本下降，小企业也将能够节省更多的资金用于雇用或研发。
浙ICP备18046398号