一文了解Filecoin推出的FWS(Filecoin Web Service)
原文来源:Filecoin Network
对我们的工程团队来说,这是一次重要的发布日。
生态里的工程团队在Filecoin Web Services 项目上来到了一个重要的里程碑——这次 FWS 发布,意味着开源替代方案在开始提供 AWS、GCP 和 Azure 这类服务的替代品。这个平台利用了 Filecoin 这个世界上最大的去中心化存储网络的潜力。
这个消息的发布,为向全世界开发者提供实际可用的云服务替代方案迈出了重要的一步。
什么是 FWS?
FWS(Filecoin Web Services) 是在 Filecoin 网络上搭建的一系列计算和存储技术。Filecoin 网络是一个去中心化网络,内置了网络收入生成机制和激励机制。我们意识到云服务提供了很好的开发者体验,因此我们的雄心之一,就是在去中心化网络可以提供的透明、开源激励层之上提供云级别的开发者体验。
这个技术栈涵盖了不同的组件,如计算、存储和网络资源,可被开发者用于搭建去中心化应用。Filecoin Web Services 提供的组件从设计的时候就旨在实现可扩展性、灵活性和安全性,让其适合用于广泛的用例。
FWS 产品线
Estuary
Estuary 由不同的组件组成,如 Estuary Node,这是一个容易部署和管理的 Filecoin 存储节点此外,Estuary Dashboard 仪表盘提供了对用户友好的界面,用于在这个网络上监控和管理存储交易提议。Estuary 也提供了不同的开发者工具和 API 接口(如 Estuary API),让开发者可以在 Filecoin 上搭建存储应用。此外还有 Estuary SDK,它提供了一系列库和工具,用于实现与这个网络的整合需求。
Delta 技术栈
Delta 技术栈(Delta Technology Stack)是一个开源工具套件,用于创建和管理 Filecoin 网络存储交易提议。这包括 Deltac 存储交易提议协商引擎(Deal Making Engine)、Delta 大型数据集管理器(Dataset Manager for large datasets)和用于为未封装副本(unsealed copies)提供存储和对外访问服务的 Edge-UR Gateway 网关。
细说 Delta
Delta 可简化 Filecoin 网络上准备和管理存储交易提议的流程。Delta 可用于管理数据(包括版本管理、元数据管理和追踪存储交易提议状态),这些都让用户更容易在 Filecoin 网络上发布自己的数据。
Delta 存储交易提议协商引擎让用户可以指定存储交易提议的条款,如所需的存储空间、价格及交易条件。之后,这个平台会使用 Filecoin 网络的智能合约来强制执行存储交易提议 条款和促成交易。
Delta 可将在 Filecoin 网络上准备执行存储交易提议的复杂过程封装起来,为那些想在 Filecoin 去中心化存储网络上存储自己数据副本的用户提供了无缝的体验。
特性:
-
存储交易提议计划书准备和公告
-
存储片(Piece)提交计算和优化
-
E 2 E/导入支持(在线/离线)
-
自动/手动修复和更新存储交易提议
-
钱包分配
-
存储提供者分配和选择
-
Blockstore 清理
-
存储交易提议状态管理
-
副本管理
Delta 数据集管理器
Delta 数据集管理器(Dataset Manager ,Delta DM) 工具为那些通过导入存储交易提议(out-of-band 带外流程)而上载到 Filecoin 网络的数据集提供存储交易提议副本管理追踪服务。这为快速达成大量数据的存储交易提议提供了解决方案,因为这种场景最好使用带外流程来加速。
Delta DM 平台提供了直观的 web 界面,可简化管理数据集的流程。它跟踪副本和 DataCap 配额,通过存储交易提议拉取(pull)机制为客户服务提供者(Client Service Providers)提供了自助服务。
这个工具与数据准备和数据传输的流程可以独立开来,可以在 Boost 和 Lotus 之外运行,让 Delta DM + Delta 作为独立的解决方案来运作。
Delta 导入器
Delta 导入器(Importer)是一个独立的二进制程序,旨在运行在一个存储提供者基础设施之上。它将 CAR 文件从文件系统导入 Boost 的流程自动化了。通过与 Delta DM 整合来从自主服务 API 请求存储交易提议,Delta Importer 促成了自动化存储交易协商和存储交易提议纳入的流水线。Delta DM 有多个运作模式,覆盖了一系列不同的数据纳入策略。
即将到来的:
-
失效存储交易提议自动修复
-
Retrieval-SP——为未封装副本指定一个单一的位置。
-
SP Metadata——详细的副本参数
Edge-UR
Edge-UR 是让用户在 Estuary 上用相同 API 密钥来上传和检索内容的专门节点。每一个用户都会分配到自己的节点,这些节点可以无缝切换上传协议。虽然数据还是要通过 HTTP 协议上传,Edge-UR 节点可以帮助将文件传输到 Delta 节点,从而达成存储交易提议。
总的来说,Edge-UR 简化往 Estuary 上传和检索数据的流程,同时保证了用户内容的安全性和可控性。
特性:
-
轻量级IPFS节点,可与 IPFS 节点连通。
-
上传和检索——用户可以上传数据并在之后马上检索数据。
-
使用 Delta 实现异步达成存储交易提议。
-
追踪内容和其相关存储交易提议。
Ptolemy
Ptolemy 旨在作为一个编排引擎(orchestration engine),处理那些通常局限在 S 3 存储桶或相似文件系统的大型数据集。Ptolemy 可在 CAR 文件里封装整个文件系统架构,用于达成存储交易提议。Ptolemy 的目标是为存储提供者和终端用户移除数据准备相关的繁琐工作。
FWI
Filecoin Web Infrastructure(Web 基础设施)向去中心化迈出了重要一步。它作为存储交易提议达成引擎和其他 Filecoin 技术、服务的蓝图,描绘了一个低成本、可靠的计算和存储方案,将 Filecoin 网络又向前推了一步。它是一个可扩展的计算集群存储系统和可视化集群,它包括了高可用性设计和 Kubernetes 编排工具.
FWI 是一个开源的自动化工具,也是以代码形式提供的基础设施,能让你搭建自己的“类 FWI-alikes”应用,在自己的硬件上、以自己的条件运行自己的企业级客户基础设施。它可匹配不同硬件和软件,所有组件都是可插拔和开源的。
FWI 还有很多好处——其中之一是实现客户专属基础设施(Customer Provisioned Infrastructure),让工程团队可以代表客户运行基础设施,并收取 FIL 作为回报——这是一个重大突破。这项工作会在未来几周细节讨论。
存储市场
Storage.market 作为数据存储产品的信息中心,为用户提供存储市场的分析数据和最新的数据存储相关新闻。这项服务对那些想及时了解产业趋势和作出存储产品、服务相关仔细决策的企业和个人来说尤其有用。
用户落地
为了往 Filecoin 网络上载数据,用户需要使用特定工具和应用,让他们可以与网络互动并之行不同运作流程(如上传、检索和管理数据)。这就是 Filecoin 生态系统想服务的环节:我们的工程团队正与一些客户合作,他们正使用我们团队的专业知识和工具,搭建往 Filecoin 网络上载数据的解决方案。
与多个客户在这些项目上合作是具有挑战性的。因为每一名客户都有自己的需求、用例和不同的技术能力。不过,通过我们对 Filecoin 网络架构、协议和特性,以及对客户需求和期望的了解,我们可以开发定制方案,满足他们的需求,帮助他们利用去中心化存储的好处。
与 Radiant Earth 合作
Radiant Earth 这个创新机构旨在通过使用机器学习和地球观察(EO)技术,来推动积极的全球影响。他们提供了一系列高质量的开放资源,这些资源得到了全球专业人士和研究人员的信任。
Radiant Earth 其中一项核心使命,就是培育一个实践社区,在机器学习进行地球观察的任务上开发相关标准。这涉及聚集机器学习、地球观察及相关领域的专家,来协作、分享知识和开发最佳实践标准,从而以负责、高效的方式使用这些技术。
作为我们与 Radiant Earth 合作的一部分,我们使用自有技术栈往 Filecoin 网络上载了他们一小部分的机器学习和地球观察数据。我们了解实现这个任务的必要步骤,通过我们的工具,确保了他们的数据有妥善格式、被安全存储、可轻松访问。
我们使用的工具:
-
Ptolemy
-
Delta Dataset Manager
-
Delta Deal Making Engine
-
Delta Importer
进一步了解 Radiant Earth https://mlhub.earth/
与 SUCHO 合作
SUCHO 这个杰出的计划由全球 1, 500 名志愿者在推动,他们正在网上协作,来数字化和保护 Ukraine 的文化遗产。在持续的冲突中,SUCHO 已经行动起来,来保存 Ukraine 文化机构所属的 5, 000 多个网站和~ 40 TB 数据,通过全球 5 个不同的存储提供者,防止这些宝贵的资源丢失或下线。
我们使用的工具:
-
Ptolemy
-
Delta Dataset Manager
-
Delta Deal Making Engine
Delta Importer
进一步了解 SUCHO: https://www.sucho.org/
与 Encloud 合作
Encloud 专注于数据安全,他们意识到使用 Filecoin 进一步提升其安全特性同时为用户提供自由访问的重要性。
我们正与 Encloud 在这方面合作,向他们开放我们的在线 Edge-UR 节点,来测试其概念验证模型。
我们使用的工具:
-
Delta
-
Edge-UR