SoterOne：高效分布式管理系统

SoterOne使用一种新的分布式管理系统来结合联邦学习过程和SoterOne生态系统，我们称之为SoterOneService。在本次的专利中，我们介绍了SoterOneService的细节和创新。

1. 联邦学习

联邦学习是一种机器学习技术，它可以在不交换原始数据的情况下跨多个参与方训练数据模型。这有助于在多方之间连接数据，同时保护隐私。然而，联邦学习运行时仍然只在一些领域内，并没有完全向公众开放。

对公众开放面临的挑战是：

1）公众是分散的，可能会报告不正确的信息。对于具有未知执行环境的参与方，没有很好的解决方案来调度联合学习作业; 2）公众对数据使用的限制更大; 3）面对更多的公众用户，需要一个去中心化的、分布式的管理系统。由于单点资源和故障隐患，恶意行为检测器也需要去中心化。

2. SoterOneService及其功能

SoterOneService的开发旨在为联邦学习提供一个分布式管理系统，该系统可供公众使用，有助于探索数据在不同方面的潜力。该管理系统可以惩罚那些报告不正确信息的恶意或欺诈的公众当事人，并满足不同公众用户的不同隐私要求。

SoterOneService引入了一个信誉反馈机制来鼓励参与方报道正确的信息。信誉分的定义公式如下所示：

Q是信誉更新函数。管理体系、质量控制反馈和现有的信誉评分都会对更新的评分做出贡献。信誉评分公开显示，供QC日后参考。此外，在调度查询时，管理系统检测到的不正确的资源配置文件也将被取消优先级。

另外，SoterOneService是一个自然分布式系统，其中每个组件都可以被拆分成微服务，并且可以水平扩展。

SoterOneService管理系统有四大职责：

1.节点管理 2.数据集元数据管理 3.查询管理 4.资源管理

3. SoterOneService的工作细节

如图所示：

A.节点管理（NodeManager9）：参与联邦学习过程的所有各方（DO3、MPC4和QC5）都由管理系统管理。他们的个人资料需要被注册和维护。

QC是从用户界面启动联邦学习过程的客户。他们使用加密的RESTfulAPI6与构建在管理系统顶部的网络服务通信。他们可以首先从数据集/MPC目录中选择所需的数据集和MPC节点来启动联邦学习过程,然后通过上传模型和数据配置来构造联邦学习查询;最后开始学习过程。

DO/MPC是联邦学习过程中的数据和计算资源所有者。他们将运行由平台提供并可执行的二进制文件，并使用加密的RPC7与平台进行通信。这些二进制文件将自己注册到平台，并定期向管理系统发送心跳信号，报告它们的活跃度和资源使用快照。

一旦DO/MPC/QC完成了所有工作并且决定离开平台，他们可以在平台注销，其所有敏感信息都会被清洗和移除。

由于隐私问题，个体只能访问自己拥有的资源。所有请求都将进行权限验证，如果权限设置不正确，则可能会被管理系统阻止。

B.数据集元数据管理（DatasetmetadataManager10）：数据集元数据将由其数据所有者（DO）通过CLI上传，并由管理系统聚合。在上传过程中，所有敏感数据都将被屏蔽。一旦上传，管理系统将以各种方式对其进行分组和过滤，以帮助QC确定最适合其查询的数据集。通过适当的分组，该平台还将探索更多的联邦成员学习机会，并吸引更多的QC在该平台上进行尝试。

数据集/MPC目录也将由管理系统显示。它不仅将显示数据集元数据，还将跟踪数据集和MPC的使用统计信息，包括选择次数、成功/失败率和作业历史记录等。

C.查询管理（QueryManager11）：联邦学习查询将由QC发起，然后由管理系统管理。管理系统将为选定的节点分配任务，监控整个任务集群，并将成功/失败状态返回给QC。如果任务失败，管理系统将启动故障恢复过程来恢复作业。如果作业无法恢复，管理系统将启动清理过程。查询管理流程如下：

1.QC向管理系统提交查询。 2.管理系统验证查询中包含的节点（MPC、DO和数据集兼容性）的可用性。将查询状态设置为“querydispatched”，并通过广播信道8广播消息。典型的广播通信信道可以是P2P网络和区块链。 3.当DO/MPC看到广播的“QueryDispatched”消息时，它们将与其他参与者连接并启动查询执行过程。 4.查询过程开始后，管理系统将不参与联邦学习过程。它只监视节点的活动性并等待结果。 5.一旦管理系统收到最终结果，管理系统将通知QC，并在ξ后开始清理过程，通过向所有实体广播“查询清理”消息。所有与查询相关的信息都将在DO/MPCs中删除或删除。只有管理系统会存储查询统计信息以及最终的查询结果。 6.如果MPC在学习过程中崩溃，管理系统将选择不同的MPC并广播“queryMPCUpdated”消息，其中包含旧MPC和新MPC，以便切换连接。 a.新的MPC是根据MPC的活力，版本和信誉来选择的。 7.如果DO在学习过程中崩溃，管理系统将通过通信通道直接广播“查询失败”消息。所有接收消息的各方都将启动内部清理进程。 8.如果在此过程中管理系统崩溃，则各方将继续执行查询，直到