【论文阅读】A survey on federated learning

论文阅读】A survey on federated learning"/>

【论文阅读】A survey on federated learning

题目： A survey on federated learning

期刊： Knowledge-Based Systems 2021

论文地址：

摘要：

联邦学习（Federated Learning）是一种多个客户端协作解决机器学习问题的设置，由中央汇聚器进行协调。这种设置还允许训练数据分散存储，以确保每个设备的数据隐私。联邦学习遵循两个主要思想：本地计算和模型传输，从而减少了传统集中式机器学习方法带来的一些系统隐私风险和成本。客户端的原始数据存储在本地，不可交换或移动。通过应用联邦学习，每个设备使用本地数据进行本地训练，然后上传模型到服务器进行汇聚，最后服务器将模型更新发送给参与者以实现学习目标。为了提供一份全面的调查，促进该领域的潜在研究，我们从五个方面系统地介绍了联邦学习的现有工作：数据分区、隐私机制、机器学习模型、通信架构和系统异构性。然后，我们总结了当前联邦学习面临的挑战和未来的研究方向。最后，我们总结了现有联邦学习的特点，并分析了联邦学习的当前实际应用情况。

1.引言

1.1 联邦学习的背景

略

1.2联邦学习面临的挑战

1.隐私保护：必须保证联邦学习中的模型训练不会泄露用户的隐私信息。

2.数据量不足：在传统机器学习中，如果想要得到一个较好的模型，往往需要大量的数据，但在分布式环境中，每个移动设备上的数据量不足。另一方面，以集中的方式收集所有的数据可能导致巨大的费用。因此，联邦学习要求每个设备使用本地数据来训练本地模型，然后将所有本地模型上传到服务器上聚合成全局模型。

3.统计异质性：联邦环境中存在大量边缘设备，这些设备持有的数据可能是非独立同分布（Non-IID）的。例如，在智能医疗系统中，不同类型疾病的电子病历数据结构不同，训练这些非独立同分布的数据集是一个巨大的挑战。

2.相关工作

联邦学习实际上是一种加密的分布式机器学习技术，参与者可以在不暴露底层数据的情况下构建模型，从而使每个企业的自有数据不离开本地环境。通过加密机制下的参数交换，建立了一个虚拟的共同模型。在该机制下，所有涉及方成功地连接起数据孤岛，迈向共同发展。

2.1 联邦学习的定义

略

2.2联邦学习的基本步骤

3.联邦学习的分类

本节从数据分区、隐私机制、适用的机器学习模型、通信体系结构和解决异质问题的方法五个方面总结了联邦学习的分类。表1给出了这些类别的优点和应用：

3.1 数据划分      

根据数据的样本空间和特征空间的不同分布模式，如图2所示，联邦学习可以分为三大类：横向联邦学习、纵向联邦学习和联邦迁移学习。

3.2隐私保护机制

联邦学习最重要的特点是合作客户端可以将自己的数据保留在本地，并需要共享模型信息来训练目标模型，但模型信息也可能泄露一些私有信息[29]。保护联邦隐私的常见方法包括模型聚合[15]、同态加密[13]和差分隐私[14]。

3.2.1模型聚合

模型聚合是联邦学习中最常见的隐私保护机制之一，通过汇总各方的模型参数训练全局模型，从而避免在训练过程中传输原始数据。Shashi等人[30]基于建立的激励机制使多个设备能够参与联邦训练。为了获得高效的结果，必须实时考虑参数交换过程中的通信效率优化。与建立激励机制相比，Yu等人[31]展示了基于微调、多任务学习和知识提取的本地自适应方法，以帮助提高个体参与者的隐私和鲁棒联邦模型的准确性。因此，参与者可以在不损害模型的隐私或完整性的情况下获得联邦学习的好处，并取得比本地模型更好的结果。

McMahan等人[18]提出了基于迭代模型平均的深度网络联邦学习框架，通过汇总每一轮更新中的本地模型来训练全局模型。PATE[32]方法基于知识聚合，将由分离数据训练的Teacher模型转移到可能暴露属性的Student模型上。PATE以黑盒方式结合了使用非联邦数据集训练的多个模型，为训练数据的隐私提供了准确的保证。Yurochkin等人[33]为神经网络的联邦学习开发了一种贝叶斯非参数框架，通过匹配本地模型中的神经元来建立全局模型。联邦学习和多任务的组合[17]允许多个用户在本地训练不同任务的模型，这也是一种典型的模型聚合方法。在[16,34]中，将联邦学习与区块链相结合，基于区块链交换和更新每个设备的模型数据。最终，在区块链协议的保证下，安全地进行模型参数汇聚。

3.2.2同态加密

通用加密方案主要关注数据存储安全。没有密钥的用户无法从加密结果中获取任何关于原始数据的信息，并且不能对加密数据进行任何计算操作，否则将导致解密失败。然而，同态加密可以解决一般加密数据的计算问题，因为它关注数据处理的安全性。同态加密的最重要特点是用户可以对加密数据进行计算和处理，但在过程中不会透露任何原始数据。同时，拥有密钥的用户对处理后的数据进行解密，得到期望的结果。在Ridge回归系统[15,35]中，将同态加密与联邦学习相结合以满足隐私需求，改善了通信和计算开销的性能。

对于联邦学习来说，同态加密是锦上添花。在使用联邦学习时，用户和服务器之间的梯度交换可能会泄露用户的私密信息。同态加密可以很好地解决这个问题，它可以处理加密模型而不影响模型的训练结果。在[13]中，采用加法同态性保证了模型参数的共享安全，从而防止了每个客户端的隐私被中央服务器泄露。Hardy等人[26]提出了一个联邦逻辑回归模型，使用加法同态性方案有效地抵御了诚实和好奇的攻击者。Liu等人[36]提出了一种用于迁移学习的联邦学习框架，在这个隐私机制中也使用了加法同态加密来对模型参数进行加密以保护数据隐私。Cheng等人[25]利用实体对齐技术获取共享数据来构建名为SecureBoost的决策树模型，并利用同态加密来保护模型参数。

3.2.3差异隐私

差分隐私是Dwork于2006年提出的一种解决统计数据库隐私泄露问题的新定义。根据这个定义，数据库的计算结果对于特定记录的更改是不敏感的，数据集中的单个记录或不在数据集中的记录对计算结果的影响很小。因此，通过向数据集添加一条记录引起的隐私泄露风险在一个非常小且可接受的范围内被控制，攻击者无法通过观察计算结果获取精确的个人信息。在传统机器学习和深度学习的训练过程中，常常通过向输出添加噪声，在梯度迭代过程中应用差分隐私，以达到保护用户隐私的目标。实践中通常使用拉普拉斯机制和指数机制来实现差分隐私保护。在隐私保护和有效性两个方面进行了大量的研究工作。增加更多的噪声不可避免地会影响有效性，如何在隐私和有效性之间取得平衡是目前最受关注的研究方向。

差分隐私分为全局差分隐私和本地差分隐私。这两种差分隐私都能够保证单个用户的ε-差分需求，但应用场景略有不同。Geyer等人提出了一种具有差分隐私的联邦优化算法，应用于客户端以确保其全局差分隐私。训练模型本身包含大量的参数以确保通信和准确性。由于添加了噪声，会导致很大的准确性损失。为了避免盲目添加不必要的噪声，Thakkar等人设计了一种基于自适应梯度的范式剪枝方案，减少噪声对梯度的渗透。在全局隐私保护的有效性有限的情况下，Bhowmick等人设计了一种极小极大最优化的隐私保护机制，模拟了用户的本地隐私保护策略，限制了潜在攻击者的能力，实现了比严格的本地隐私更好的模型性能。Li等人提出了一种新的基于梯度的差分隐私参数传输算法，应用于非凸联邦语言建模任务，并实现了接近非私有模型的性能。Qie等人设计了一个基于联邦学习的新闻推荐模型，包含本地隐私检查，该模型在多用户设备上训练，随机选择用户将本地模型上传到服务器并聚合成新的全局模型。

3.3可应用的机器学习模型

联邦学习正在逐渐渗透到流行的机器学习模型中，该模型旨在确保模型的隐私性和有效性。我们主要考虑三种由联邦学习支持的模型: 线性模型，决策树和神经网络。

3.3.1线性模型

线性模型主要分为三类：线性回归、岭回归和Lasso回归。Du等人提出了在联邦环境中训练线性模型的方法，解决了实体解析的安全问题，并最终实现了与非私有解决方案相同的准确性。Nikolaenko等人设计了一个带有同态加密和Yao协议的岭回归系统，获得了最佳性能。与其他模型相比，线性模型简单易实现，并且是实施联邦学习的有效模型。

3.3.2树模型

联邦学习可以用于训练单个或多个决策树，比如梯度提升决策树和随机森林。梯度提升决策树（GBDT）算法近年来被广泛提及，主要是因为它在许多分类和回归任务中表现出良好的性能。赵等人 [46] 首次在回归和二分类任务中实现了GBDT隐私保护系统。该系统安全地聚合了不同数据所有者训练的回归树，以防止用户数据隐私的泄露。程等人 [25] 提出了一个名为SecureBoost的框架，该框架为水平和垂直分区数据训练梯度提升决策树模型，并使用户能够建立一个联邦学习系统。

3.3.3神经网络模型

神经网络模型是目前机器学习中的热门方向，旨在训练神经网络执行复杂任务。在联邦环境中，对深度神经网络的研究越来越受欢迎。无人机在轨迹规划、目标识别和目标定位等各种服务中发挥着重要作用。为了提供更高效的服务，无人机组通常通过深度学习来训练模型，但由于无人机组与地面基站之间缺乏持续的连接，集中式训练方法无法发挥无人机的实时性能。曾等人 [47] 首次在无人机组上实现了分布式联邦学习算法，联合功率分配和调度，并优化了联邦学习的收敛速度。该算法的主要步骤是，领导无人机汇总其他无人机训练的局部飞行模型，生成全局飞行模型，并通过群内网络转发给其他无人机。Bonawitz等人 [48] 基于TensorFlow构建了一个可扩展的面向移动设备的联邦学习系统，可以训练大量分布式数据模型。杨等人 [12] 基于数据分区建立了一个面向企业数据的联邦深度学习框架，以实现优先应用。除了企业数据应用外，政务大数据中的交通流量信息通常包含大量用户隐私。刘等人 [49] 将GRU（门控循环单元）神经网络用于交通流量预测，并结合联邦学习提出了一种聚类FedGRU算法，更准确地捕捉交通流量数据的时空相关性。对真实数据集的实验证明，其性能明显优于非联邦学习方法。

目前，联邦学习已被广泛应用于机器学习模型，但随着机器学习的快速发展，提出实际和高效的联邦学习任务仍然是一个挑战。

3.4通信体系结构

联邦学习应用场景面临一些问题，比如用户数据分布不均、设备计算能力等等。随着智能家居等设备的发展，还需要处理大量的非独立同分布（Non-IID）数据，而不泄露敏感信息。根据实际复杂情况，选择合适的训练方法对模型的实施是有帮助的。

在分布式训练的设计中，所有远程设备都可以与中央服务器通信，并参与全局模型的更新。在联邦设置中，本地更新和客户参与的灵活性影响整体模型的训练有效性。[50]中提出了一种名为FedProx的模型，它将边缘设备数据进行分布式训练，并使用联邦平均[18]模型优化方法来确保目标任务的稳健性和稳定性。Federated Averaging（FedAvg）[18]是联邦学习中最常见的模型优化方法。该方法对本地上传的随机下降梯度数据进行平均，然后进行更新并在本地分发。在多任务学习[17]中，证明了FedAvg模型优化方法具有良好的性能。为了解决联邦学习中模型更新的通信成本过高的关键问题，Konecny等人[11]通过量化、随机旋转和二次采样的方法压缩模型数据，以减少中央服务器与所有用户之间的通信压力。Caldas等人[51]采用有损压缩和联邦Dropout技术来减少服务器与设备之间的通信。Sattler等人[52]提出了一种稀疏三值压缩协议，用于非独立同分布数据的联邦训练，其收敛速度比联邦平均算法快。为了保护数据隐私和解决非独立同分布数据的不平衡问题，杨等人[53]提出了一种新的联邦平均算法，通过计算不同设备的模型加权平均来聚合全局模型。

3.5解决异质性的办法

在联邦学习的应用场景中，设备的差异会使整个训练过程的效率低下。为了解决系统异质问题，有四种方式：异步通信、设备采样、容错机制和模型异质。

3.5.1异步通信

在传统的数据中心设置中，基于并行迭代优化算法有两种常见的方案：同步通信和异步通信。

然而，在面对设备的多样性时，同步方案容易受到干扰，因此在联邦学习的多设备环境中，异步通信方案可以更好地解决设备分散的问题。Duchi等人[54]利用数据的稀疏性研究了并行和异步算法，可以更好地解决训练设备的异构性问题。在内存共享系统[55]中，异步方案很好地解决了设备异构性问题。尽管异步更新在分布式系统[56–60]中取得了良好的效益，但设备通信延迟的问题加剧了设备异构性的劣势。

在联邦学习的过程中，由于实时通信的必要性，根据异步通信的方案来解决系统的异构性是首选。

3.5.2设备采样

在联邦学习中，并不是每个设备都需要在每个迭代的训练过程中参与。在一些联邦学习的场景中，设备会被选择参与训练，而在另一部分场景中，设备会主动参与训练。

在[17,18,48]的工作中，设备是被动地参与联邦学习的过程。Nishio等人[61]提出了一种新的协议FedCS，解决了资源受限的客户端选择问题，通过增加更多的客户端参与训练过程，提高了模型的性能。Kang等人[62]设计了一个基于合同理论的激励机制，鼓励具有高质量数据的本地设备积极参与有效的联邦学习过程，提高学习准确性。Qi等人[44]基于联邦学习设计了一个新闻推荐模型，也会随机选取用户的本地梯度上传到服务器来训练全局模型。Wang等人[63]提出了一种名为Pulling Reduction with Local Compensation (PRLC)的新方法，它基于联邦学习实现端到端的通信。PRLC的主要思想是，在每次迭代中，只有部分设备参与模型更新，而未参与的设备通过PRLC方法在本地更新来与全局模型缩小差距。最后证明，在强凸性和非凸性情况下，PRLC方法的收敛速度与未压缩方法相同，并具有更好的可扩展性。

3.5.3容错机制

在不稳定的网络环境中，容错机制可以防止系统崩溃，特别是在分布式环境中。当多个设备共同工作时，一旦有设备发生故障，就会影响到其他设备。联邦学习是目前的热门研究方向，在多设备的协作下，保护多个用户的隐私。类似地，在联邦学习环境中，我们还需要考虑设备的可接纳性。

Wang等人[64]专注于联邦学习方法，提出了一种控制算法，来确定本地更新和全局参数聚合之间的最佳权衡，以适应设备资源的限制。Yu等人[50]通过减少通信来改进了分布式随机梯度下降算法的线性加速特性。还有一些工作[11,17]直接忽略了设备的参与，这不会影响联邦学习在多任务学习中的效率。

容忍设备故障的另一个选择[65]是通过编码计算引入算法冗余。移动设备上的错误数据可能导致联邦学习中的欺诈行为。Kang等人[66]提出了一种基于可靠员工选择的联邦学习方案，通过引入声誉作为度量标准和区块链作为声誉管理方案，可以有效防止恶意攻击和篡改。

3.5.4模型异质性

数据是训练模型的基础。当从多方设备收集分布不均匀的数据用于训练联邦模型时，会严重影响模型的最终效率。合理处理来自不同设备的数据对联邦学习有着至关重要的影响。为了解决统计数据异质性的问题，联邦学习网络主要分为三种建模方法：

(a)每个设备有自己的模型；

(b)训练适用于所有设备的全局模型；

(c)为任务训练相关的学习模型。

Yu等人[67]提出了一种仅使用正标签进行训练的通用框架，即具有扩散性的联邦平均(FedAwS)，其中服务器在每次迭代后添加几何正则化器，以促使嵌入空间中的各类别分散。然而，在传统训练中，用户还需要使用负标签，这极大地提高了训练效率，并确保分类任务的准确性。Zhao等人[52]通过训练边缘设备之间的少量数据构建了一个全局模型，提高了非独立同分布数据的训练准确性。Khodak等人[68]在统计学习设置中设计并实现了一种自适应学习方法，提高了小样本学习和联邦学习的性能。Eichner等人[69]考虑到全局模型和特定设备之间的快速数据自适应训练，以解决联邦训练中的数据异质性问题。Corinzia等人[70]提出了一种称为VIRTUAL的联邦学习算法，将中央服务器和客户端的联邦网络视为贝叶斯网络，并使用近似变分推理在网络上进行训练，在联邦学习真实数据集上展现了最先进的性能。与以往方法不同，其重心偏向于本地或全局模型。Liang等人[71]提出了一种称为局部全局联合平均(LG-FEDAVG)的算法，将本地表示学习与全局模型联邦训练相结合。理论分析显示，本地模型和全局模型的结合减小了数据方差，减小了设备方差，并提高了模型在处理异质数据时的灵活性。实验证明，LG-FEDAVG能降低通信成本，处理异质数据，并有效学习模糊保护属性的公平表示。

4.应用

4.1 服务推荐

4.1.1 谷歌键盘

谷歌在2016年启动了一个项目，旨在在Android手机用户之间建立联邦学习[8]，以提高键盘输入预测的质量，同时确保用户的安全和隐私。语言模型的发展也将促进推荐系统的发展[72]。结合联邦学习，它可以扩展到其他推荐应用。当用户发出请求时，模型可以快速提供后续的建议。

4.1.2 智能医疗诊断系统

由于对患者隐私的保护，收集散布在各个医院的医疗数据变得非常困难。因此，医疗数据成为一种稀缺资源。人工智能的发展为医疗资源的分配和疾病诊断带来了革命性的变化。然而，在数据的收集和处理过程中存在安全挑战，例如患者私人数据的泄露[73]。Cohen等人[74]根据患者的隐私需求分析了现有的法律和道德挑战，并讨论了如何在未来更好地利用患者数据而不泄露隐私。数据量过小和标签不足是医疗数据面临的两个问题，而现有的联邦迁移学习可以解决这些问题。Lee等人[75]利用互联的医疗系统整理健康结果数据和纵向真实数据，并设计并实现了一个基于APOLLO网络的综合多联邦学习网络，将现实世界的数据转化为医疗诊断证据，以协助医生进行前瞻性诊断。

4.2无线通信

对于无线通信而言，基于传统模型的早期方法已不再适用于当前越来越复杂的无线网络，深度网络的普及也为建立无线网络模型带来了新的方向[76]。

Niknam等人[77]将联邦学习在无线通信领域中的重要功能，如边缘计算和5G网络等，进行了详细分析。然后，在标准数据集上进行了模拟，以证明联邦学习在无线通信领域的可用性和安全性。Mohammad等人[78]研究了联邦学习在无线网络和边缘计算中的应用，并利用各设备自己的数据集通过远程参数服务器建立了一个联邦模型。Tran等人[79]设计并实现了一个基于光波功率的联邦学习模型，这是一种在物理层应用于通过资源分配管理网络以实现最高传输效率的新方法。然而，噪声问题始终难以解决，因此Ang等人[80]提出了一种针对无线通信噪声的鲁棒联邦学习算法。他们将聚合过程和广播过程中的噪声问题简化为基于期望模型和最坏情况模型的并行优化问题。相应的优化问题可以通过SLA（服务级别协议）算法和基于采样的SCA（服务构件架构）算法来实现。实验结果表明，该算法在提高预测准确性和减少损失方面取得了良好的效果。

通过联邦学习的训练过程，我们不仅可以获得一个良好的全局模型而无需共享自己的私有数据，还可以减轻设备的通信负担。Nguyen等人[81]将联邦学习应用于智能家居中的无线物联网系统，提高了攻击检测的准确性并增加了通信效率。Savazz等人[82]提出了一种适用于5G无线网络的无服务器学习方法，通过每个设备的局部梯度迭代计算和基于一致性方法来共享模型参数。Abad等人[83]为无线异构蜂窝网络（HCN）设计了一个分层的联邦学习框架，采用梯度稀疏和周期平均的方法来提高模型的通信效率。

5.挑战和未来工作

联邦学习是一个新兴的领域，尽管联邦学习在某些领域发挥了作用，但在性能优化方面仍然面临着许多挑战，其次是三个主要挑战。

5.1.1. 隐私保护

在联邦学习中，隐私保护是一个重大关注点。联邦学习通过与服务器交换模型梯度而不是原始数据来保护每个设备上的私人数据。然而，在整个训练过程中的模型通信也可能泄露敏感信息给第三方，例如模型的反向推断。尽管最近出现了一些提高数据隐私的方法，但这些方法都增加了计算的复杂性和联邦网络的计算负担。为了进一步有效地保护私人数据的安全，我们需要找到新的方法来防止模型传输中的私人数据泄露。

5.1.2. 通信成本

在联邦学习中，通信是一个关键瓶颈。实际上，一个联邦网络可能包括大量的设备，如数百万台远程移动设备。联邦学习模型的训练可能涉及大量的通信。此外，网络中的通信速度无法保证，因此联邦学习的通信成本是非常值得考虑的。因此，为了使联邦学习变得实用，有必要开发具有高通信效率的方法。

5.1.3. 系统异构性

由于硬件和网络连接的不同，联邦网络中每个设备的计算和通信能力可能不同。在一个网络中同时活动的设备通常只占很小的比例。例如，数百万设备的网络有时只有数百个同时活动的设备。每个设备也可能不可靠，因此这些系统的异构性极大地加剧了容错性的挑战。因此，联邦学习方法必须能够容忍异构的硬件并且对网络中的离线设备具有鲁棒性。

5.1.4. 不可靠的模型上传

在联邦学习中，移动节点可能会故意或无意地误导服务器[66]来聚合全局模型。对于故意行为，攻击者可能发送恶意的模型参数以影响全局模型的聚合，从而导致模型训练中的错误。另一方面，不稳定的移动网络环境可能会导致移动设备出现一些意外行为，例如上传一些质量较低的模型，这会对联邦学习产生不利影响。因此，对于联邦学习来说，抵制这种不可靠的本地模型上传是至关重要的。

5.2. 未来的工作

为了解决上述挑战，有一些可能值得研究的未来工作方向：

5.2.1. 针对隐私的限制

事实上，由于网络中各种设备的异构性，它们的隐私限制具有不同的特点，因此有必要以更详细的级别定义批设备的隐私限制，以确保特定样本的隐私保证，从而能够提供强大的隐私保护。基于特定设备隐私限制的隐私保护方法的发展是未来工作的有趣和持续的方向。

5.2.2. 通信成本和计算压力之间的权衡

我们可以主要考虑两个方面来提高通信效率：迭代发送小消息，或减少总通信轮数。例如，我们可以使用模型压缩技术来减小在联邦学习中通信的数据大小。在减少通信轮数方面，可以根据模型的重要性筛选需要通信的模型。我们也可以结合这两种方法，可以大大减少移动设备和服务器之间的通信成本，但也增加了一些计算压力。寻找通信成本和计算压力之间的权衡是未来工作的主要方向。

5.2.3. 多中心联邦学习

异构性的挑战阻碍了联邦学习。一些最近的研究 [83-86] 表明，如果可以提前获取系统中设备的异构性，可以根据异构性将所有移动设备分组，并为每个组分配一个本地中央服务器。我们可以首先聚合一组具有类似异构设备的模型，然后将它们发送到服务器以聚合成全局模型。研究多中心联邦学习以解决异构性挑战是未来工作中具有前景的方向。

5.2.4. 可靠的客户端选择

在联邦学习中，移动设备可能会上传不可靠的数据，这可能导致服务器无法聚合全局模型。因此，在联邦学习任务中找到可信赖和可靠的客户端至关重要。[66] 引入了声誉的概念作为度量客户端可靠性的指标。因此，我们可以在每轮模型更新期间选择一个高度可靠的客户端，以确保联邦学习的可靠性。基于这种方法的可靠联邦学习的改进是未来研究的一个深远方向。

6.总结

随着大数据和人工智能的发展，公众对隐私的要求越来越严格。因此，提出了联邦学习这一跨平台隐私保护的新解决方案。作为一种能够在实际中使用的模型，联邦学习在强调数据隐私和数据安全的同时，已经被越来越多的研究人员和企业所接受。一方面，如果用户由于数据不足无法训练出令其满意的模型，联邦学习可以聚合多方用户模型，并在不暴露原始数据的情况下更新集成模型。另一方面，当用户没有足够的数据标签进行学习时，联邦学习不仅可以为他们提供安全的模型共享机制，还可以将模型迁移到特定任务中，以解决数据标签不足的问题。本文介绍了联邦学习的基本定义、相关技术和具体分类，然后讨论了联邦学习的实际应用场景，并总结了当前面临的挑战和未来的研究方向。相信在不久的将来，联邦学习可以为更多的应用程序提供安全和共享的安全服务，并促进人工智能的稳定发展。