admin管理员组文章数量:1650786
分布式系统服务注册与发现原理 & SpringCloud 学习笔记
- 分布式系统服务注册与发现原理
- 引入服务注册与发现组件的原因
- 单体架构
- 应用与数据分离
- 集群部署
- 微服务架构
- 架构演进总结
- 服务注册与发现基本原理
- 服务注册
- 服务发现
- 心跳机制
- 业界常用的服务注册与发现组件对比
- Consul——值得推荐的服务注册与发现开源组件
- 简单认识一下 Consul
- Consul 有哪些优势?
- Consul 的架构图
- Consul 的使用场景
- SpringCloud-Netflix
- 1. 常见面试题
- 2. 微服务
- 2.1. 微服务概述
- 2.2. 微服务与微服务架构
- 2.3. 微服务优缺点
- 2.4. 微服务技术栈有哪些
- 2.5. 为什么选择 SpringCloud 作为微服务架构
- 2.6. 各微服务框架对比
- 3. SpringCloud 入门概述
- 3.1. SpringCloud 是什么
- 3.2. SpringCloud 和 SpringBoot 关系
- 3.3. Dubbo 和 SpringCloud 技术选型
- 3.4. Dubbo 和 SpringCloud 对比
- 3.5. Spring Cloud 能干嘛
- 4. 参考文档
- 5. 总体介绍
- 6. SpringCloud 版本选择
- 6.1. 大版本说明
- 6.2. 实际开发关系
- 7. Eureka 服务注册与发现
- 7.1. 什么是 Eureka
- 7.2. 原理讲解
- 7.3. 自我保护机制
- 7.4. 服务注册中心集群
- 8. 回顾 CAP 原则
- 9. 作为服务注册中心,Eureka 比 Zookeeper 好在哪里?
- 9.1. Zookeeper 保证的是 CP
- 9.2. Eureka 保证的是 AP
- 10. Ribbon 负载均衡
- 10.1. Ribbon 是什么?
- 10.2. Ribbon 能干嘛?
- 11. Feign 负载均衡
- 11.1. 简介
- 11.2. Feign 能干什么?
- 11.3. Feign 集成了 Ribbon
- 12. 分布式系统面临的问题
- 13. Hystrix
- 13.1. 什么是 Hystrix
- 13.2. 能干嘛
- 13.3. 服务熔断是什么
- 13.4. DashBoard 服务监控
- 14. Zuul 路由网关
- 14.1. 什么是 Zuul
- 15. Config 分布式配置
- 15.1. 分布式系统面临的问题 -- 配置文件的问题
- 15.2. 什么是 SpringCloud Config 分布式配置中心
- 15.3. Spring Cloud config 分布式配置中心能干嘛
- 15.4. SpringCloud Config 分布式配置中心与 github 整合
分布式系统服务注册与发现原理
引入服务注册与发现组件的原因
在微服务架构或分布式环境下,服务注册与发现技术不可或缺,这也是程序员进阶之路必须要掌握的核心技术之一。
先来看一个问题,假如现在我们要做一个商城项目,作为架构师的你应该怎样设计系统的架构?你心里肯定在想:这还不容易直接照搬淘宝的架构不就行了。但在现实的创业环境中一个项目可能是九死一生,如果一开始投入巨大的人力和财力,一旦项目失败损失就很大。
作为一位有经验的架构师需要结合公司财力、人力投入预算等现状选择最适合眼下的架构才是王道。大型网站都是从小型网站发展而来,架构也是一样。
任何一个大型网站的架构都不是从一开始就一层不变的,而是随着用户量和数据量的不断增加不断迭代演进的结果。
在架构不断迭代演进的过程中我们会遇到很多问题,技术发展的本质就是不断发现问题再解决问题,解决问题又发现问题。
单体架构
在系统建立之初可能不会有特别多的用户,将所有的业务打成一个应用包放在 tomcat 容器中运行,与数据库共用一台服务器,这种架构一般称之为单体架构。
单体架构 - 应用和数据库共同部署
在初期这种架构的效率非常高,根据用户的反馈可以快速迭代上线。但是随着用户量增加,一台服务的内存和 CPU 吃紧,很容易造成瓶颈,新的问题来了怎么解决呢?
应用与数据分离
随着用户请求量增加,一台服务器的内存和 CPU 持续飙升,用户请求响应时间变慢。这时候可以考虑将应用与数据库拆开,各自使用一台服务器,你看问题又解决了吧。
单体架构 - 应用和数据库分离
突然有一天扫地阿姨不小心碰了电线,其中一台服务器掉电了,用户所有的请求都报错,随之而来的是一系列投诉电话。
集群部署
单实例很容易造成单点问题,比如遇到服务器故障或者服务能力瓶颈,那怎么办?聪明的你肯定想到了,用集群呀。
应用集群部署
集群部署是指将应用部署在多个服务器或者虚机上,用户通过服务均衡随机访问其中的一个实例,从而使多个实例的流量均衡,如果一个实例出现故障可以将其下线,其他实例不受影响仍然可以对外提供服务。
随着用户数量快速增加,老板决定增加投入扩大团队规模。开发团队壮大后效率并没有得到显著的提高,以前小团队可以一周迭代上线一次,现在至少需要两到三周时间。
业务逻辑越来越复杂,代码间耦合很严重,修改一行代码可能引入几个线上问题。架构师意识到需要进行架构重构。
微服务架构
当单体架构演进到一定阶段后开发测试的复杂性都会成本增加,团队规模的扩大也会使得各自工作耦合性更严重,牵一发而动全身就是这种场景。
单体架构遇到瓶颈了,微服务架构就横空出世了。微服务就是将之前的单体服务按照业务维度进行拆分,拆分粒度可大可小,拆分时机可以分节奏进行。最佳实践是先将一些独立的功能从单体中剥离出来抽成一个或多个微服务,这样可以保障业务的连续性和稳定性。
微服务架构
如上图将一个商用应用拆分为六个独立微服务。六个微服务可以使用 Docker 容器化进行多实例部署。
架构演化到这里遇到了一个难题,如果要查询用户所有的订单,用户服务可能会依赖订单服务,用户服务如何与订单服务交互呢?订单服务有多个实例该访问哪一个?
通常有几种解决办法:
(1)服务地址硬编码
服务的地址写死在数据库或者配置文件,通过访问 DNS 域名进行寻址路由。
服务元数据硬编码
服务 B 的地址硬编码在数据库或者配置文件中,服务 A 首先需要拿到服务 B 的地址,然后通过 DNS 服务器解析获取其中一实例的真实地址,最后可以向服务 B 发起请求。
如果遇到大促活动需要对服务实例扩容,大促完需要对服务实例进行下线,运维人员要做大量的手工操作,非常容易误操作。
(2)服务动态注册与发现
服务地址硬编码还有一个非常致命的问题,如果一台实例挂了,运维人员可能不能及时感知到,导致一部分用户的请求会异常。
引入服务注册与发现组件可以很好解决上面遇到的问题,避免过多的人工操作。
架构演进总结
在单体架构中一个应用程序就是一个服务包,包内的模块通过函数方法相互调用,模型足够简单,根本没有服务注册和发现一说。
在微服务架构中会将一个应用程序拆分为多个微服务,微服务会部署在不同的服务器、不同的容器、甚至多数据中心,微服务间要相互调用,服务注册和发现成为了一个不可或缺的组件。
服务注册与发现基本原理
服务注册与发现是分为注册和发现两个关键的步骤。
服务注册:服务进程在注册中心注册自己的元数据信息。通常包括主机和端口号,有时还有身份验证信息,协议,版本号,以及运行环境的信息。
服务发现:客户端服务进程向注册中心发起查询,来获取服务的信息。服务发现的一个重要作用就是提供给客户端一个可用的服务列表。
服务注册
服务注册有两种形式:客户端注册和代理注册。
客户端注册
客户端注册是服务自己要负责注册与注销的工作。当服务启动后注册线程向注册中心注册,当服务下线时注销自己。
客户端注册
这种方式的缺点是注册注销逻辑与服务的业务逻辑耦合在一起,如果服务使用不同语言开发,那需要适配多套服务注册逻辑。
代理注册
代理注册由一个单独的代理服务负责注册与注销。当服务提供者启动后以某种方式通知代理服务,然后代理服务负责向注册中心发起注册工作。
代理注册
这种方式的缺点是多引用了一个代理服务,并且代理服务要保持高可用状态。
服务发现
服务发现也分为客户端发现和代理发现。
客户端发现
客户端发现是指客户端负责向注册中心查询可用服务地址,获取到所有的可用实例地址列表后客户端根据负载均衡算法选择一个实例发起请求调用。
客户端发现
这种方式非常直接,客户端可以控制负载均衡算法。但是缺点也很明显,获取实例地址、负载均衡等逻辑与服务的业务逻辑耦合在一起,如果服务发现或者负载平衡有变化,那么所有的服务都要修改重新上线。
代理发现
代理发现是指新增一个路由服务负责服务发现获取可用的实例列表,服务消费者如果需要调用服务 A 的一个实例可以直接将请求发往路由服务,路由服务根据配置好的负载均衡算法从可用的实例列表中选择一个实例将请求转发过去即可,如果发现实例不可用,路由服务还可以自行重试,服务消费者完全不用感知。
代理路由服务注册
心跳机制
如果服务有多个实例,其中一个实例出现宕机,注册中心是可以实时感知到,并且将该实例信息从列表中移出,也称为摘机。
如何实现摘机?业界比较常用的方式是通过心跳检测的方式实现,心跳检测有主动和被动两种方式。
被动检测是指服务主动向注册中心发送心跳消息,时间间隔可自定义,比如配置 5 秒发送一次,注册中心如果在三个周期内比如说 15 秒内没有收到实例的心跳消息,就会将该实例从列表中移除。
心跳机制 - 被动检测
上图中服务 A 的实例 2 已经宕机不能主动给注册中心发送心跳消息,15 秒之后注册就会将实例 2 移除掉。
主动检测是注册中心主动发起,每隔几秒中会给所有列表中的服务实例发送心跳检测消息,如果多个周期内未发送成功或未收到回复就会主动移除该实例。
心跳机制 - 主动检测
业界常用的服务注册与发现组件对比
了解服务注册与发现的基本原理后,如果你要在项目中使用服务注册与发现组件,当面对众多的开源组件该如何进行技术选型?
在互联网公司里,有研发实力的大公司一般会选择自研或者基于开源组件进行二次开发,但是对于中小型公司来说直接选用一款开源软件会是一个不错的选择。
常用的注册与发现组件有 eureka,zookeeper,consul,etcd 等,由于 eureka 在 2018 年已经宣布放弃维护,这里就不再推荐使用了。
业界开源组件
下面结合各个维度对比一下各组件。
组件 | 优点 | 缺点 | 接口类型 | 一致性算法 |
---|---|---|---|---|
zookeeper | 1. 功能强大,不仅仅只是服务发现; 2. 提供 watcher 机制可以实时获取服务提供者的状态; 3. 广泛使用,dubbo 等微服务框架已支持; | 1. 没有健康检查; 2. 需要在服务中引入 sdk,集成复杂度高; 3. 不支持多数据中心; | sdk | Paxos |
consul | 1. 开箱即用,方便集成; 2. 带健康检查; 3. 支持多数据中心; 4. 提供 web 管理界面; | 不能实时获取服务变换通知 | restful/dns | Raft |
etcd | 1. 开箱即用,方便集成; 2. 可配置性强 | 1. 没有健康检查; 2. 需配合三方工具完成服务发现功能; 3. 不支持多数据中心; | restful | Raft |
从整体上看 consul 的功能更加完备和均衡。接下来以 consul 为例详细介绍一下。
Consul——值得推荐的服务注册与发现开源组件
简单认识一下 Consul
Consul 是 HashiCorp 公司推出的开源工,使用 Go 语言开发,具有开箱即可部署方便的特点。Consul 是分布式的、高可用的、 可横向扩展的用于实现分布式系统的服务发现与配置。
Consul 有哪些优势?
-服务注册发现:Consul 提供了通过 DNS 或者 restful 接口的方式来注册服务和发现服务。服务可根据实际情况自行选择。
-健康检查:Consul 的 Client 可以提供任意数量的健康检查,既可以与给定的服务相关联,也可以与本地节点相关联。
-多数据中心:Consul 支持多数据中心,这意味着用户不需要担心 Consul 自身的高可用性问题以及多数据中心带来的扩展接入等问题。
Consul 的架构图
Consul 实现多数据中心依赖于 gossip protocol 协议。这样做的目的:
- 不需要使用服务器的地址来配置客户端;服务发现是自动完成的。
- 健康检查故障的工作不是放在服务器上,而是分布式的。
Consul 的使用场景
Consul 的应用场景包括服务注册发现、服务隔离、服务配置等。
服务注册发现场景中 consul 作为注册中心,服务地址被注册到 consul 中以后,可以使用 consul 提供的 dns、http 接口查询,consul 支持 health check。
服务隔离场景中 consul 支持以服务为单位设置访问策略,能同时支持经典的平台和新兴的平台,支持 tls 证书分发,service-to-service 加密。
服务配置场景中 consul 提供 key-value 数据存储功能,并且能将变动迅速地通知出去,借助 Consul 可以实现配置共享,需要读取配置的服务可以从 Consul 中读取到准确的配置信息。
SpringCloud-Netflix
1. 常见面试题
- 什么是微服务?
- 微服务之间是如何独立通讯的?
- Spring Cloud 和 Dubbo 有哪些区别?
- SpringBoot 和 Spring Cloud,请你谈谈对他们的理解?
- 微服务的优缺点是分别是什么?说下你在项目开发中遇到的坑?
- eureka 和 Zookeeper 都可以提供服务注册与发现的功能,请说说两个的区别?
2. 微服务
2.1. 微服务概述
什么是微服务?微服务(Microservice Architecture)是最近几年流行的一种架构思想,关于它的概念很难一言以蔽之。
就目前而言,对于微服务,业界并没有一个统一的,标准的定义。
但通常而言,微服务架构是一种架构模式,或者说是一种架构风格,它提倡将单一的应用程序划分成一组小的服务,每个服务运行在其独立的自己的进程内,服务之间互相协调,互相配置,为用户提供最终价值。服务之间采用轻量级的通信机制互相沟通,每个服务都围绕着具体的业务进行构建,并且能够被独立的部署到生产环境中,另外,应尽量避免统一的,集中式的服务管理机制,对具体的一个服务而言,应根据业务上下文,选择合适的语言,工具对其进行构建,可以有一个非常轻量级的集中式管理来协调这些服务,可以使用不同的语言来编写服务,也可以使用不同的数据存储。
从技术维度来理解下:
微服务化的核心就是将传统的一站式应用,根据业务拆分成一个一个的服务,彻底地去耦合,每一个微服务提供单个业务功能的服务,一个服务做一件事情,从技术角度看就是一种小而独立的处理过程,类似进程的概念,能够自行单独启动或销毁,拥有自己独立的数据库。
2.2. 微服务与微服务架构
微服务
强调的是服务的大小,他关注的是某一个点,是具体解决某一个问题 / 提供落地对应服务的一个服务应用,狭义的看,可以看做是 IDEA 中的一个个微服务工程,或者 Moudel
- IDEA 工具里面使用 Maven 开发的一个个独立的小 Moudle,它具体是使用 Spring Boot 开发的一个小模块,专业的事情交给专业的模块来做,一个模块就做着一件事情
- 强调的是一个个的个体,每个个体完成一个具体的任务或者功能!
微服务架构
一种新的架构形式, Martin Fowler,2014 提出。
微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调,互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务于服务间采用轻量级的通信机制互相协作,每个服务都围绕着具体的业务进行构建,并且能够被独立的部署到生产环境中,另外,应尽量避免统一的,集中式的服务管理机制,对具体的一个服务而言,应根据业务上下文,选择合适的语言,工具对其进行构建。
2.3. 微服务优缺点
优点 | 缺点 |
---|---|
每个服务足够内聚,足够小,代码容易理解,这样能聚焦一个指定的业务功能或业务需求 | 开发人员要处理分布式系统的复杂性 |
开发简单,开发效率提高,一个服务可能就是专一的只干一件事 | 多服务运维难度,随着服务的增加,运维的压力也在增大 |
微服务能够被小团队单独开发,这个小团队是 2-5 人的开发人员组成 | 系统部署依赖 |
微服务是松耦合的,是有功能意义的服务,无论是在开发阶段或部署阶段都是独立的 | 服务间通信成本 |
微服务能使用不同的语言开发 | 数据一致性 |
易于和第三方集成,微服务允许容易且灵活的方式集成自动部署,通过持续集成工具,如 Jenkins, Hudson,bamboo | 系统集成测试 |
微服务易于被一个开发人员理解,修改和维护,这样小团队能够更关注自己的工作成果。无需通过合作才能体现价值 | 性能监控 |
微服务允许你利用融合最新技术 | |
微服务只是业务逻辑的代码,不会和 HTML,CSS 或其他界面混合 | |
每个微服务都有自己的存储能力,可以有自己的数据库,也可以有统一数据库 |
2.4. 微服务技术栈有哪些
微服务条目 | 落地技术 |
---|---|
服务开发 | SpringBoot,Spring,SpringMVC |
服务配置与管理 | Netflix 公司的 Archaius、阿里的 Dimaond 等 |
服务注册与发现 | Eureka、Consul、Zookeeper 等 |
服务调用 | Rest、RPC、gRPC |
服务熔断器 | Hystrix、Envoy 等 |
负载均衡 | Ribbon、Nginx 等 |
服务接口调用(客户端调用服务的简化工具) | Feign 等 |
消息队列 | Kafka、RabbitMQ、ActiveMQ 等 |
服务配置中心管理 | SpringCloudConfig、Chef 等 |
服务路由(API 网关) | Zuul 等 |
服务监控 | Zabbix、Nagios、Metrics、 Specatator 等 |
全链路追踪 | Zipkin、Brave、Dapper 等 |
服务部署 | Docker、OpenStack、Kubernetes 等 |
数据流操作开发包 | SpringCloud Stream(封装 Redis,Rabbit,Kafka 等发送接收消息) |
事件消息总线 | SpringCloud Bus |
2.5. 为什么选择 SpringCloud 作为微服务架构
1. 选型依据
- 整体解决方案和框架成熟度
- 社区热度
- 可维护性
- 学习曲线
2. 当前各大 IT 公司用的微服务架构有哪些
- 阿里:dubbo+HFS
- 京东:JSF
- 新浪:Motan
- 当当网:DubboX
- …
2.6. 各微服务框架对比
功能点 / 服务框架 | Netflix/SpringCloud | Motan | gRPC | Thrift | Dubbo/DubboX |
---|---|---|---|---|---|
功能定位 | 完整的微服务框架 | RPC 框架,但整合了 ZK 或 Consul,实现集群环境的基本服务注册 / 发现 | RPC 框架 | RPC 框架 | 服务框架 |
支持 Rest | 是,Ribbon 支持多种可插拔的序列化选择 | 否 | 否 | 否 | 否 |
支持 RPC | 否 | 是(Hession2) | 是 | 是 | 是 |
支持多语言 | 是(Rest 形式) | 否 | 是 | 是 | 否 |
负载均衡 | 是(服务端 zuul + 客户端 Ribbon),zuul - 服务,动态路由,云端负载均衡 Eureka(针对中间层服务器) | 是(客户端) | 否 | 否 | 是(客户端) |
配置服务 | Netflix Archaius,SpringCloud Config Server 集中配置 | 是(zookeeper 提供) | 否 | 否 | 否 |
服务调用链监控 | 是(zuul),zuul 提供边缘服务,API 网关 | 否 | 否 | 否 | 否 |
高可用 / 容错 | 是 | 是(客户端) | 否 | 否 | 是(客户端) |
典型应用案例 | Netflix | Sina | |||
社区活跃程度 | 高 | 一般 | 高 | 一般 | 2017 年后重新开始维护,之前中断了 5 年 |
学习难度 | 中断 | 低 | 高 | 高 | 低 |
文档丰富程度 | 高 | 一般 | 一般 | 一般 | 高 |
其他 | SpringCloud Bus 为我们的应用程序带来了更多管理端点 | 支持降级 | Netflix 内部在开发集成 gRPC | IDL 定义 | 实践的公司比较多 |
3. SpringCloud 入门概述
3.1. SpringCloud 是什么
spring 官网:https://spring.io/
SpringCloud,基于 SpringBoot提供了一套微服务解决方案,包括服务注册与发现,配置中心,全链路监控,服务网关,负载均衡,熔断器等组件,除了基于 NetFlix 的开源组件做高度抽象封装之外,还有一些选型中立的开源组件。
SpringCloud 利用 SpringBoot 的开发便利性,巧妙地简化了分布式系统基础设施的开发, SpringCloud 为开发人员提供了快速构建分布式系统的一些工具,包括配置管理,服务发现,断路器,路由,微代理,事件总线,全局锁,决策竞选,分布式会话等等,他们都可以用 SpringBoot 的开发风格做到一键启动和部署。
SpringBoot 并没有重复造轮子,它只是将目前各家公司开发的比较成熟,经得起实际考研的服务框架组合起来,通过 Spring Boot 风格进行再封装,屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂,易部署和易维护的分布式系统开发工具包
重点:SpringCloud 是分布式微服务架构下的一站式解决方案,是各个微服务架构落地技术的集合体,俗称微服务全家桶。
3.2. SpringCloud 和 SpringBoot 关系
Spring Boo 专注于快速方便的开发单个个体微服务。
Spring Cloud 是关注全局的微服务协调整理治理框架,它将 SpringBoot 开发的一个个单体微服务整合并管理起来,为各个微服务之间提供:配置管理,服务发现,断路器,路由,微代理,事件总线,全局锁,决策竞选,分布式会话等等集成服务。
Spring Boot 可以离开 Spring Cloud 独立使用,开发项目,但是 Spring Cloud 离不开 SpringBoot,属于依赖关系。
重点:SpringBoot 专注于快速、方便的开发单个个体微服务, Spring Cloud 关注全局的服务治理框架
3.3. Dubbo 和 SpringCloud 技术选型
1. 分布式 + 服务治理 Dubbo
目前成熟的互联网架构:应用服务化拆分 + 消息中间件
3.4. Dubbo 和 SpringCloud 对比
Dubbo | Spring | |
---|---|---|
服务注册中心 | Zookeeper | Spring Cloud Netflix Eureka |
服务调用方式 | RPC | REST API |
服务监控 | Dubbo-monitor | Spring Boot Admin |
断路器 | 不完善 | Spring Cloud Netflix Hystrix |
服务网关 | 无 | Spring Cloud Netflix Zuul |
分布式配置 | 无 | Spring Cloud Config |
服务跟踪 | 无 | Spring Cloud Sleuth |
消息总线 | 无 | Spring Cloud Bus |
数据流 | 无 | Spring Cloud Stream |
批量任务 | 无 | Spring Cloud Task |
最大区别:SpringCloud 抛弃了 Dubbo 的 RPC 通信,采用的是基于 HTTP 的 REST 方式
严格来说,这两种方式各有优劣,虽然从一定程度上来说,后者牺牲了服务调用的性能,但是也避免了上面提到的原生 RPC 带来的问题。而且 REST 比 RPC 更为灵活,服务提供方和调用方的依赖只依靠一纸契约,不存在代码级别的强依赖,这在强调快速演化的微服务环境下,显得更加合适。
品牌机与组装机的区别
很明显, Spring Cloud 的功能比 Dubbo 更加强大,涵盖面更广,而且作为 Spring 的拳头项目,它也能够与 Spring Framework、Spring Boot、Spring Data、Spring Batch 等其他 Spring 项目完美融合,这些对于微服务而言是至关重要的。使用 Dubbo 构建的微服务架构就像组装电脑,各环节我们的选择自由度很高,但是最终结果很有可能因为一条内存质量不行就点不亮了,总是让人不怎么放心,但是如果你是一名高手,那这些都不是问题;而 Spring Cloud 就像品牌机,在 Spring Source 的整合下,做了大量的兼容性测试,保证了机器拥有更高的稳定性,但是如果要在使用非原装组件外的东西,就需要对其基础有足够的了解。
社区支持与更新力度
最为重要的是, Dubbo 停止了 5 年左右的更新,虽然 2017.7 重启了。对于技术发展的新需求,需要由开发者自行拓展升级(比如当当网弄出了 DubboX),这对于很多想要采用微服务架构的中小软件组织,显然是不太合适的,中小公司没有这么强大的技术能力去修改 Dubbo 源码 + 周边的一整套解决方案,并不是每一个公司都有阿里的大牛 + 真实的线上生产环境测试过。
设计模式 + 微服务拆分思想
总结:
曾风靡国内的开源 RPC 服务框架 Dubo 在重启维护后,令许多用户为之雀跃,但同时,也迎来了一些质疑的声音。互联网技术发展迅速, Dubbo 是否还能跟上时代? Dubbo 与 Spring Cloud 相比又有何优势和差异?是否会有相关举措保证 Dubbo 的后续更新频率?
- 人物: Dubbo 重启维护开发的刘军,主要负责人之
刘军,阿里巴巴中间件高级研发工程师,主导了 Dubbo 重启维护以后的几个发版计划,专注于高性能 RPC 框架和微服务相关领域。曾负责网易考拉 RPC 框架的研发及指导在内部使用,参与了服务治理平台、分布式跟踪系统、分布式一致性框架等从无到有的设计与开发过程 *。
重点:解决的问题域不一样: Dubbo 的定位是一款 RPC 框架, Spring Cloud 的目标是微服务架构下的一站式解决方案
3.5. Spring Cloud 能干嘛
- Distributed/versioned configuration(分布式 / 版本控制配置)
- Service registration and discovery(服务注册与发现)
- Routing(路由)
- Service-to-service calls(服务到服务的调用)
- Load balancing(负载均衡配置)
- Circuit Breakers(断路器)
- Global locks(全局锁)
- Leadership election and cluster state(统一选择和管理集群状态)
- Distributed messaging(分布式消息管理)
Spring Cloud 是一个由众多独立子项目组成的大型综合项目,每个子项目有不同的发行节奏,都维护着自己的发布版本号。 Spring Cloud 通过一个资源清单 BoM(Bi11 of Materials)来管理每个版本的子项目清单。为避免与子项目的发布号混淆,所以没有采用版本号的方式,而是通过命名的方式
这些版本名称的命名方式采用了伦敦地铁站的名称,同时根据字母表的顺序来对应版本时间顺序,比如:最早的 Release 版本:Ange1,第二个 Release 版本: Brixton,然后是 Camden. Dalston. Edgware,目前最新的 Hoxton 版本。
4. 参考文档
- https://springcloud/spring-cloud-netflix.html
- 中文 API 文档: https://springcloud/spring-cloud-dalston.html
- SpringCloud 中国社区 http://springcloud/
- SpringCloud 中文网 https://springcloud
5. 总体介绍
-
使用一个 Dept 部门模块做一个微服务通用案例 Consumer 消费者(Client)通过 REST 调用 Provider 提供者(Server)提供的服务
-
回忆 Spring,SpringMVC,MyBatis 等以往学习的知识
-
Maven 的分包分模块架构复习
一个简化的 Maven 模块结构如下:
一个父工程带着多个子 Module(子模块)
- MicroServiceCloud 父工程(Project)下初次带着 3 个子模块(Module)
- microservicecloud-api【封装整体的 entity / 接口 / 公共配置等】
- microservicecloud-provider-dept-8001【服务提供者】
- microservicecloud-consumer-dept-80【服务消费者】
6. SpringCloud 版本选择
6.1. 大版本说明
SpringBoot | Spring Cloud | 关系 |
---|---|---|
1.2.x | Angel 版本(天使) | 兼容 Spring Boot1.2.x |
1.3.x | Brixton 版本(布里克斯顿) | 兼容 Spring Boot1.3.x,也兼容 Spring Boot1.4.x |
1.4.x | Camden 版本(卡姆登) | 兼容 Spring Boot1.4.x,也兼容 Spring Boot1.5.x |
1.5.x | Dalston 版本(多尔斯顿) | 兼容 Spring Boot1.5.x,不兼容 Spring boot2.0.x |
1.5.x | Edgware 版本(埃奇韦尔) | 兼容 Spring boot1.5.x,不兼容 Spring boot2.0.x |
2.0.x | Finchley 版本(芬奇利) | 兼容 Spring boot2.0.x,不兼容 Spring boot1.5.x |
2.1.x | Greenwich 版本(格林威治) |
6.2. 实际开发关系
7. Eureka 服务注册与发现
7.1. 什么是 Eureka
-
Netflix 在设计 Eureka 时,遵循的就是 AP 原则
-
Eureka 是 Netflix 的一个子模块,也是核心模块之一;Eureka 是一个基于 REST 的服务,用于定位服务,以实现云端中间层服务发现和故障转移,服务注册与发现对于微服务来说是非常重要的,有了服务发现与注册,只需要使用服务的标识符,就可以访问到服务,而不需要修改服务调用的配置文件了,功能类似于 Dubbo 的注册中心,比如 Zookeeper
7.2. 原理讲解
Eureka 的基本架构
- Spring Cloud 封裝了 Netflix 公司开发的 Eureka 模块来实现服务注册和发现(对比 Zookeeper)
- Eureka 采用了 CS 的架构设计, Eureka Server 作为服务注册功能的服务器,他是服务注册中心
- 而系统中的其他微服务。使用 Eureka 的客户端连接到 Eureka Server 并维持心跳连接。这样系统的维护人员就可以通过 Eureka Server 来监控系统中各个微服务是否正常运行, Spring Cloud 的一些其他模块(比如 Zuul)就可以通过 Eureka Server 来发现系统中的其他微服务,并执行相关的逻辑;
和 Dubbo 架构对比
- Eureka 包含两个组件:Eureka Server和Eureka Client
- Eureka Server 提供服务注册服务,各个节点启动后,会在 Eureka Server 中进行注册,这样 Eureka Server 中的服务注册表中将会注册所有可用服务节点的信息,服务节点的信息可以在界面中直观的看到。
- Eureka Client 是一个 Java 客户端,用于简化 Eureka Server 的交互,客户端同时也具备一个内置的,使用轮旬负载算法的负载均衡器。在应用启动后,将会向 Eureka Server 发送心跳(默认周期为 30 秒)。如果 Eureka Server 在多个心跳周期内没有接收到某个节点的心跳, Eureka Server 将会从服务注册表中把这个服务节点移除掉(默认周期为 90 秒)。
三大角色
- Eureka Server:提供服务的注册与发现
- Service Provider:将自身服务注册到 Eureka 中,从而使消费方能够找到。
- Service Consumer:服务消费方从 Eureka 中获取注册服务列表,从而找到消费服务。
7.3. 自我保护机制
自我保护机制:好死不如赖活着
一句话总结:某时刻某一个微服务不可以用了, Eureka 不会立刻清理,依旧会对该微服务的信息进行保存!
默认情况下,如果 Eureka Server 在一定时间内没有接收到某个微服务实例的心跳, Eureka Server 将会注销该实例(默认 90 秒)。但是当网络分区故障发生时,微服务与 Eureka 之间无法正常通信,以上行为可能变得非常危险了。因为微服务本身其实是健康的,此时本不应该注销这个服务。Eureka 通过自我保护机制来解决这个问题——当 Eureka Server 节点在短时间内丢失过多客户端时(可能发生了网络分区故障),那么这个节点就会进入自我保护模式。一旦进入该模式, Eureka Server 就会保护服务注册表中的信息,不再删除服务注册表中的数据(也就是不会注销仼何微服务)。当网络故障恢复后,该 Eureka Server 节点会自动退岀自我保护模式。
在自我保护模式中, Eureka Server 会保护服务注册表中的信息,不再注销任何服务实例。当它收到的心跳数重新恢复到阈值以上时,该 Eureka Server 节点就会自动退出自我保护模式。它的设计哲学就是宁可保留错误的服务注册信息,也不盲目注销任何可能健康的服务实例。一句话:好死不如赖活着
综上,自我保护模式是一种应对网络异常的安全保护措施。它的架构哲学是宁可同时保留所有微服务(健康的微服务和不健康的微服务都会保留),也不盲目注销任何健康的微服务。使用自我保护模式,可以让 Eureka 集群更加的健壮和稳定。
在 SpringCloud 中,可以使用 Euraka.server.enable-self- preservation= false
禁用自我保护模式【不推荐关闭自我保护机制】
7.4. 服务注册中心集群
8. 回顾 CAP 原则
CAP 是什么?
- C( Consistency)强一致性
- A( Availability)可用性
- P( Partition tolerance)分区容错性
CAP 的三进二:CA、AP、CP
CAP 理论的核心
一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求。
根据 CAP 原理,将 NoSQL 数据库分成了满足 CA 原则,满足 CP 原则和满足 AP 原则三大类。
- CA:单点集群,满足一致性,可用性的系统,通常可扩展性较差
- CP:满足一致性,分区容错性的系统,通常性能不是特別高
- AP:满足可用性,分区容错性的系统,通常可能对一致性要求低一些
RDBMS( MySQL、Oracle、SqlServer) ===>ACID
NoSQL (Redis、MongDB)====> CAP
ACID 是什么?
- A( Atomicity)原子性
- C( Consistency)一致性
- I( Isolation)隔离性
- D( Durability)持久性
9. 作为服务注册中心,Eureka 比 Zookeeper 好在哪里?
著名的 CAP 理论指出,一个分布式系统不可能同时满足 C(一致性)、A(可用性)、P(容错性)。由于分区容错性 P 在分布式系统中是必须要保证的,因此我们只能在 A 和 C 之间进行权衡。
*Zookeeper 保证的是 CP(一致性、容错性)
*Eureka 保证的是 AP(可用性、容错性)
9.1. Zookeeper 保证的是 CP
当向注册中心查询服务列表时,我们可以容忍注册中心返回的是几分钟以前的注册信息,但不能接受服务直接 down 掉不可用。也就是说,服务注册功能对可用性的要求要高于一致性。但是 zk 会出现这样一种情况,当 master 节点因为网络故障与其他节点失去联系时,剩余节点会重新进行 leader 选举。问题在于,选举 leader 的时间太长,30-120s,且选举期间整个 zk 集群都是不可用的,这就导致在选举期间注册服务瘫痪。在云部署的环境下,因为网络问题使得 zk 集群失去 master 节点是较大概率会发生的事件,虽然服务最终能够恢复,但是漫长的选举时间导致的注册长期不可用是不能容忍的。
9.2. Eureka 保证的是 AP
Eureka 看明白了这一点,因此在设计时就优先保证可用性。 Eureka 各个节点都是平等的,几个节点挂掉不会影响正常节点的工作,剩余的节点依然可以提供注册和查询服务。而 Eureka 的客户端在向某个 Eureka 注册时,如果发现连接失败,则会自动切换至其他节点,只要有一台 Eureka 还在,就能保住注册服务的可用性,只不过查到的信息可能不是最新的,除此之外, Eureka 还有一种自我保护机制,如果在 15 分钟内超过 85% 的节点都没有正常的心跳,那么 Eureka 就认为客户端与注册中心出现了网络故障,此时会出现以下几种情况
- Eureka 不再从注册列表中移除因为长时间没收到心跳而应该过期的服务
- Eureka 仍然能够接受新服务的注册和查询请求,但是不会被同步到其他节点上(即保证当前节点依然可用)
- 当网络稳定时,当前实例新的注册信息会被同步到其他节点中
因此,Eureka 可以很好的应对因网络故障导致部分节点失去联系的情况,而不会像 zookeeper 那样使整个注册服务瘫痪。
10. Ribbon 负载均衡
10.1. Ribbon 是什么?
Spring Cloud Ribbon 是基于 Netflix Ribbon 实现的一套客户端负载均衡的工具。
简单的说, Ribbon 是 Netflix 发布的开源项目,主要功能是提供客户端的软件负载均衡算法,将 Netflix 的中间层服务连接在一起。 Ribbon 的客户端组件提供一系列完整的配置项如:连接超时、重试等等。简单的说,就是在配置文件中列出 Load Balancer(简称 LB:负载均衡)后面所有的机器 Ribbon 会自动的帮助你基于某种规则(如简单轮询,随机连接等等)去连接这些机器。我们也很容易使用 Ribbon 实现自定义的负载均衡算法。
10.2. Ribbon 能干嘛?
LB,即负载均衡( Load balance),在微服务或分布式集群中经常用的一种应用。
负载均衡简单的说就是将用户的请求平摊的分配到多个服务上,从而达到系统的 HA(高可用)
常见的负载均衡软件有 Nginx,Lvs 等,Dubbo、SpringCloud 中均给我们提供了负载均衡,SpringCloud 的负载均衡算法可以自定义
负载均衡简单分类
1.集中式 LB:即在服务的消费方和提供方之间使用独立的 LB 设施,如 Nginx,由该设施负责把访问请求通过某种策略转发至服务的提供方。
2.进程式 LB:将 LB 逻辑集成到消费方,消费方从服务注册中心获知有哪些地址可用,然后自己再从这些地址中选出一个合适的服务器。Ribbon 就属于进程内 LB,它只是一个类库,集成于消费方进程,消费方通过它来获取到服务提供方的地址。
11. Feign 负载均衡
11.1. 简介
Feign 是声明式的 web service 客户端,它让微服务之间的调用变得更简单了,类似 controller 调用 service。SpringCloud 集成了 Ribbon 和 Eureka 可在使用 Feign 时提供负载均衡的 http 客户端。
只需要创建一个接口,然后添加注解即可!
Feign,主要是社区,大家都习惯面向接口编程。这个是很多开发人员的规范。调用微服务访问两种方法:
-
通过微服务名字【 Ribbon】
-
通过接口和注解【Feign】
11.2. Feign 能干什么?
Feign 旨在使编写 Java Http 客户端变得更容易。
前面在使用 Ribbon+ RestTemplate 时,利用 RestTemplate 对 Http 请求的封装处理,形成了一套模板化的调用方法。但是在实际开发中,由于对服务依赖的调用可能不止一处,往往一个接口会被多处调用,所以通常都会针对毎个微服务自行封装一些客户端类来包装这些依赖服务的调用。所以, Feign 在此基础上做了进一步封装,由他来帮助我们定义和实现依赖服务接口的定义,在 Feign 的实现下,我们只需要创建一个接口并使用注解的方式来配置它(类似于以前 Dao 接口上标注 Mapper 注解,现在是一个微服务接口上面标注一个 Feign 注解即可。)即可完成对服务提供方的接口绑定,简化了使用 Spring Cloud Ribbon 时,自动封装服务调用客户端。
11.3. Feign 集成了 Ribbon
利用 Ribbon 维护了 MicroServiceCloud-Dept 的服务列表信息,并且通过轮询实现了客户端的负载均衡,而与 Ribbon 不同的是,通过 Feign 只需要定义服务绑定接口且以声明式的方法,优雅而且简单的实现了服务调用。
12. 分布式系统面临的问题
复杂分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候将不可避免地失败!
服务雪崩
多个微服务之间调用的时候,假设微服务 A 调用微服务 B 和微服务 C,微服务 B 和微服务 C 又调用其他的微服务,这就是所谓的 “扇出 ";如果扇出的链路上某个微服务的调用响应时间过长或者不可用,对微服务 A 的调用就会占用越来越多的系统资源,进而引起系统崩溃,所谓的 “雪崩效应 “。
对于高流量的应用来说,单一的后端依赖可能会导致所有服务器上的所有资源都在几秒中内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障,这些都表示需要对故障和延迟进行隔离和管理,以便单个依赖关系的失败,不能取消整个应用程序或系统。
我们需要 “弃车保帅”。
13. Hystrix
13.1. 什么是 Hystrix
Hystrix 是一个用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时,异常等, Hystrix 能够保证在一个依赖出问题的情况下,不会导致整体服务失败,避免级联故障以提高分布式系统的弹性。
” 断路器 " 本身是—种开关装置,当某个服务单元发生故障之后,通过断路器的故障监控(类似熔断保险丝),向调用方返回一个服务预期的,可处理的备选响应( FallBack),而不是长时间的等待或者抛出调用方法无法处理的异常,这样就可以保证了服务调用方的线程不会被长时间,不必要的占用,从而避免了故障在分布式系统中的蔓延,乃至雪崩。
当所有的服务都出 UP 状态,即 Ok 状态,一个请求流程可能是这样:
当某一个服务出现了延迟,可能会阻止整个该请求:
13.2. 能干嘛
服务降级:客户端,从整体网站请求负载考虑,当某个服务熔断或者关闭之后,服务将不再被调用,此时在客户端,我们可以准备一个 Fallback Factory,返回一个默认值(缺省值),整体的服务水平下降,但是,服务好歹能用,比直接挂掉强。
服务熔断:服务端,某个服务超时或者异常,引起熔断
服务限流、接近实时的监控
13.3. 服务熔断是什么
熔断机制是对应雪崩效应的一种微服务链路保护机制。
当扇出链路的某个微服务不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回错误的响应信息。当检测到该节点微服务调用响应正常后恢复调用链路。在 Spring Cloud 框架里熔断机制通过 Hystrix 实现。Hystrix 会监控微服务间调用的状况,当失败的调用到一定阈值,缺省是 5 秒内 20 次调用失败就会启动熔断机制。熔断机制的注解是 @HystrixCommand。
13.4. DashBoard 服务监控
- 一圈
实心圆:共有两种含义,他通过颜色的变化代表了实例的健康程度
它的健康程度从绿色 < 黄色 < 橙色 < 红色递减
该实心圆除了颜色的变化之外,它的大小也会根据实例的请求流量发生变化,流量越大,该实心圆就
越大,所以通过该实心圆的展示,就可以在大量的实例中快速发现故障实例和高压力实例。
-
一线
曲线:用来记录 2 分钟内流量的相对变化,可以通过它来观察到流量的上升和下降趋势!
-
整图说明
-
搞懂一个才能看懂复杂的
14. Zuul 路由网关
14.1. 什么是 Zuul
Zuul 包含了对请求的路由和过滤两个最主要的功能:
其中路由功能负责将外部请求转发到具体的微服务实例上,是实现外部访问统一入口的基础,而过滤器功能则负责对请求的处理过程进行干预,是实现请求校验,服务聚合等功能的基础。Zuul 和 Eureka 进行整合,将 Zuul 自身注册为 Eureka 服务治理下的应用,同时从 Eureka 中获得其他微服务的消息,也即以后的访问微服务都是通过 Zuul 跳转后获得。
代理 + 路由 + 过滤三大功能
注意:Zuul 服务最终还是会注册进 Eureka
15. Config 分布式配置
15.1. 分布式系统面临的问题 – 配置文件的问题
微服务意味着要将单体应用中的业务拆分成一个个子服务,毎个服务的粒度相对较小,因此系统中会出现大量的服务,由于每个服务都需要必要的配置信息才能运行,所以一套集中式的,动态的配置管理设施是必不可少的。SpringCloud 提供了 ConfigServer 来解决这个问题,我们每一个微服务自己带着一个 application.yml,那上百的的配置文件要修改起来,岂不是要发疯
15.2. 什么是 SpringCloud Config 分布式配置中心
SpringCloud Config 为微服务架构中的微服务提供集中化的外部配置支持,配置服务器为各个不同微服务应用的所有环节提供了一个中心化的外部配置。
Spring Cloud Config 分为服务端和客户端两部分。
服务端也称为分布式配置中心,它是一个独立的微服务应用,用来连接配置服务器并为客户端提供获取配置信息,加密,解密信息等访问接口。
客户端则是通过指定的配置中心来管理应用资源,以及与业务相关的配置内容,并在启动的时候从配置中心获取和加载配置信息。配置服务器默认采用 git 来存储配置信息,这样就有助于对环境配置进行版本管理。并且可以通过 git 客户端工具来方便的管理和访问配置内容。
15.3. Spring Cloud config 分布式配置中心能干嘛
- 集中管理配置文件
- 不同环境,不同配置,动态化的配置更新,分环境部署,比如 / dev/test/prod/beta/ release
- 运行期间动态调整配置,不再需要在毎个服务部署的机器上编写配置文件,服务会向配置中心统一拉取配置自己的信息
- 当配置发生变动时,服务不需要重启,即可感知到配置的变化,并应用新的配置
- 将配置信息以 REST 接口的形试暴露
15.4. SpringCloud Config 分布式配置中心与 github 整合
由于 Spring Cloud Config 默认使用 Git 来存储配置文件(也有其他方式,比如支持 SVN 和本地文件),但是最推荐的还是 Git,而且使用的是 http/https 访问的形式;
版权声明:本文标题:分布式系统服务注册与发现原理 & SpringCloud 学习笔记 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1729540212a1205396.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论