Dubbo、Zookeeper
一、软件架构的演进过程
1、单体架构
全部功能都集中在一个项目内。
优点
架构简单,前期开发成本低、开发周期短,适合小型项目。
缺点
①复杂性高
②技术债务逐渐上升,难以修改维护
③部署速度逐渐变慢
④扩展能力受限制,无法按照伸缩
⑤阻碍新技术创新
总结
- 全部功能集成在一个工程中,对于大型项目不易开发、扩展和维护
- 技术栈受限,只能使用一种语言开发
- 系统性能扩展只能通过扩展集群节点,成本高
2.垂直架构
按照业务切割,形成小的单体项目。主要有表现层、业务逻辑层,数据访问层组成的MVC架构,整个项目打包放在一个tomcat里面。适合于访问量小,用户数不多的业务。
优点
技术栈可扩展(不同的系统可以用不同的编程语言编写)。
缺点
① 这是一个大而全的项目,项目的部署效率很低,代码全量编译和部署一次发布需要很长时间,更重要的是 如果某个功能出错有问题,所有的功能都需要再重新打包编译,部署效率极低。
② 团队协作难度高,如多人使用 git 很可能在同一个功能上,多人同时进行了修改,作为一个大而全的项目,可能个人只是需要开发其中一个小的模块的需求,却需要导入整个项目全量的代码。
总结
- 功能集中在一个项目中,不利于开发、扩展、维护。
- 系统扩张只能通过集群的方式。
- 项目之间功能冗余、数据冗余、耦合性强。
3.SOA架构
将重复功能或模块抽取成组件的形式,对外提供服务,在项目与服务之间使用ESB(企业服务总线)的形式作为通信的桥梁。
复制代码
SOA 全称为 Service-Oriented Architecture,即面向服务的架构。它可以根据需求通过网络对松散耦合的粗粒度应用组件(服务)进行分布式部署、组合和使用。一个服务通常以独立的形式存在于操作系统进程中。
站在功能的角度,把业务逻辑抽象成可复用的服务,通过服务的编排实现业务的快速再生,目的:把原先固有的业务功能转变为通用的业务服务,实现业务逻辑的快速复用。
ESB
简单 来说 ESB 就是一根管道,用来连接各个服务节点。为了集 成不同系统,不同协议的服务,ESB 做了消息的转化解释和路由工作,让不同的服务互联互通;
优点
- 重复功能或模块抽取为服务,提高开发效率。
- 可重用性高。
- 可维护性高。
缺点
- 各系统之间业务不同,很难确认功能或模块是重复的。
- 抽取服务的粒度大。
- 系统和服务之间耦合度高。
4.微服务架构
其实和 SOA 架构类似,微服务是在 SOA 上做的升华,微服务架构强调的一个重点是“业务需要彻底的组件化和服务化”,原有的单个业务系统会拆分为多个可以独立开发、设计、运行的小应用。这些小应用之间通过服务完成交互和集成。
优点
- 服务拆分粒度更细,有利于提高开发效率。
- 可以针对不同服务制定对应的优化方案。
- 适用于互联网时代,产品迭代周期更短。
缺点
- 粒度太细导致服务太多,维护成本高。
- 分布式系统开发的技术成本高,对团队的挑战大。
二、Dubbo
1.简介
Apache Dubbo是一款高性能的Java RPC框架。其前身是阿里巴巴公司开源的一个高性能、轻量级的开源Java RPC框架,可以和Spring框架无缝集成。
RPC
RPC全称为remote procedure call,即远程过程调用。比如两台服务器A和B,A服务器上部署一个应用,B服务器上部署一个应用,A服务器上的应用想调用B服务器上的应用提供的方法,由于两个应用不在一个内存空间,不能直接调用,所以需要通过网络来表达调用的语义和传达调用的数据。
需要注意的是RPC并不是一个具体的技术,而是指整个网络远程调用过程。
Dubbo提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。
通俗一点说,就是一般程序员对于本地的过程调用很熟悉,那么我们把RPC作成和本地调用完全类似,那么就更容易被接收,使用起来毫无障碍。
2.架构
官方提供的架构图。
角色说明
节点 | 角色名称 |
---|---|
Provider | 暴漏服务的服务提供方 |
Consumer | 调用远程服务的服务消费方 |
Registry | 服务注册与发现的注册中心 |
Container | 服务运行容器 |
Monitor | 统计服务的调用次数和调用时间的监控中心 |
虚线都是异步访问,实线都是同步访问。
蓝色虚线:在启动时完成的功能。
红色虚线、实线:都是程序运行中执行的功能。
调用关系说明
- 服务容器负责启动,加载,运行服务提供者。
- 服务提供者在启动时,向注册中心注册自己提供的服务。
- 服务消费者在启动时,向注册中心订阅自己所需的服务。
- 注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
- 服务消费者,从提供者地址列表中,基于负载均衡算法,选一台提供者进行调用,如果调用失败,再零选一台调用。
- 服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
三、服务注册中心Zookeeper
通过Dubbo架构图可以看到,Registry(服务注册中心)起了关键作用。Dubbo官方推荐使用Zookeeper作为服务注册中心。
1.介绍
Zookeeper 是 Apache Hadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为 Dubbo 服务的注册中心,工业强度较高,可用于生产环境,并推荐使用 。
2.工作流程说明
- 服务提供者启动时,向/dubbo/com.foo.BarService/providers 目录下写入自己的URL地址。
- 服务消费者(Consumer)启动时:订阅 /dubbo/com.foo.BarService/providers目录下的提供者URL地址。并向 /dubbo/com.foo.BarService/consumers目录下写入自己的URL地址
- 监控中心(Monitor)启动时:订阅 /dubbo/com.foo.BarService目录下的所有提供者和消费者URL地址。
3.Zookeeper使用
双击运行zkServer.cmd即可。
1.需要保证运行环境中正确安装了Java运行环境
2.闪退。在zkEnv.cmd文件末尾添加pause,这样出错不会退出,会提示错误信息。方便找到原因。
3.zoo.cfg文件中需要修改dataDir属性值,在上级目录下添加data目录(../data)
四、Dubbo快速入门
Dubbo作为一个RPC框架,其最核心的功能就是要实现跨网络的远程调用。本小节就是要创建两个应用,一个作为服务的提供方,一个作为服务的消费方。通过Dubbo来实现服务消费方远程调用服务提供方的方法。
项目结构为dubbodemo工程下,一个dubbodemo_provider项目,一个dubbodemo_consumer项目,均为war。
1.服务方开发
pom
<packaging>war</packaging>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<spring.version>5.0.5.RELEASE</spring.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-webmvc</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-jdbc</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-aspects</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-jms</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-context-support</artifactId>
<version>${spring.version}</version>
</dependency>
<!-- dubbo相关 -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>dubbo</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.7</version>
</dependency>
<dependency>
<groupId>com.github.sgroschupf</groupId>
<artifactId>zkclient</artifactId>
<version>0.1</version>
</dependency>
<dependency>
<groupId>javassist</groupId>
<artifactId>javassist</artifactId>
<version>3.12.1.GA</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.47</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.tomcat.maven</groupId>
<artifactId>tomcat7-maven-plugin</artifactId>
<version>2.2</version>
<configuration>
<!-- 指定端口 -->
<port>8081</port>
<!-- 请求路径 -->
<path>/</path>
</configuration>
</plugin>
</plugins>
</build>
复制代码
web.xml
配置监听器,加载配置文件。
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd"
version="3.1">
<context-param>
<param-name>contextConfigLocation</param-name>
<param-value>classpath:applicationContext*.xml</param-value>
</context-param>
<listener>
<listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
</listener>
</web-app>
复制代码
HelloService.class
public interface HelloService {
public String sayHello(String name);
}
复制代码
实现类需要使用dubbo的注解@Service,有时会因为导错包而服务发布失败。
import com.alibaba.dubbo.config.annotation.Service;
@Service
public class HelloServiceImpl implements HelloService {
@Override
public String sayHello(String name) {
return "hello " + name;
}
}
复制代码
在src/main/resources下创建 applicationContext-service.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:p="http://www.springframework.org/schema/p"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
xmlns:mvc="http://www.springframework.org/schema/mvc"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc.xsd
http://code.alibabatech.com/schema/dubbo
http://code.alibabatech.com/schema/dubbo/dubbo.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd">
<!-- 当前应用名称,用于注册中心计算应用间依赖关系,注意:消费者和提供者应用名不要一样 -->
<dubbo:application name="dubbodemo_provider" />
<!-- 连接服务注册中心zookeeper ip为zookeeper所在服务器的ip地址-->
<dubbo:registry address="zookeeper://127.0.0.1:2181"/>
<!-- 注册 协议和port 端口默认是20880 -->
<dubbo:protocol name="dubbo" port="20881"></dubbo:protocol>
<!-- 扫描指定包,加入@Service注解的类会被发布为服务 -->
<dubbo:annotation package="com.dyy.service.impl" />
</beans>
复制代码
这个文件要被导入到web.xml中才能生效。
启动服务
maven->项目->plugins->tomcat7->右键单击tomcat7:run选择运行当前项目
2.消费方开发
pom
<packaging>war</packaging>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<spring.version>5.0.5.RELEASE</spring.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-webmvc</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-jdbc</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-aspects</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-jms</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-context-support</artifactId>
<version>${spring.version}</version>
</dependency>
<!-- dubbo相关 -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>dubbo</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.7</version>
</dependency>
<dependency>
<groupId>com.github.sgroschupf</groupId>
<artifactId>zkclient</artifactId>
<version>0.1</version>
</dependency>
<dependency>
<groupId>javassist</groupId>
<artifactId>javassist</artifactId>
<version>3.12.1.GA</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.47</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.tomcat.maven</groupId>
<artifactId>tomcat7-maven-plugin</artifactId>
<version>2.2</version>
<configuration>
<!-- 指定端口 -->
<port>8082</port>
<!-- 请求路径 -->
<path>/</path>
</configuration>
</plugin>
</plugins>
</build>
复制代码
web.xml
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd"
version="3.1">
<servlet>
<servlet-name>springmvc</servlet-name>
<servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
<!-- 指定加载的配置文件 ,通过参数contextConfigLocation加载 -->
<init-param>
<param-name>contextConfigLocation</param-name>
<param-value>classpath:applicationContext-web.xml</param-value>
</init-param>
<load-on-startup>1</load-on-startup>
</servlet>
<servlet-mapping>
<servlet-name>springmvc</servlet-name>
<url-pattern>/</url-pattern>
</servlet-mapping>
</web-app>
复制代码
将服务提供者工程中的HelloService接口复制到当前工程
public interface HelloService {
public String sayHello(String name);
}
复制代码
编写Controller
注意:Controller中注入HelloService使用的是Dubbo提供的@Reference注解
@Controller
@RequestMapping("/demo")
public class HelloController {
@Reference
private HelloService helloService;
@RequestMapping("/hello")
@ResponseBody
public String getName(String name){
//远程调用
String result = helloService.sayHello(name);
System.out.println(result);
return result;
}
}
复制代码
在src/main/resources下创建applicationContext-web.xml
需要配置到web.xml中才能生效
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:p="http://www.springframework.org/schema/p"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
xmlns:mvc="http://www.springframework.org/schema/mvc"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc.xsd
http://code.alibabatech.com/schema/dubbo
http://code.alibabatech.com/schema/dubbo/dubbo.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd">
<!-- 当前应用名称,用于注册中心计算应用间依赖关系,注意:消费者和提供者应用名不要一样 -->
<dubbo:application name="dubbodemo-consumer" />
<!-- 连接服务注册中心zookeeper ip为zookeeper所在服务器的ip地址-->
<dubbo:registry address="zookeeper://127.0.0.1:2181"/>
<!-- 扫描的方式暴露接口 -->
<dubbo:annotation package="com.dyy.controller" />
<!-- 运行dubbo不检查提供者是否提前开启 -->
<!-- <dubbo:consumer check="false"></dubbo:consumer> -->
</beans>
复制代码
问题
1.在消费者工程中只是引用了HelloService接口,并没有提供实现类,Dubbo是如何做到远程调用的?
答:Dubbo底层是基于代理技术为HelloService接口创建代理对象,远程调用时通过此代理对象完成的。
2.上面的Dubbo入门案例中我们使用Zookeeper作为服务注册中心,服务提供者需要将自己的服务信息注册到Zookeeper,服务消费者需要从Zookeeper订阅自己所需要的服务,此时Zookeeper服务就变得非常重要了,那如何防止Zookeeper单点故障呢?
答:Zookeeper支持集群模式,可以配置Zookeeper集群来达到Zookeeper服务的高可用,防止出现单点故障。
代码重构
思路
将HelloService接口从服务提供者工程(dubbodemo_provider)复制到服务消费者工程(dubbodemo_consumer)中,这种做法显然不好,不利于后期维护。更好的方式是单独创建一个maven工程。将接口创建在这个maven工程中。需要依赖这个接口的工程只需要在自己工程的pom.xml文件中引入maven坐标即可。
执行
① 创建项目:dubbodemo_interface
② 把 项目dubbodemo_consumer 和 项目dubbodemo_provider当中的 接口 HelloService 拷贝到dubbodemo_interface工程里面
③ 删除工程dubbodemo_consumer 和 工程dubbodemo_provider当中的 接口 HelloService
dubbodemo_consumer 工程和dubbodemo_provider添加pom文件的依赖
五、Dubbo管理控制台
在开发时,需要知道Zookeeper上注册哪些服务,有哪些消费者来消费这些服务。可以通过部署一个管理中心来实现。
这个管理中心就是一个web应用,部署到tomcat即可。
1.如何使用
将的dubbo-admin-2.6.0.war文件复制到tomcat的webapps目录下;
启动tomcat,war会自动解压。
在解压后的文件中找到dubbo.properties文件,将address改为当前使用的Zookeeper的IP地址和端口号。
dubbo.registry.address=zookeeper://192.168.6.100:2181
dubbo.admin.root.password=root
dubbo.admin.guest.password=guest
复制代码
访问http://localhost:8080/dubbo-admin-2.6.0/ ,输入用户名(root)和密码(root),切换简体中文
在这里可以看到启动了的提供者工程和服务者工程。
2.duboo的属性配置
-
包扫描
【提供者】
<dubbo:annotation package="com.dyy.service" /> 复制代码
或
<bean id="helloService" class="com.dyy.service.impl.HelloServiceImpl" /> <dubbo:service interface="com.dyy.api.HelloService" ref="helloService" /> 复制代码
【消费者】
<!-- 生成远程服务代理,可以和本地bean一样使用helloService --> <dubbo:reference id="helloService" interface="com.dyy.api.HelloService" /> 复制代码
-
协议
一般在服务提供者乙方配置,可以使用的协议名称和端口号。
其中dubbo支持的协议有**【dubbo、rmi、hessian、http、webservice、rest、redis】等**
推荐使用dubbo
dubbo协议采用单一长连接和NIO异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。不适合传送大数据流量的服务,比如传视频,传文件等,除非请求量很低。
也可以在同一个工程中配置多个协议,不同服务使用不同协议。比如:
<!-- 多协议配置 --> <dubbo:protocol name="dubbo" port="20880" /> <dubbo:protocol name="rmi" port="1099" /> <!-- 使用dubbo协议暴露服务 --> <dubbo:service interface="com.dyy.service.HelloService" ref="helloService" protocol="dubbo" /> <!-- 使用rmi协议暴露服务 --> <dubbo:service interface="com.dyy.service.DemoService" ref="demoService" protocol="rmi" /> 复制代码
<dubbo:protocol name="dubbo" port="20880"/> 复制代码
-
启动时检查
<dubbo:consumer check="false"/> 复制代码
该配置需要配置在服务消费者乙方,如果不配置默认check值为true。dubbo缺省会在启动时检查依赖的服务是否可用,不可用时会抛出异常,阻止spring初始化完成,以便上线时,能及早发现问题。可以通过将check值改为false来关闭检查。
建议在开发阶段将check设为false,生产环境下改为true
-
负载均衡
负载均衡(load balance):其实就是将请求分摊到多个操作单元上执行,从而共同完成工作任务。
在集群负载均衡时,dubbo提供了多种均衡册罗(包括随机、轮询、最少活跃调用数、一致性hash),缺省是random随机调用。
- 随机算法(默认)RandomLoadBalance
- 轮询算法RoundRobinLoadBalance
- 最小活跃数LeastActiveLoadBalance
- 一致性hash算法ConsistentHashLoadBalance
配置负载均衡策略,既可以在服务提供者配置,也可以在服务消费者配置。
【提供者】
@Controller @RequestMapping("/demo") public class HelloController { //在服务消费者一方配置负载均衡策略 @Reference(check = false,loadbalance = "random") private HelloService helloService; @RequestMapping("/hello") @ResponseBody public String getName(String name){ //远程调用 String result = helloService.sayHello(name); System.out.println(result); return result; } } 复制代码
【消费者】
//在服务提供者一方配置负载均衡 @Service(loadbalance = "random") public class HelloServiceImpl implements HelloService { public String sayHello(String name) { return "hello " + name; } } 复制代码
可以通过启动多个服务提供者来观察Dubbo负载均衡的效果。
注意:因为我们是在一台机器上启动多个服务提供者,所以需要修改tomcat的端口号和dubbo服务的端口号来防止端口冲突。
在实际生产环境中,多个服务提供者是分别部署在不同的机器上,所以不存在端口冲突问题。
六、解决dubbo无法发布被事务代理的Service问题
问题描述:
如果我们在服务提供者类上加入@Transactional事务控制注解后,服务就发布不成功了。
原因:
事务控制的底层原理是为服务提供者类创建代理对象, 而默认情况下Spring是基于JDK动态代理方式创建代理对象,而此代理对象的完整类名是com.sun.proxy.$Proxy42(最后两位数字不是固定的),导致dubbo在发布服务前进行包匹配时无法完成匹配,而没有进行服务的发布。
开启注解事务支持
<tx:annotation-driven transaction-manager="transactionManager"/>
复制代码
在类上添加事务注解
@Transactional
复制代码
解决方案
-
修改applicationContext-service.xml配置文件,开启事务注解支持时指定proxy-target-class属性,值为true。作用是使用cglib代理方式为Service类创建代理对象,添加如下配置
<!--开启事务控制的注解支持--> <tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/> 复制代码
-
修改HelloServiceImpl类,在Service注解中加入interfaceClass属性,值为HelloService.class,作用是指定服务的接口类型
import com.alibaba.dubbo.config.annotation.Service; import org.springframework.transaction.annotation.Transactional; @Service(interfaceClass = HelloService.class) @Transactional public class HelloServiceImpl implements HelloService { @Override public String sayHello(String name) { return "8086 hello " + name; } } 复制代码