최적화 (10)

안녕하세요, 리우 차오입니다. 오늘은 다음 서비스 사이의 네트워크 트래픽을 최적화하기 위해 당신을 데려 갈 것이다.

마지막 강의, 나는 SpringCloud과 두보의 가장 널리 항상 둘 사이의 비교, 더 나은 모두 프레임과 토론을위한 기술 많은 사람들이 있었다 업계 내에서 사용되는 마이크로 서비스 프레임 워크를 언급했다.

나는 우리가 프레임 워크 마이크로 서비스 부문을 설정할 때, 또한도 한 번 열띤 토론을했습니다, 기술 선택에 시간이 오래 얽힌 기억한다. 이 이유는, 현재 SpringCloud 뜨거운는 마이크로 생태의 완전한 서비스, 내 동료의 많은 투표를하고있다, 그러나 우리의 궁극적 인 선택은 두보입니까?

RPC 통신은 큰 서비스 프레임 워크의 핵심입니다

우리는 종종 우리가 기술적 인 선택을 할 때 더 정확하게하기 위해, 그래서 먼저 말은에 마이크로 서비스의 핵심이 무엇인지 알아야한다, 마이크로 서비스를 논의 요구를 파악.

지금까지 내가 이해, 나는 마이크로 서비스의 핵심은 통신 서비스 및 관리 생각합니다. 통신은 서비스 간의 의사 소통의 다리를 제공하는 서비스 관리는 물류 지원 서비스를 제공합니다. 우리는 기술적 인 선택을 할 때, 더는이 두 가지 핵심 요구 사항을 고려하는 것입니다.

방법은 서비스 호출 사이에있을 경우 우리는 분할 특히 일부 공황 구매 또는 홍보 비즈니스 시나리오에서, 통신 서비스의 비용을 증가 시킨다는 것을 알고, 예를 들어, 필요 성공적인 주문 시스템, 결제 시스템, 티켓 패키지 시스템을 스냅 후 호출하려면, 이러한 통신 시스템은 쉽게 병목 현상. 지배 구조의 전제가 특정 서비스를 충족해야합니다 아래에 따라서 성능 요구 사항에 영향을 미치는 주요 요인은 기술 선택 원격 통신입니다.

현재, 많은 서비스 통신 마이크로 서비스 프레임 워크없이 조립 연장 전제 구현 RPC 통신에 기반 SpringCloud는 RPC 통신 척하기 컴포넌트 기반 구현 (HTTP + JSON 직렬화 기준), 보행 계 SPI의 확장 RMI, 두보, 헤센 다른 RPC 통신 프레임 워크 (기본 직렬화 두보 + 헤 시안)을 포함하여 많은 RPC 통신 프레임 워크. 다른 비즈니스 시나리오는, 선택 및 최적화 기준은 다른 RPC 통신입니다.

예를 들어, 내가 두보 선택, 마이크로 서비스 프레임 워크의 선택에서 우리 부서의 시작 부분에 언급했다. RPC 통신이 비즈니스 시나리오에서 높은 동시 구매 클래스를 지원할 수있는 선택 기준 시점에서, 요청은 순시 특징으로 큰 수신, 발신 패킷 파라미터가 작은 요구된다. 두보 계약의 두보 잘이 요청을 지원했다.

다음은 두보에 기초 : 간단한 성능이 2.6.4 버전을 테스트. 보행 + Protobuf 직렬화 및 통신 성능의 HTTP + JSON 직렬화 (주로 시뮬레이션 된 성능 비교를 단일 TCP 연결 + Protobuf 긴 시퀀스 및 HTTP + JSON 직렬화 접속 단)를 시험 하였다. I이 작은 물체와 큰 개체의 성능 압력 측정을 준비한 다른 상황 하에서 데이터의 양 모두의 성능을 확인하기 위해 간접적 방법 RPC 통신의 낮은 수준 모두를 이해할 수있다.

이 테스트는 테스트 환경에 따라, 내 앞에 축적하는 것은 복잡하다, 여기에 내가 그냥 당신이 관심이 있다면, 당신은 메시지를 남길 수 있습니다 내가 논의 결과를 줄 것이다.

위의 테스트 결과를 확인할 수 있습니다 응답 시간의 측면 또는 뷰의 처리량 점에서, RPC 통신 프레임 워크의 단일 TCP 연결 + Protobuf 긴 시퀀스는 매우 뚜렷한 장점을 달성했다.

높은 동시성 시나리오에서, 우리는 백엔드 서비스 또는 부서가 서비스 프레임 워크를 설계하기위한 미들웨어 프레임 워크 선택, RPC 통신은 최적화 된 물체의 초점이다.

기업이 아닌 자신의 미들웨어 팀 않는 경우 사실, RPC 통신 프레임 워크의 현재 성숙도가 매우 큰, 당신은 오픈 소스 RPC 통신 프레임 워크를 기반으로 확장 할 수 있습니다. 공식 최적화하기 전에, 우리는 단순히 RPC에서 검토하고 싶습니다.

RPC 통신은 무엇입니까

RPC에 대한 참조, 당신은 여전히 MVC, SOA의 개념이 어떻게 생각하십니까? 이러한 아키텍처의 진화를 경험하지 않은 경우, 이러한 개념을 혼동하기 쉽습니다. 이러한 아키텍처의 진화의 역사에 대해 알아 보려면 아래 이미지는 할 수 있습니다.

이 마이크로 서비스, SOA, 또는 RPC 아키텍처가 분산 서비스 아키텍처 여부, 우리는 서비스 간의 상호 통신 할 필요가, 우리는 일반적으로이 통신은 RPC 통신이라 부른다.

RPC (원격 절차 호출), 즉, 네트워크 통신 기술 원격 컴퓨터 프로그램과 서비스를 통해 원격 서비스 호출 요청. 같은 순서 네트워크 통신 기술을 기본 RPC 좋은 패키지 프레임 워크, 우리는 프로젝트의 각 서비스에 대한 인터페이스 패킷을 소개 할 필요가 같은에서 서비스 호출 RPC 메소드 호출 네이티브 코드로 달성 될 수있다. 이 때문에 편리하고 투명 원격 호출, RPC 널리 현재 기업 및 인터넷 사업에 사용되는, 그것은 핵심 분산 시스템이다.

RMI (원격 메소드 호출)는 중요한 시스템을 분산 Java 응용 프로그램을 구축하기위한 JDK RPC 통신 프레임 워크, RMI 구현을 달성하기 위해 첫 번째 중 하나입니다 기본 Java 기술이 많은 오픈 소스 프레임 워크 RPC 통신이 매우 중요하다 두보는 또한 RMI 프레임 워크에 액세스 프레임을 포함, RMI 기반의 구현 원리를 디자인했다. 그리고 우리는, RMI에서 원칙의 이행을 알고있는 존재 성능 병목 현상을 최적화 할 수있는 보러 갔다.

RMI : JDK 자신의 RPC 통신 프레임 워크

RMI는 현재 EJB와 Spring 프레임 워크에 적용 성숙, 순수 자바 분산 응용 프로그램 시스템 코어 네트워크 솔루션이다. RMI 구현 원격 메소드에 가상 머신 응용 프로그램 호출은 로컬 메소드 호출, RMI의 도움이 우리에게 좋은 패키지 전기 통신의 내용과 동일 할 수 있습니다.

RMI의 원리

RMI RMI 오브젝트 자체는 다른 가상 머신이 객체의 메소드를 호출 할 수있는 가상 머신에 더하여, 심 성분의 원격 프록시 객체이다. 그리고이 가상 머신이 같은 호스트에하지 않을 수 있습니다, 원격 프록시 개체를 통해 네트워크 프로토콜 및 서비스와 통신 할 수있는 원격 응용 프로그램.

우리는 RMI에서 전체 통신 과정의 상세한 이해에 매핑 할 수 있습니다 :

고도의 동시 장면에서 RMI의 성능 병목

자바 기본 직렬화

RMI 사용하는 직렬화는 자바 직렬화, 나는 자바 직렬화 2009 년 강의에서 자세히 소개 기본값입니다, 우리는 아주 좋은 성능을하지 알고, 또한 다른 언어 프레임 워크는 자바 직렬화를 지원하지 않습니다.

TCP 짧은 연결

RMI 짧은 달성하기 위해 TCP 연결이기 때문에, 높은 동시성의 경우,이 시스템에 대한 많은 수의 연결을 생성하고 파괴하는 많은 수의 요청을 가져올 것이다 의심 할 여지없이 매우 성과 중심의 소비이다.

네트워크 I 차단 / O

08은 강의, 난의 존재를 언급 / 네트워크 트래픽 O 병목, 종래의 I / O 소켓 프로그램 모델이 경우는 I을 생성하기 쉽다 / 높은 동시성 시나리오에서 달성 짧은 연결에 기초 O 블록 네트워크 통신, 성능이 크게 줄어 듭니다.

고도의 동시 RPC 통신 경로 최적화 시나리오

SpringCloud RPC 통신 성능 병목 현상 및 RMI 통신은 매우 유사하다. SpringCloud HTTP 통신 프로토콜 (짧은 커넥터) 및 높은 동시 시나리오 별다른 이점 달성 JSON 직렬화에 기초한다. 그런 다음, 과도 높은 동시성 시나리오에서, 우리가 어떻게 RPC 통신을 최적화해야합니까?

RPC 통신은 패킷 데이터 전송 프로토콜 및 전송 코덱 및 다른 작업을 달성하기 위해, 통신을 확립하는 단계를 포함하고, 우리는 각 층의 전체 성능이 최적화 점진적 실현 최적화로부터 출발.

적합한 통신 프로토콜을 선택합니다

서로 다른 시스템 간의 네트워크 통신을 달성하기 위해, 우리는 컴퓨터 네트워크 통신 시스템의 기본 원리를 이해할 필요가있다. 통신 네트워크의 구현은 데이터가 두 개의 디바이스 사이에 교환되는 흐름이다 동안 네트워크 전송 프로토콜 달성 코덱 기반의 데이터 전송이다. 네트워크 전송 프로토콜은 TCP, UDP 프로토콜에있어서,이 두 프로토콜은 특정 시나리오에 대한 소켓 인터페이스 프로그래밍을 기반으로 전송 프로토콜 밖으로 확장된다. 다음 두 그래프함으로써, 우리는 아마 TCP를 기반으로 그 달성하기 위해 소켓 네트워크 통신을 이해할 수 및 UDP 프로토콜 종류의 프로세스이다.

소켓 기반 통신 프로토콜은 세 방향 핸드 쉐이크에 의해 달성 될 TCP 접속 및 데이터 전송의 데이터 전송의 신뢰성을하고, 데이터 전송은 바이트 스트림 모드에는 경계 없다.

소켓 통신 UDP 프로토콜 기반의 클라이언트가 접속을 확립 할 필요는 없습니다 만 UDP 프로토콜을 기반으로, 그것은 보증 그램이 서버에 도달 할 수 있도록, 서버에 데이터 패킷을 전송하는 소켓을 만드는 데 필요한 데이터의 전송 너무 소켓 통신은 신뢰성을 달성했다. 그램 모드를 사용하여 전송 된 UDP 데이터는 각 UDP 데이터 그램은 서버로 데이터와 함께 전송 될 길이를 갖는다.

대조적으로, 우리는 최적화를 그릴 수 있습니다 : 데이터 전송의 신뢰성을 보장하기 위해, 우리는 일반적으로 TCP 프로토콜을 사용합니다. 로컬 영역 네트워크 및 데이터 전송의 신뢰성의 경우에 필요하지 않은 경우, 우리는 또한, UDP 프로토콜의 사용을 고려 결국 수, TCP 프로토콜에 비해이 프로토콜의 높은 효율.

2. 하나의 긴 연결의 사용

프로토콜은 TCP 소켓 통신은 우리가 그것을 최적화하기 위해 무엇을 할 수 있는지를 기반으로하는 경우?

클라이언트와 서비스 사이의 통신 서버 사이의 통신과는 달리. 클라이언트와 서버는 클라이언트의 수는 시스템 자원의 낭비의 결과로 연결하는 데 시간이 오래 걸리는 피할 기반으로 짧은 연결 요청을 달성하기 때문입니다.

우리는 TCP 연결 설정과 가까운 긴 연결을 기반으로, 그것은 저장할 수 많이 달성하지만 연결의 서비스 소비자 측 사이의 통신은 많이 클라이언트 만 서버에 소비 측의 요청하지만만큼 수가되지 않습니다 동작하여 시간 절약은 시스템의 성능 오버 헤드를 감소시킨다.

3. 최적화 소켓 통신

네트워크 통신은 우리가 일반적으로 TCP 연결을 프로그래밍 자바 소켓을 사용하여, 두 기계를 설정합니다. 소켓 통신 주로 종래의 I / O가 차단 스레드 모델 메모리 복사 결함 및 기타 문제. 우리는 인 Netty로 더 성숙 통신 프레임 워크를 사용할 수 있습니다. 소켓 통신 프로그램의 Netty4는 여러 가지 방법으로 최적화되어, 특정는 아래를 참조하십시오.

나는 비 차단 / O : 08 말하기, 우리는 비 블로킹 I / O 통신 멀티플렉서 선택기 구현을 언급했다.

효율적인 스레딩 모델을 반응 : 연결이 설정되면 원자로가 모델을 멀티 스레드에서의 Netty는 주 수신기를 사용하여, 서버는 클라이언트가 메인 스레드에 연결되어 요청하는 클라이언트의 연결 요청 작업에 대한 메인 쓰레드는, 나는들을 것이다 / O 이벤트는 이벤트를 수신 후 연결 요청을 만듭니다.

링크를 등록 요청은 I / O 작업자 스레드에 의해 후속 I / O 작업을 담당하는 I / O 노동자의 I / O 작업에 대한 책임을 질 것입니다. 하나의 스레드가 / O 처리 질량 NIO 클라이언트 문제를 모니터링하고 I를 많이 만날 수 없기 때문에이 스레딩 모델을 사용하여, 그것은, 높은 부하, 높은 동시성의 경우에서 해결 될 수 있습니다.

직렬 설계 : 메시지 인코딩의 존재를 수신 복호화 판독하고 피어 링크 작업을 송신 한 후, 서버. 이러한 작업을 달성하기 위해 병렬 기반으로하는 경우, 그것은 의심 할 여지없이 심각한 잠금 경합, 원인은 시스템의 성능이 저하로 이어지는 것입니다. 직렬 링크 동작을 사용하지 않고, 성능의 Netty 잠금을 향상시키기가 완료되면, 파이프 라인의 Netty 다양한 작업 링크 스레드 스위칭 동작 중에 수행되지 않는다 구비기구.

제로 복사 : 08 말하기, 우리는 네트워크에 메모리에서 데이터 전송이, 먼저 네트워크에 커널 공간에서 복사 한 사용자 공간에 커널 공간에서 복사 작업의 두 사본이 있음을 언급 I / O ,. 그리고 ByteBuffer를 NIO 직접 버퍼는 바이트 버퍼는 데이터를 직접 커널 공간에 기록 될 수 있습니다, 보조 복사본을 필요로하지 않는, 모드, 비 개방 직접적인 물리적 힙 메모리를 제공하기 위해 사용될 수있다.

이러한 최적화 된 일부 TCP 매개 변수뿐만 아니라 우리는 또한 네트워크 처리량을, 소켓 프로그래밍 구성 항목을 제공 향상시킬 수의 Netty 기반 ChannelOption 이러한 매개 변수를 설정할 수 있습니다.

TCP_NODELAY : TCP_NODELAY 옵션은 Nagle 알고리즘 사용 여부를 제어하는 데 사용됩니다. 네트워크 정체로 전송 작은 다수의 패킷을 방지하고 네트워크의 전송 효율을 향상 시키도록 큰 패킷 이루어진 네이글 알고리즘 캐시 웨이 작은 데이터 패킷. 우리는 지연에 민감한 애플리케이션 시나리오에 최적화 된 알고리즘을 닫을 수 있습니다.

SO_RCVBUF와 SO_SNDBUF는 : 소켓 전송의 크기를 조정하고 장면에 따라 버퍼를받을 수 있습니다.

SO_BACKLOG은 : 백 로그 파라미터는 클라이언트의 연결 요청 큐 버퍼 크기를 지정한다. 처리 서버에서 클라이언트의 연결 요청이 때문에 클라이언트 연결을 처리 할 수있는 동시에 복수의 클라이언트는 들어오는 때, 클라이언트의 연결 요청을 처리 할 것이다 서버가 대기 순차적 처리 대기하는 처리한다.

SO_KEEPALIVE가 : 이 옵션을 설정하면, 클라이언트 데이터의 연결의 연결 상태가 클라이언트 연결 해제를 감지 한 후 오랜 시간 동안 전송되지 점검, 서버는 연결을 복구합니다. 우리는 연결의 복구의 효율성을 개선하기 위해, 시간이 짧게 설정 할 수 있습니다.

4. 패킷 포맷 맞춤형

다음 단계는 패킷을 달성하기 위해, 우리는 패킷들의 세트를 설계해야 특정 체크섬 연산의 내용은, 송신 데이터를 설명하는 데 사용된다. 전송의 효율성을 개선하기 위해, 우리는 자신의 사업에 및 아키텍처 설계를 고려에 따라 수, 쉽게 분석하고 다른 특성, 기능을 충족하기 위해, 작은보고 실현하려고합니다. 우리는 다음과 같은 데이터 형식을 참조 할 수 있습니다 :

인코딩 및 디코딩

09 말하면, 우리는 인코딩 양호한 네트워크 통신 프로토콜을 달성하기 위해, 복호 처리의 순서를 분석은 좋은 직렬화 체계와 호환되는 것은 매우 중요하다. 단순한 데이터 객체를 전송하는 경우, 우리는 네트워크 통신의 성능을 향상시키기 위해 Protobuf 직렬화, 도움의 상대적으로 좋은 성능을 선택할 수 있습니다.

옵션을 설정 리눅스 TCP 매개 변수를 조정 (6)

는 RPC TCP 짧은 연결이 달성되면, 우리는 리눅스 TCP 기반의 구성 항목을 수정하여 네트워크 트래픽을 최적화 할 수 있습니다. 당신은 TCP 구성 항목을 최적화 시작하기 전에, 우리는 TCP 연결 등의 도움 뒤의 내용의 이해를 닫 TCP 연결 및 4 방향 핸드 셰이크를 설정하는 세 방향 핸드 셰이크를 이해하기 시작합니다.

세 방향 핸드 셰이크

네 방향 핸드 셰이크

우리는 sysctl을 -a 수 | 특정 구성을 수정해야하는 경우 GREP net.xxx 명령은, 정력을 / etc /하여 sysctl.conf를 편집 할 구성 항목을 수정할 필요가 추가에 의해 수, TCP의 실행 리눅스 시스템 기본 파라미터 설정을 볼 수 있습니다 구성 항목을 실행하는 sysctl을 -p 명령은 수정 후 적용하도록 설정되어 있습니다. 보통 우리는 네트워크 처리량을 개선하고 다음과 같은 구성 항목을 수정하여 대기 시간을 줄일 수 있습니다.

그리고 리눅스 시스템 구성 설정 TCP 조정의 마지막 항목을 제외하고 우리는, 다른 RPC 통신 프레임 워크의 집합의 궁극적 인 실현의 관점에서 최적화를 자세히 설명 RPC 코드 프로그래밍 최적화의 여러 수준에서 더 많은 튜닝이 있음 최적의 경로.

이 이해, 당신은 자신의 비즈니스 시나리오에 따라 기술 선택을 할뿐만 아니라 과정에서 발생하는 몇 가지 성능 문제에 대한 좋은 해결책이 있습니다.

개요

오늘날의 분산 시스템, 마이크로 서비스에 특히 시스템 오늘날에는 서비스 간의 통신이 특히 빈번, 서비스 최적화 사이의 마스터 통신 이론 및 통신 프로토콜은 당신의 품목의 필수적인 기술이다.

일부 시나리오가 더 많은 동시 시스템입니다, 나는 두보 RPC 프로토콜 구현의 세트를 사용하는 것을 선호합니다. 보행 단일 긴 접속 통신 프로토콜은 네트워크 I / O는 호환성 워크 Kryo, FST, Protobuf 우수한 특성, 높은 동시성 소규모 비즈니스 시나리오가 송신 개체 판독 비 차단 NIO, 일련의 기록 동작, 설정된 실제.

기업 시스템에서, 비즈니스, 더 많은 데이터 전송보다 수 있으며, 종종 일반 인터넷 제품보다 더 복잡뿐만 아니라 RPC 통신 프로토콜 설계 고려 사항이 더 많은 기능 요구 사항은 서비스와 서비스 사이의 전송 사진 및 파일과 같은, 그래서, 궁극의 성능을하지 추구. 기능, 쉬운 항목 및 다른 많은 장점, 생태 및 사용하기 쉬운 측면에서 다른 통신 프레임 워크.