높은 시간에 민감한 데이터, 재고, 이중 쓰기 캐시 데이터베이스 + 기술 솔루션을 채택, 또한 일관성의 문제를 두 번 쓴 해결
캐시 데이터의 생산은, 메시지 큐, 데이터 소스 서비스 (제품 정보 관리 서비스) 데이터 변경이 발생을 모니터링 한 후, 데이터 변경 메시지는 메시지 큐에 푸시됩니다
소비자에게 캐시 데이터 생산 서비스는이 시간이 MySQL의 라이브러리에서 일반적으로 나에게있어 저를 얻었다이 데이터의 메시지를 변경 한 다음 메시지의 지시에 따라 일부 매개 변수를 추출하고 데이터에 해당하는 인터페이스 데이터 소스 서비스를 호출
1, 사육사 클러스터 설치
WinSCP를 사용하여 사육사-3.4.5.tar.gz는 / usr / local 디렉토리에 복사.
사육사-3.4.5.tar.gz의 압축 해제를 들면 : 사육사-3.4.5.tar.gz -zxvf 타르.
사육사 디렉토리 이름을 바꾸려면 : MV 사육사-3.4.5 ZK를
구성 환경 변수 관련 사육사
VI ~ / .bashrc에 수출 ZOOKEEPER_HOME = / usr / 지방 / ZK 수출 PATH = $ ZOOKEEPER_HOME / 빈 소스 ~ / .bashrc에 CD를 ZK / conf의 CP zoo_sample.cfg zoo.cfg VI zoo.cfg
검토 :
DATADIR = / usr / 지방 / ZK / 데이터
추가 :
server.0 = 숍 - cache01 : 3888 : 2888 server.1 = 숍 - cache02 : 2888 : 3888 server.2 = 숍 - cache03 : 2888 : 3888
CD를 ZK
MKDIR 데이터
CD 데이터
VI에 대한 myid
0
위의 단계에 따라 다른 두 노드는 scp를의 .bashrc를 사용하여 ZK와 숍 - cache02에 복사, 사육사를 구성하고 이숍 - cache03을 할 수 있습니다. 유일한 차이는, 각각의 식별 번호 1 및 2로 설정된다.
그들은 세 가지 시스템에서 실행 된 : 시작 zkServer.sh.
사육사 상태 확인 : zkServer.sh 상태를, 지도자, 두 추종자해야한다
표준 새 번역 : 세 개의 노드 프로세스가 QuromPeerMain이 있는지 여부를 확인
2, 카프카 클러스터 설치
스칼라 스칼라 작성하는 프로그래밍 언어 더욱 불 같은 스파크 (계산 엔진)의 내부의 큰 영역과 같은 많은 양의 데이터이며
스칼라 - 2.11.4.tgz 사용으로 WinSCP는 / usr / local 디렉토리에 복사.
스칼라 - 2.11.4.tgz은 압축 해제 : 타르 -zxvf 스칼라 - 2.11.4.tgz을.
스칼라 디렉토리 이름을 바꾸려면 : MV 스칼라-2.11.4의 스칼라를
스칼라 관련 환경 변수 구성
우리 ~ / .bashrc에
수출 SCALA_HOME = / usr / 지방 / 스칼라
수출 PATH = $의 SCALA_HOME / 빈
소스 ~ / .bashrc에
설치가 성공적 스칼라 여부 확인 : 스칼라 -version
다른 컴퓨터에서 위의 단계에 따라 스칼라를 설치됩니다. 그리고 다른 두 컴퓨터에 복사 .bashrc에 scp를 스칼라를 사용하여 할 수 있습니다.
kafka_2.9.2-0.8.1.tgz 사용 WinSCP에는 / usr / local 디렉토리에 복사.
kafka_2.9.2-0.8.1.tgz 압축 해제의 경우 : 타르 -zxvf kafka_2.9.2-0.8.1.tgz.
카프카의 디렉토리 이름을 바꾸려면 : MV kafka_2.9.2-0.8.1 카프카를
구성 카프카
우리 /usr/local/kafka/config/server.properties
broker.id : 정수 수주 증가, 0,1,2, 클러스터 브로커의 고유 ID
zookeeper.connect = 192.168.31.187 : 2181,192.168.31.19 : 2181,192.168.31.227 : 2181
설치 SLF4J
/ usr / 지방 디렉토리에 업로드 slf4j-1.7.6.zip
압축 해제 slf4j-1.7.6.zip
카프카의 디렉토리의 복사 SLF4J-NOP-1.7.6.jar SLF4J libs와
카프카 인식 할 수없는 VM 옵션 'UseCompressedOops'문제 해결
우리는 /usr/local/kafka/bin/kafka-run-class.sh
만약 [ "$ KAFKA_JVM_PERFORMANCE_OPTS"-z] 그때
KAFKA_JVM_PERFORMANCE_OPTS = "- 서버 -XX : + UseCompressedOops -XX : + UseParNewGC -XX : + UseConcMarkSweepGC -XX : + CMSClassUnloadingEnabled -XX : + CMSScavengeBeforeRemark -XX : + DisableExplicitGC를 -Djava.awt.headless = true"로
있다
에 + UseCompressedOops : -XX 제거
위의 추가 단계에 따라 카프카 두 대의 컴퓨터에 장착되어 있습니다. 카프카 scp를 통해 다른 컴퓨터에 복사합니다.
유일한 차이점은 broker.id에서 server.properties는, 1 및 2로 설정 될 수 있다는 것이다
세 시스템에 카프카 디렉토리에서 각각 다음 명령을 실행합니다 : nohup을 빈 / kafka-server-start.sh 설정 / server.properties &
JPS는 시작의 성공 여부를 확인하는 데 사용
성공을 구축 카프카 여부를 확인하는 기본 명령을 사용하여
빈 / kafka-topics.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic 테스트 --replication 요인 1 --partitions 1 --create
빈 / kafka-console-producer.sh --broker 목록 192.168.31.181:9092,192.168.31.19:9092,192.168.31.227:9092 --topic 테스트
192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic 테스트 --from-시작 --zookeeper 빈은 / kafka-console-consumer.sh