A : 폭풍의 개요
URL : http://storm.apache.org/
ApacheStorm는 무료 오픈 소스 분산 실시간 컴퓨팅 시스템이다. 스톰 쉽고 안정적으로 만들어 하둡 배치에 대한 실시간 처리를위한 무제한 데이터 스트림을 처리 할 수 있습니다. 스톰은 매우 간단하고 어떤 프로그래밍 언어를 사용할 수 있으며, 사용하는 재미!
그래서 실시간 분석, 온라인 기계 학습, 연속 컴퓨팅, 분산 된 RPC, ETL과 : 많은 사용 사례 스톰이 있습니다. 스톰은 곧 : 벤치 마크는 각 노드가 세트당 만 개 이상의 위안 처리하는 것을 의미한다. 그것은 확장 성, 내결함성, 설정 및 작동이 데이터 처리를 얻을 수 있는지 확인하고, 쉽게.
이미 사용 스톰 통합 대기 및 데이터베이스 기술. 폭풍 토폴로지 소비 데이터 스트림이 스트림의 임의의 복잡하게하고이어서 각 상 유동의 계산 사이의 재분할. 더 자습서를 읽어보십시오.
무엇 오프라인 컴퓨팅은 무엇입니까?
벌크 데이터, 대량의 데이터 전송, 데이터 저장 용량, 데이터주기 계산, 데이터 시각화를 가져옵니다
수로는, 대량의 데이터를 얻을 벌크 전송 HDFS / 하이브 / HBase를 벌크 저장 씨 / 하이브 계산 데이터, BI를 Sqoop을
무엇 실시간 컴퓨팅은 무엇입니까?
생성 실시간 데이터, 실시간 데이터 전송, 데이터의 계산, 실시간 디스플레이
수조 실시간 데이터 수집 카프카 실시간 데이터 저장 스톰 / JStorm 실시간 시스템, 실시간 디스플레이 (dataV / quickBI)
2 : 스톰과 하둡
|
|
하둡 |
폭풍 |
|
역할 |
JobTracker에 |
후광 |
| TaskTracker |
감독자 |
|
| 어린이 |
노동자 |
|
| 응용 프로그램 이름 |
일 |
토폴로지 |
| 프로그래밍 인터페이스 |
매퍼 / 감속기 |
르네 / 볼트 |
세 : 스톰 프로그래밍 모델
tuple : 원조
메시지 전송은 기본 단위.
주둥이 : 수도꼭지를
폭풍의 핵심 추상화입니다. 소스 토폴로지 스트림입니다. 외부 데이터 소스에서 데이터를 읽을 일반적으로 주둥이. 내부 데이터 소스로 변환된다.
主要方法：nextTuple() -》 发出一个新的元祖到拓扑。
ack()
fail()
Bolt:转接头
Bolt是对流的处理节点。Bolt作用：过滤、业务、连接运算。
Topology:拓扑
是一个实时的应用程序。
永远运行除非被杀死。
Spout到Bolt是一个连接流...
storm流式计算
hadoop与storm兼容性
闲聊：。。。。
spark-core
spark-sql离线计算
spark-streaming流式计算
一个团队开发 没有兼容性问题
spark团队：我要做一栈式开发平台！
但凡涉及到大数据计算 我都能搞定！
spark替代了mapreduce
spark没有底层存储
依赖hdfs
hdfs/mr............
完善整个生态圈系统！
mapreduce思想、编程 、sqoop->mr hive->mr hbasemr
dfs/mapreduce/bigtable
java/scala...
四：Storm集群安装部署
1）准备工作
zk01 zk02 zk03
storm01 storm02 storm03
2)下载安装包
http://storm.apache.org/downloads.html
3)上传
4)解压
5)修改配置文件
设置环境变量~/.bash_profile
$ vi storm.yaml
# 设置Zookeeper的主机名称
storm.zookeeper.servers:
- "bigdata11"
- "bigdata12"
- "bigdata13"
# 设置主节点的主机名称
nimbus.seeds: ["bigdata11"]
# 设置Storm的数据存储路径(需要自己提前创建)
storm.local.dir: "/root/training/storm/data"
# 设置Worker的端口号
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
分发到bigdata12 和bigdata13，还有~/.bash_profile也要分发
6)启动nimbus
$ storm nimbus &
7) 启动supervisor
$ storm supervisor &
8)启动ui界面 端口8080
$ storm ui
Storm命令行操作
1)查看命令帮助
storm help
2)查看版本
storm version
3)运行storm程序
storm jar [/路径/.jar][全类名][拓扑名称]
4）查看当前正在运行拓扑及其状态
storm list
5)终止拓扑程序
storm kill [拓扑名称]
6）激活拓扑程序
storm activate [拓扑名称]
7）禁止拓扑程序
storm deactivate [拓扑名称]