常见的分布式系统及分类

分布式文件系统(存储系统):GFS,TFS,HDFS,Facebook HayStack
分布式缓存系统(键值系统):淘宝Tair,Amazon Dynamo
分布式表格系统:BigTable
分布式数据库:Google Spanner,TiDB,OceanBase
分布式计算框架:MapReduce,

子模块:
分布式事务:
分布式存储引擎:
分布式锁:

分类标准:
功能分: olap, oltp, 分布式日志,share-nothing, numa, MapReduce, DAG.数据分:表格,对象,文件,关系。架构分: 类bigtable, 类dynamo日志复制分: primary-backup,gossip,quorum.同步,半同步,异步。数据切分分:hash,rangeworkload分:很多种membership分:自己选主,主控节点选主,dlm选主。CAP折衷分:强一致性牺牲可用性,最终一致性更高的可用性。

有几个大的维度来区分:
有状态、无状态重存储还是重计算long service还是批处理。

一些常见的分布式系统大类:支持持久化存储的分布式存储系统着重计算的分布式/并行计算框架分布式消息队列 根据不同的应用的领域,把上述分类细化,常见分布式存储系统分为:分布式协同系统(分布式日志复制)分布式任务调度框架流计算框架分布式文件/对象系统分布式NoSQL存储分布式关系数据库(OLAP、OLTP);各种消息队列mq分布式机器学习/深度学习训练框架分布式协调系统(日志复制系统)其实就是paxos算法及其变体的实现,典型的有zookeeper、etcd;一般来说只存少量的元数据信息,重点在高可用强一致,不提供高的through put,是分布式系统不可或缺的组件;面向非结构化数据的分布式文件/对象系统比较有名的包括Lustre(HPC)GlusterFS(NAS NFS)、HDFS(hadoop)、ceph(虚机块存储)、swift(restful对象存储),各有不同的适用领域。结构化数据的NoSQL分布式存储,种类和数量最多,按照Martin Fowler的分类,包括Aggregated Oriented NoSQL和图数据库NoSql;Aggregated Oriented NoSQL大致分为3类:Key-value NoSQL,例如Redis Riak等;column family NoSQL(wide column store),典型的是Hbase Cassandradocument NoSQL,典型的是MongoDB

(from:https://www.zhihu.com/question/19832447/answer/129011401)

猜你喜欢

转载自blog.csdn.net/wc996789331/article/details/108842537
今日推荐