01ElasticSearch简介及其发展历史

一.Elastic从开源到上市

  • Elastic Inc - 开源软件 / 上市公司
  • 当前市值超过50亿美金,开盘当天涨幅高达94%
  • ElasticSearch软件下载量,超过3.5亿次
  • 10万+ 的社区成员
  • 7200+ 订阅用户,分布在100+ 国家
  • 云服务 - Elastic, Amazon, 阿里巴巴, 腾讯

二.ElasticSearch简介

1.ElasticSearch - 开源分布式搜索分析引擎

  • 近实时(Near Real Time)
  • 分布式存储、搜索、分析引擎

2.Solr(Apache开源项目)

3.Splunk(商业上市公司)

  • Splunk是全球第一家上市的大数据公司

4.ElasticSearch VS Solr

  • 近些年ES逐渐上涨,Solr使用量逐渐下跌
  • ElasticSearch和Solr均起源于Lucene
    • 基于Java语言开发的搜索引擎库类
    • 创建于1999年,2005年成为Apache顶级开源项目
    • Lucene具有高性能、易扩展的有点
    • Lucene的局限性
      • 只能基于Java语言开发
      • 类库的接口学习曲线陡峭
      • 原生并不支持水平扩展
  • ElasticSearch诞生
    • 2004年Shay Banon基于Lucene开发了Compass
    • 2010年Shay Banon重写了Compass,取名ElasticSearch
      • 支持分布式,可水平扩展
      • 降低全文检索的学习曲线,可以被任何编程语言调用

5.ElasticSearch分布式架构

  • 集群规模可以从单个扩展至数百个节点
  • 高可用&水平扩展
    • 服务和数据两个维度
  • 支持不同的节点类型
    • 支持Hot&Warm架构(针对日志类的应用)

6.ES支持多种方式集成接入

  • 多种编程语言的类库(https://www.elastic.co/guide/en/elasticsearch/client/index.html)
    • 提供了API,可以使用Java/.NET/Python/Ruby/PHP/Groovy/Perl去访问ES
  • Restful API(推荐使用) 和 Transport API
  • 新版本的ES版本中还提供了JDBC&ODBC接入的方式

7.ES的主要功能

  • 海量数据的分布式存储以及集群管理
    • 服务与数据的高可用,水平扩展
  • 近实时搜索,性能卓越
    • 结构化、全文、地理位置、自动完成
  • 海量数据的近实时分析
    • 集合功能

8.ES版本与升级情况

  • 0.4:2010年2月第一次发布
  • 1.0:2014年1月
  • 2.0:2015年10月
  • 5.0:2016年10月
  • 6.0:2017年10月
  • 7.0:2019年4月
  • EOL Support - https://www.elastic.co/cn/support/eol

9.ES版本升级变化

  • 新特性5.X
    • Lucene 6.X 性能提升,默认打分机制从TF-IDF改为BM25
    • 支持Ingest节点、Painless Scripting、Completion suggested支持、原生的Java REST客户端
    • Type标记成deprecated,支持了Keyword的类型
    • 性能优化
      • 内部引擎溢出了避免同一文档并发更新的竞争锁,带来15%-20%的性能提升
      • Instant aggregation,支持分片上聚合的缓存
      • 新增了Profile API
  • 新特性6.X
    • Lucene7.X
    • 新功能
      • 跨集群复制(CCR)
      • 索引生命周期管理
      • SQL的支持
    • 更友好的升级及数据迁移
      • 在主要版本之间的迁移更为简化,体验升级
      • 全新的基于操作的数据复制框架,可加快恢复数据
    • 性能优化
      • 有效存储稀疏字段的新方法,降低了存储成本
      • 在索引时进行排序,可加快排序的查询性能
  • 新特性7.X
    • Lucene9.0
    • 重大改进-正式废除单个索引下多Type的支持
    • 7.1开始,Security功能免费使用
    • ECK-ElasticSearch Operator on Kubernetes
    • 新功能
      • New Cluster coordination
      • Feature - Complete High Level REST Client
      • Script Score Query
    • 性能优化
      • 默认的Primary Shared数从5改为1,避免Over Sharding
      • 性能优化,更快的Top K
发布了258 篇原创文章 · 获赞 332 · 访问量 13万+

猜你喜欢

转载自blog.csdn.net/qq_34829447/article/details/99687377
今日推荐