es学习记录

Elasticsearch 是一个实时的分布式搜索分析引擎，它被用作全文检索、结构化搜索、分析以及这三个功能的组合，内部使用 Lucene 做索引与搜索。

1.es的实际应用

2.es全文检索简单介绍

基础概念带过一下

Index 可类比为DBMS的库

Type 可类比一张表

Document 可类比一条数据

全文检索要求一个词语或一段话在整个文档中被搜索，传统的数据库每个字段存储单个值，这对全文检索并不够。文本字段中的每个单词需要被搜索，对数据库意味着需要单个字段有索引多值(这里指单词)的能力,平常我们对字符串类型的字段一般不会建索引，一方面文本多变，没什么规律，另一方面对文本搜索的要求可能也不太大。Elasticsearch 使用一种称为 倒排索引 的结构，它适用于快速的全文搜索。

一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。倒排索引也叫段segements，是一个数据集。假设我们有两个文档，每个文档的 content 域包含如下内容：

The quick brown fox jumped over the lazy dog
Quick brown foxes leap over lazy dogs in summer

es将每个文档的 content 域拆分成单独的词（我们称它为词条或 tokens ），创建一个包含所有不重复词条的排序列表，然后列出每个词条出现在哪个文档。如下所示：

Term Doc_1 Doc_2

-------------------------

Quick | | X

The | X |

brown | X | X

dog | X |

dogs | | X

fox | X |

foxes | | X

in | | X

jumped | X |

lazy | X | X

leap | | X

over | X | X

quick | X |

summer | | X

the | X |

3.文档如何被搜索

倒排索引这种数据结构能帮助实现这个功能。相比特定词项出现过的文档列表，它会包含更多其它信息。它会保存每一个词项出现过的文档总数，在对应的文档中一个具体词项出现的总次数，词项在文档中的顺序，每个文档的长度，所有文档的平均长度，等等。这些统计信息允许 Elasticsearch 决定哪些词比其它词更重要，哪些文档比其它文档更重要。一个 Lucene 索引包含一个提交点和三个段 说明：无特别说明表示图是自创的

摘抄图

一个 Elasticsearch Index 由一个或者多个 shard （分片）组成。

摘抄图

Lucene index 相当于 ES 的一个 shard。

摘抄图

近乎实时索引机制了解

一个新的document过来

1不断将 Document 写入到 In-memory buffer （内存缓冲区）。

2当满足一定条件?后内存缓冲区中的 Documents 刷新到高速缓存（cache）。

3生成新的 segment ，这个 segment 还在 cache 中。

4这时候还没有 commit 到磁盘 ，但是已经可以被读取了。

摘抄图

数据从 buffer 到 cache 的过程是定期每秒刷新一次。所以新写入的 Document 最慢 1 秒就可以在 cache 中被搜索到，Document 从 buffer 到 cache 的过程叫做 refresh 。一般是 1 秒刷新一次，不需要进行额外修改。

分析器将字符串转换为一串 tokens（标记）标记或者 terms（词条）

分词器采用分割算法对字符串分词

个人理解是分析器是处理文档

分词器是处理输入的词条

分析器中可以定义分词器，分词器是为了分析器服务

分析器和分词器都生成词条或词根

过滤器 filter

过滤器应用范围更为广泛，可以过滤查询，过滤结果，聚合过滤，词元过滤等

词条terms 可以简单理解为一个单词或句子比如family

词根term 可以简单理解为一个不可以再拆的单词比如dog，dogs可以是词根也可以不是词根.如果dogs和dog同时出现，dogs不算词根，如果是 i have some dogs，dogs可以算词根

词元token 在这里词元和词条是一个意思

4.应用中搜素大致实现流程

数据如何到es

索引情况

{"st_bigscreen_search":{"aliases":{},"mappings":{"_doc":{"properties":{"__dummy__":{"type":"integer"},"attendee_parent_meeting":{"type":"long"},"category":{"type":"long"},"category_name":{"type":"text","fields":{"raw":{"type":"keyword"}},"analyzer":"ik_max_word"},"column_id":{"type":"text","fields":{"raw":{"type":"keyword"}},"analyzer":"ik_max_word"},"column_name":{"type":"text","fields":{"raw":{"type":"keyword"}},"analyzer":"ik_max_word"},...,"settings":{"index":{"number_of_shards":"5","provided_name":"st_bigscreen_search","creation_date":"1639432375199","analysis":{"analyzer":{"first_letter_analyzer":{"tokenizer":"first_letter_tokenizer"},"comma":{"type":"custom","tokenizer":"comma"},"ngram":{"type":"custom","tokenizer":"ngram"}},"tokenizer":{"first_letter_tokenizer":...

数据示例