Elasticsearch：如何选择向量数据库？

作者：来自 Elastic Elastic Platform Team

向量数据库领域是一个快速发展的领域，它正在改变我们管理和搜索数据的方式。与传统数据库不同，向量数据库以向量的形式存储和管理数据。这种独特的方法可以实现更精确、更相关的搜索，并允许在检索中使用机器学习，使向量数据库成为一种非常宝贵的工具。

随着我们生成的数据量不断增长，向量数据库在数据管理和搜索中的作用变得越来越重要。这是因为结果的相关性以及能够处理非结构化数据。

选择正确的向量数据库可以为你的应用程序带来巨大的变化，但这并不总是一件容易的事。有许多因素需要考虑，从数据库的性能和可扩展性到它与现有系统的兼容性。本指南旨在帮助你了解这些注意事项并做出明智的决定。这些是我们将要回答的问题：

向量数据库与传统数据库有何不同？
有哪些类型的向量数据库可用？
主要功能是什么？
选择向量数据库时哪些因素很重要？

阅读完本文后，你将对向量数据库有深入的了解，并知道如何为你的团队选择合适的数据库。

向量数据库与传统数据库有何不同？

传统数据库（例如关系数据库）在表中以行和列的形式存储数据。每行代表一条记录，每列代表该记录的一个字段。这种设置对于结构化数据非常有效，但在处理非结构化数据时可能会受到限制。

另一方面，向量数据库将这些非结构化数据转换为向量，向量本质上是机器学习表示，以简化形式描绘复杂数据。然后可以对这些向量进行比较和搜索，这使得向量数据库特别适用于处理大型数据集和提高数据驱动应用程序的性能。

向量数据库与传统数据库之间的主要区别在于它们的数据管理方法。传统数据库专注于以结构化格式存储数据，而向量数据库则优先考虑向量数据的有效表示和检索。这使得向量数据库在现代技术中非常有用，快速访问和分析相关信息的能力可以提供显着的竞争优势。这包括人工智能和大型语言模型（LLMs）之类的东西，其中找到最相关的数据可能是应用程序做出正确或错误选择的区别。

向量数据库的类型

与大多数技术类型一样，向量数据库也有各种类型 —— 每种类型都有自己独特的优势、劣势和用例。让我们来探索一些流行的类型。

基于图形（graph）的向量数据库

基于图形的向量数据库旨在有效处理复杂、互连的数据。它们将数据表示为节点（或顶点）和边：节点表示实体，边表示实体之间的关系。

这种设计的主要优势是能够有效处理复杂、互连的数据。它们擅长分析数据点之间的连接和关系，这在某些应用中至关重要。不过，对于简单的相似性搜索，它们可能不太直观。这是因为它们旨在处理复杂的关系，这会使简单的搜索变得比必要的更复杂。

基于图形的数据库在数据点之间的关系与数据点本身一样重要的场景中表现出色。这包括社交网络分析和知识图谱等，其中不同信息之间的关系是关键。

集成或单点解决方案

向量数据库有两种不同的形式：集成到功能更全面的产品中或作为单点解决方案。

集成向量数据库（integrated vector database）将向量数据的功能与你期望从传统数据库获得的功能结合到一个平台中。这意味着你可以在同一个系统中将数据作为结构化业务数据和非结构化向量数据进行存储、管理和查询。

但是，单点解决方案（point solution）是一种专门为存储、管理和查询向量数据而设计的专用定制系统。单点解决方案的重点是优化向量操作和相似性搜索，以便它们能够在向量特定任务上表现良好。它们通常是独立系统，需要集成到你现有的应用程序和架构中。

向量数据库的主要功能

选择向量数据库时，请彻底评估产品的功能集以及它如何满足你的特定用例和要求。这些功能会显著影响数据库的性能、可用性以及与现有系统的兼容性。让我们深入研究其中一些基本功能：

向量维度（vector dimensions）：这是指每个向量嵌入包含的数值元素的数量。每个维度对应于数据对象的特定特征或属性，向量的维数将直接影响向量搜索的准确性和效率。
算法（algorithms）：向量数据库具有计算向量相似度的算法。这些本质上是用于计算不同向量嵌入彼此之间的接近程度或相关性的数学方程。
本机集成（native integration）：要获得这些好处，你需要向量数据库能够与现有数据库和系统无缝集成。这意味着你可以执行使用向量相似度搜索和常规 SQL 操作的组合查询。
存储和检索（storage and retrieval）：向量数据库在存储和检索数据方面的效率至关重要。这种性能会影响应用程序的速度和整体用户体验。
性能（performance）：向量数据库的性能取决于它执行搜索、更新和删除等操作的速度。高性能向量数据库可以处理大型数据集并提供快速、准确的结果。
搜索、排序和过滤（searching, sorting, and filtering）：强大的向量数据库应提供强大的搜索功能，包括对结果进行排序和过滤的能力。这可以帮助你在大型数据集中快速找到相关信息。这一点尤其重要，因为向量数据库通常用于 “prompt - 提示” LLMs。只有通过高相关性搜索才能检索到高质量的提示。
管理和维护（management and maintenance）：考虑数据库的管理和维护是否容易。这包括添加新数据、更新现有数据以及确保数据库保持安全可靠等任务。

**Get started with generative AI free | Elastic**

选择向量数据库时要考虑的因素

选择向量数据库时，请评估以下关键因素以确保其符合你的特定需求和项目要求：

搜索准确性：数据库应提供准确的搜索结果。这对于精度至关重要的应用程序尤其重要。
文档：你需要有全面的文档，以便在设置实施时获得必要的指导。文档还应包括故障排除和优化说明。
语言客户端：这些是特定于语言的库，用于帮助开发人员与数据库交互。你需要寻找一种既直观又高效的客户端来简化集成过程。
可扩展性：考虑数据库处理增长的能力。随着数据的增长，数据库应该能够与你一起增长而不会降低性能。
性能：评估数据库的速度和效率。这包括数据存储、检索和搜索操作的速度。
数据类型支持：确保数据库支持你将要处理的数据类型。某些数据库比其他数据库更适合某些数据类型。
系统集成：考虑数据库与你现有系统的集成程度。无缝集成可以节省时间和资源。
项目要求：你的具体项目要求应该指导你的选择。考虑诸如数据集的大小、数据的复杂性以及你需要执行的特定任务等因素。

选择 Elastic 作为向量数据库的优势

选择向量数据库时需要考虑很多因素，但这并不意味着某些选项就比其他选项更容易。

在 Elastic，我们创建了一个灵活且适应性强的开箱即用的向量数据库解决方案。我们对机器学习模型的支持为你提供了高级分析和预测功能，因此你可以发现有价值的见解并做出数据驱动的决策。

我们最重要的功能之一是分层可导航小世界 (Hierarchical Navigable Small Worlds - HNSW) 存储。这种基于图形（graph）的算法意味着 Elastic 可以处理大型数据集并提供快速、准确的向量搜索结果。结合强大的搜索功能（包括过滤和排序），Elastic 可让你轻松地在数据中找到相关信息。

我们还优先考虑安全性，提供高级功能，例如基于角色（role-based access control - RBAC）的访问控制以及文档和字段级安全性。这些功能可确保你的数据保持安全，并且只有授权用户才能访问敏感信息。