改变用户体验：利用 Ibm Watsonx 发现和花岗岩模型构建人工智能对话式搜索

Rifx.Online
Natural Language Processing , Large Language Models , AI Applications
26 Feb, 2025

AI对话搜索

我相信AI对话搜索的热潮引起了许多科技人士的关注。不可否认，它正在改变我们与数据和系统互动的方式。

AI对话搜索是一项颠覆性的技术，改变了用户与您的应用程序的互动方式。通过利用IBM Granite (LLM)、watsonx Discovery和**检索增强生成 (RAG)**的强大功能，您可以创建一种搜索体验，使其更像是与知识丰富的助手进行自然对话，而不是查询数据库。

让我们深入探讨使用IBM watsonx Discovery、Assistant和Granite Model实现对话搜索的详细信息和代码演示。

什么是 IBM watsonx Discovery

IBM watsonx Discovery 是一个基于 AI 的解决方案，旨在增强 IBM watsonx Assistant、watsonx Orchestrate 等中的对话搜索能力。

它是一个 IBM 打包的 Elasticsearch，旨在提供跨多个渠道的业务特定内容的语义、联邦和向量搜索。

IBM watsonx Discovery 作为 watsonx Assistant 中的搜索集成

Elasticsearch (watsonx Discovery) 是 watsonx Assistant 中的一种搜索集成（附加组件），帮助您的助手获取最高排名的查询结果（上下文数据），并通过生成式 AI 助手向用户返回文本响应。

来源: https://developer.ibm.com/blogs/awb-watson-discovery-vs-watsonx-discovery-a-comparison/

Elasticsearch 通过利用自然语言处理 (NLP) 和向量搜索技术提供先进的语义搜索功能。与传统的基于关键词的搜索不同，后者专注于精确的术语匹配，语义搜索则解释用户查询背后的意图和上下文含义，以提供更相关的结果。

让我们通过一个例子来理解关键词搜索和语义搜索之间的区别。

关键词搜索与语义搜索

考虑查询：“我喜欢苹果.”

关键词搜索 匹配用户输入的确切词语与可用内容。例如，搜索“苹果”将检索包含“苹果”一词的文档，无论它们是指水果还是科技公司。这种方法不考虑用户的意图或搜索的上下文。
语义搜索 则旨在理解用户的意图和搜索词的上下文含义。它使用自然语言处理 (NLP) 和机器学习来解释词语背后的含义。例如，如果用户搜索“苹果”，系统会分析上下文——例如用户的先前搜索或位置——以确定他们对水果还是公司感兴趣，并相应地提供结果。

通过实施语义搜索，您可以设计出更好地理解用户意图的系统，从而导致更准确和上下文相关的搜索结果。

够了理论！让我们开始一个动手的、逐步的指南，了解如何在Elasticsearch (watsonx Discovery) 中摄取和检索数据，然后在助手中配置它以实现对话搜索。

解决方案架构

IBM watsonx Discovery与Assistant的高层架构

用户交互： 用户启动与watsonx Assistant的聊天。
watsonx Assistant：
- watsonx Assistant接收用户的查询。
- 它决定是使用对话搜索功能（目前处于测试阶段）还是自定义扩展与Watsonx Discovery集成。
对话搜索/自定义扩展：
- 对话搜索： 如果使用对话搜索（目前为测试版）功能，Watsonx Assistant直接与watsonx Discovery进行交互以执行搜索。
- 自定义扩展： 如果使用自定义扩展，watsonx Assistant通过自定义扩展（OpenAPI）将查询发送给watsonx Discovery。
watsonx Discovery：
- watsonx Discovery接收来自Watsonx Assistant的查询（无论是直接还是通过自定义扩展）。
- 它执行检索过程，可能是：
  - 关键词搜索 (BM25)： 使用BM25算法的传统基于关键词的搜索。
  - 语义搜索 (ELSER)： 使用像ELSER这样的模型进行语义搜索，以理解查询的上下文和含义。
  - 混合搜索： 结合BM25和ELSER的优点，以利用两种方法的优势。
检索结果：
- watsonx Discovery根据使用的搜索方法获取高排名结果。
- 这些结果被发送回watsonx Assistant。
响应生成：
- watsonx Assistant使用watsonx.ai（例如，Granite模型）基于检索到的结果生成类人响应。
- 生成的响应随后被发送回用户。

数据摄取

将数据摄取到Elasticsearch (ES) 是实现AI对话搜索功能的关键步骤。可以使用多种方法来适应不同的数据源和处理需求。以下是一些方法：

Elasticsearch REST API：ES提供RESTful API，允许直接索引数据。您可以使用HTTP请求将JSON文档发送到ES，从而实现与各种应用程序的简单集成。
语言客户端：为了实现更无缝的集成，ES提供多种编程语言的客户端，如Java、Python和JavaScript。这些客户端通过提供与ES交互的本地接口来促进数据摄取。
网络爬虫：ES提供一个网络爬虫，可以直接将网页内容提取并索引到ES中，使从网站摄取数据变得更容易，无需手动提取数据。
Kibana文件上传：对于一次性的测试和探索，Kibana提供一个文件上传工具，指导您设置索引和字段映射，允许您直接将单个文件上传到ES。

数据摄取使用语言客户端

步骤 1 — 要安装Elasticsearch的官方Python客户端，可以使用以下命令：

pip install elasticsearch

此命令安装最新版本的elasticsearch包，使您的Python应用程序能够与Elasticsearch集群进行交互。

步骤 2 — 安装后，可以按如下方式建立与Elasticsearch集群的连接：

from elasticsearch import Elasticsearch

client = Elasticsearch(    
    elasticsearch_url,
    verify_certs=False,
    basic_auth=(username, password),
    max_retries=10, 
    retry_on_timeout=True,
    request_timeout=300
)

print("连接状态:", client.ping())

步骤 3 — 要处理来自本地目录的文档并将其索引到Elasticsearch中，可以利用LlamaIndex中的SimpleDirectoryReader读取文件，使用LangChain中的RecursiveCharacterTextSplitter将文本拆分为可管理的块，并使用Elasticsearch Python客户端中的bulk助手高效地索引数据。

from llama_index import SimpleDirectoryReader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from elasticsearch import Elasticsearch, helpers
import os

directory_path = "path/to/your/documents"
reader = SimpleDirectoryReader(directory_path)
documents = reader.load_data()

text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
    chunk_size=1000,
    chunk_overlap=50
)

遍历加载的文档，将文本拆分为块，并准备批量索引的操作：

actions = []
for idx, doc in enumerate(documents):
    chunks = text_splitter.split_text(doc.text)
    for page_no, chunk in enumerate(chunks):
        action = {
            "_index": INDEX_NAME,
            "_id": f"{idx}_{page_no}",
            "_source": {
                "page_no": page_no,
                "title": os.path.basename(doc.metadata['file_path']),
                "url": "document",
                "text": chunk
            }
        }
        actions.append(action)

配置ElasticsearchStore以使用稀疏向量检索策略，该策略利用ELSER模型进行稀疏向量搜索：

vectorstore = ElasticsearchStore(
    index_name=INDEX_NAME,
    es_connection=es,
    strategy=ElasticsearchStore.SparseVectorRetrievalStrategy()
)

vectorstore.add_documents(docs)