本期OceanMind海睿思-知信产品能力升级：

• 多模态知识构建，增加知识库的图片知识理解能力
• 多模态知识问答，强化问答体验效果

1

多模态升级

市场上现有的主流基于大模型框架的智能知识库产品，在知识构建和知识应用时，仅支持纯文本内容。当接入的文档中包含图片信息时，在整个知识库的构建使用过程中，图片信息是完全丢失的。在实际生产环境中，大量的知识是以“图文并茂”的方式存在，这种仅支持文本信息的知识库会丢失大量的关键内容，导致知识库的可用性不佳。

基于以上痛点，海睿思知信做出重大升级，实现了多模态知识构建加多模态知识问答，让智能问答效果更符合用户的使用习惯，具体包括：

❖ 多模态知识构建：支持多模态文档内容解析，能自动拆解读取的文档内容，分别构建知识向量库和知识图库，且知识向量库和知识图库之间保留原文档中文本和图片之间的关联关系。

多模态知识构建图示

❖ 多模态知识问答：支持多模态问答内容输出，且输出的文本与图片的组合符合知识来源中的上下文关联关系。

多模态知识问答演示

2

知信升级效果实测

❖ 新建知识库实例

登录海睿思知信知识库系统，打开知识构建功能，点击“新建实例”创建知识库实例。

❖ 配置构建多模态知识库

配置知识库实例，选择需要关联的知识文档列表后，点击开始构建，等待知识构建执行结束。

❖ 问答服务配置与启用

配置智能问答服务参数，一般使用默认参数即可。完成问答服务配置后，启用该智能问答服务，即可在应用端页面通过对话方式对知识库关联的文档内容进行提问。

❖ 多模态智能问答效果实测

以上便是海睿思知信最新版本升级的介绍和测试，有关知信的更多功能体验，欢迎大家访问https://bigdata-ai.sinovatio.com/oceanchat/#/，进行体验！