【AI大模型Agent探索】Qwen-Agent：基于Qwen的LLM应用开发框架

系列篇章💥

No.	文章
1	【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践
2	【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人
3	【Qwen2部署实战】探索Qwen2-7B：通过FastApi框架实现API的部署与调用
4	【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南
5	【Qwen2部署实战】llama.cpp：一键部署高效运行Qwen2-7B模型
6	【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理
7	【AI大模型Agent探索】Qwen-Agent：基于Qwen的LLM应用开发框架

系列篇章💥
引言
一、概述
二、技术架构
- 1、组件概览
- 2、模型服务接入
三、功能特点
- 1、指令解析与执行
- 2、工具集成与自动化
- 3、任务规划与记忆
- 4、多模态交互
四、Qwen-Agent安装部署
五、Qwen-Agent开发实践
- 导入依赖库
- 第1步（可选）：定义工具函数
- 第2步：定义LLM
- 第3步：创建一个代理。
- 第4步：定义多轮对话机器人
结语
参考引用

引言

随着人工智能技术的飞速发展，大型语言模型（LLM）在各个领域展现出了巨大的潜力。Qwen-Agent，一个基于Qwen模型的框架，为开发者提供了一个强大的工具，以实现指令跟随、工具使用、规划和记忆等高级功能。本文将详细介绍Qwen-Agent的基本概念、技术特点、功能优势以及实际代码实践，旨在为读者提供一个全面的视角，以便更好地理解和应用这一框架。

一、概述

Qwen-Agent 是一款多功能的开发框架，专为构建基于大型语言模型（LLM）的智能Agent应用而设计。该框架深度整合了通义千问模型（Qwen），赋予开发者强大的指令遵循、工具运用、策略规划以及持久记忆等核心能力。

通过Qwen-Agent，开发者能够便捷地开发出功能丰富的Agent应用，同时，项目还提供了浏览器助手、代码解释器、自定义助手等一系列实用的示例应用，帮助开发者快速理解和掌握框架的使用。

此外，Qwen-Agent 提供了全面的API接口，极大地简化了二次开发和系统集成的过程，让开发者能够灵活地扩展和定制自己的应用程序。无论是想要提升现有产品的智能化水平，还是创造全新的智能解决方案，Qwen-Agent 都是一个强大而灵活的开发平台。

二、技术架构

1、组件概览

Qwen-Agent的技术架构由以下几个核心组件构成：

语言模型（LLMs）：提供基础的语言处理能力。
工具（Tools）：允许集成和使用各种工具来扩展智能代理的功能。
智能代理（Agents）：结合了LLMs和Tools，实现具体的应用逻辑。

2、模型服务接入

Qwen-Agent支持接入阿里云DashScope服务提供的Qwen模型服务，也支持通过OpenAI API方式接入开源的Qwen模型服务。这种灵活性使得开发者可以根据项目需求选择合适的模型服务。

三、功能特点

1、指令解析与执行

Qwen-Agent的智能代理能够理解并执行用户的指令，这使得它们能够在多种场景下提供帮助，如自动化任务执行、信息检索等。

2、工具集成与自动化

通过工具集成，Qwen-Agent的智能代理可以自动化执行复杂的任务。这些工具可以是内置的，也可以是开发者根据特定需求自定义的。

3、任务规划与记忆

Qwen-Agent的智能代理具备任务规划能力，能够根据用户的需求制定和执行计划。同时，它们还具备记忆功能，能够保持对话的连贯性，提供更加自然和人性化的交互体验。

4、多模态交互

Qwen-Agent支持多模态交互，结合图像、语音等多种模态进行交互，这为开发更加丰富和直观的智能代理应用提供了可能。

四、Qwen-Agent安装部署

Qwen-Agent 的安装部署过程十分关键，以下是详细的步骤和一些实用技巧，帮助您快速上手：

使用国内镜像源安装（推荐国内用户）：
为了加快下载速度，您可以使用国内镜像源进行安装，例如使用阿里云的镜像源：
```
pip install -i https://mirrors.aliyun.com/pypi qwen-agent
```
使用 pip 安装：
如果您不在国内，或者希望使用默认源进行安装，可以使用以下命令：
```
pip install -U qwen-agent
```
从 GitHub 安装最新版本：
如果您希望获取最新的开发版本，可以通过克隆GitHub仓库来安装：
```
git clone https://github.com/QwenLM/Qwen-Agent.git
cd Qwen-Agent
pip install -e ./
```
安装可选依赖（如果需要内置 GUI 支持）：
如果您的应用程序需要图形用户界面支持，可以安装以下可选依赖：
```
pip install -U qwen-agent[gui]
```

五、Qwen-Agent开发实践

Qwen-Agent框架提供了大模型（LLM，继承自class BaseChatModel，并提供了Function Calling功能）和工具（Tool，继承自class BaseTool）等原子组件，也提供了智能体（Agent）等高级抽象组件（继承自class Agent）。
以下示例说明了创建一个能够读取 Word/PDF 文件和使用工具的代理的过程，以及如何整合自定义工具：

导入依赖库

import pprint
import urllib.parse
import json5
from qwen_agent.agents import Assistant
from qwen_agent.tools.base import BaseTool, register_tool

第1步（可选）：定义工具函数

添加一个名为my_image_gen的自定义工具。

@register_tool('my_image_gen')
class MyImageGen(BaseTool):# `description`告诉代理这个工具的功能。description = 'AI绘画（图像生成）服务，输入文本描述，并返回基于文本信息绘制的图像URL。'# `parameters`告诉代理工具有哪些输入参数。parameters = [{'name': 'prompt','type': 'string','description': '所需图像内容的详细描述，用中文','required': True}]def call(self, params: str, **kwargs) -> str:# `params`是由LLM代理生成的参数。prompt = json5.loads(params)['prompt']prompt = urllib.parse.quote(prompt)return json5.dumps({'image_url': f'https://image.pollinations.ai/prompt/{prompt}'}, ensure_ascii=False)

第2步：定义LLM

配置你正在使用的LLM
您可以选择使用阿里云的 DashScope 提供的模型服务，或者使用开源的 Qwen 模型部署和使用自己本地部署的模型服务。
如果您选择使用 DashScope 提供的模型服务，需要先到阿里云注册获取唯一的 DashScope API 密钥。

llm_cfg = {# 使用阿里云上DashScope提供模型服务（需要提前注册开通）'model': 'qwen-max','model_server': 'dashscope','api_key': 'YOUR_DASHSCOPE_API_KEY',# 如果这里没有设置'api_key'，它将使用环境变量`DASHSCOPE_API_KEY`。# 使用与OpenAI API兼容的模型服务，例如vLLM或Ollama：# 'model': 'Qwen2-7B-Instruct',# 'model_server': 'http://localhost:8000/v1',  # api_base# 'api_key': 'EMPTY',# （可选）生成的LLM超参数：'generate_cfg': {'top_p': 0.8}
}

第3步：创建一个代理。

这里我们使用Assistant代理作为示例，它能够使用工具和读取文件。

system_instruction = '''你是一个乐于助人的助手。
收到用户的请求后，你应该：
- 首先绘制一张图像并获取图像URL，
- 然后运行代码`request.get(image_url)`来下载图像，
- 最后从给定的文档中选择一个图像操作来处理图像。
请使用`plt.show()`显示图像。'''
tools = ['my_image_gen', 'code_interpreter']  # `code_interpreter`是内置的代码执行工具。
#files = ['doc.pdf']  # 给机器人一个PDF文件来读取。
files = ['showImage.docx']  # 给机器人一个PDF文件来读取。
bot = Assistant(llm=llm_cfg,system_message=system_instruction,function_list=tools,files=files)

第4步：定义多轮对话机器人

将代理作为聊天机器人运行。

messages = []  # 这存储聊天记录。
while True:# 例如，输入查询"画一只狗并将其旋转90度"。query = input('用户查询：')# 将用户查询添加到聊天记录中。messages.append({'role': 'user', 'content': query})response = []for response in bot.run(messages=messages):# 流式输出。print('机器人响应：')pprint.pprint(response, indent=2)# 将机器人响应添加到聊天记录中。messages.extend(response)

输入：一只东北虎
在这里插入图片描述

输出：

2024-07-02 10:13:31,961 - split_query.py - 82 - INFO - Extracted info from query: {"information": ["一只东北虎
2024-07-02 10:13:33,892 - memory.py - 113 - INFO - {"keywords_zh": ["东北虎", "一只"], "keywords_en": ["Siberian tiger", "one"], "text": "一只东北虎"}
2024-07-02 10:13:33,893 - simple_doc_parser.py - 326 - INFO - Start parsing showImage.docx...
2024-07-02 10:13:33,933 - simple_doc_parser.py - 365 - INFO - Finished parsing showImage.docx. Time spent: 0.03966975212097168 seconds.
2024-07-02 10:13:33,934 - doc_parser.py - 114 - INFO - Start chunking showImage.docx (showImage.docx)...
2024-07-02 10:13:33,934 - doc_parser.py - 132 - INFO - Finished chunking showImage.docx (showImage.docx). Time spent: 5.602836608886719e-05 seconds.
2024-07-02 10:13:33,935 - base_search.py - 55 - INFO - all tokens: 222
2024-07-02 10:13:33,936 - base_search.py - 58 - INFO - use full ref
机器人响应：
[ { 'content': '','function_call': {'arguments': '', 'name': 'my_image_gen'},'role': 'assistant'}]
机器人响应：
[ { 'content': '','function_call': {'arguments': '{"prompt":"一只', 'name': 'my_image_gen'},'role': 'assistant'}]
机器人响应：
[ { 'content': '','function_call': { 'arguments': '{"prompt":"一只东北虎"}','name': 'my_image_gen'},'role': 'assistant'}]
机器人响应：
[ { 'content': '','function_call': { 'arguments': '{"prompt":"一只东北虎"}','name': 'my_image_gen'},'role': 'assistant'},{ 'content': '{image_url: ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}','name': 'my_image_gen','role': 'function'}]
机器人响应：
[ { 'content': '','function_call': { 'arguments': '{"prompt":"一只东北虎"}','name': 'my_image_gen'},'role': 'assistant'},{ 'content': '{image_url: ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}','name': 'my_image_gen','role': 'function'},{ 'content': '','function_call': {'arguments': '', 'name': 'code_inter'},'role': 'assistant'}]。。。。。。机器人响应：
[ { 'content': '','function_call': { 'arguments': '{"prompt":"一只东北虎"}','name': 'my_image_gen'},'role': 'assistant'},{ 'content': '{image_url: ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}','name': 'my_image_gen','role': 'function'},{ 'content': '','function_call': { 'arguments': '```py\n''import requests\n''from PIL import Image\n''import matplotlib.pyplot as plt\n''import io\n''\n''# 获取图像URL\n''image_url = ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"\n''\n''# 发送 GET 请求下载图片\n''response = requests.get(image_url)\n''\n''# 确保请求成功\n''if response.status_code == 200:\n''    # 使用 BytesIO 来创建一个可读的字节流\n''    image_stream = ''io.BytesIO(response.content)\n''    # 打开图片\n''    image = Image.open(image_stream)\n''    # 显示图像\n''    plt.imshow(image)\n'"    plt.axis('off')  # 关闭坐标轴显示\n"'    plt.show()\n''else:\n''    print(f"Failed to download image, ''status code: {response.status_code}")\n''```','name': 'code_interpreter'},'role': 'assistant'},{ 'content': '![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=workspace%2Ftools%2Fcode_interpreter%2F99b8207e-1423-4c22-b585-113ef1c2cb5e.png&pos_id=img-BMXKXQcL-1720859899082)','name': 'code_interpreter','role': 'function'},{'content': '上图是一只东北虎的', 'role': 'assistant'}]
机器人响应：
[ { 'content': '','function_call': { 'arguments': '{"prompt":"一只东北虎"}','name': 'my_image_gen'},'role': 'assistant'},{ 'content': '{image_url: ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}','name': 'my_image_gen','role': 'function'},{ 'content': '','function_call': { 'arguments': '```py\n''import requests\n''from PIL import Image\n''import matplotlib.pyplot as plt\n''import io\n''\n''# 获取图像URL\n''image_url = ''"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"\n''\n''# 发送 GET 请求下载图片\n''response = requests.get(image_url)\n''\n''# 确保请求成功\n''if response.status_code == 200:\n''    # 使用 BytesIO 来创建一个可读的字节流\n''    image_stream = ''io.BytesIO(response.content)\n''    # 打开图片\n''    image = Image.open(image_stream)\n''    # 显示图像\n''    plt.imshow(image)\n'"    plt.axis('off')  # 关闭坐标轴显示\n"'    plt.show()\n''else:\n''    print(f"Failed to download image, ''status code: {response.status_code}")\n''```','name': 'code_interpreter'},'role': 'assistant'},{ 'content': '![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=workspace%2Ftools%2Fcode_interpreter%2F99b8207e-1423-4c22-b585-113ef1c2cb5e.png&pos_id=img-863IbiaX-1720859899085)','name': 'code_interpreter','role': 'function'},{'content': '上图是一只东北虎的图像。', 'role': 'assistant'}]

可以看到图片已经成功保存到本地：workspace/tools/code_interpreter/99b8207e-1423-4c22-b585-113ef1c2cb5e.png

结语

Qwen-Agent作为基于Qwen模型的LLM应用开发框架，不仅提供了强大的技术支撑，还通过其易用性和灵活性，极大地促进了智能代理技术的发展和应用。本文的介绍旨在帮助大家深入理解Qwen-Agent，并激发更多的创新应用。

参考引用

Qwen-Agent 官方文档：Qwen-Agent Documentation
Qwen-Agent GitHub 仓库：QwenLM/Qwen-Agent

在这里插入图片描述
🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索。
📖 技术交流：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，加入技术交流群，开启编程探索之旅。
💘精心准备📚500本编程经典书籍、💎AI专业教程，以及高效AI工具。等你加入，与我们一同成长，共铸辉煌未来。
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！