【深度学习】InternVL2-8B,图转文,docker部署

文章目录

  • 基础
  • fastapi服务
  • 请求fastapi接口

基础

https://huggingface.co/OpenGVLab/InternVL2-8B#%E7%AE%80%E4%BB%8B

InternVL2-26B应该更好,但显存没那么大,只能跑InternVL2-8B了。

下载:

cd /ssd/xiedong/InternVL2-26B
git clone https://huggingface.co/OpenGVLab/InternVL2-8B

运行docker:

docker run -it -v /ssd/xiedong/InternVL2-26B:/ssd/xiedong/InternVL2-26B --gpus device=3 -p 7895:7860 kevinchina/deeplearning:pytorch2.3.0-cuda12.1-cudnn8-devel-InternVL2 bash

进去路径:

cd /ssd/xiedong/InternVL2-26B

执行此python代码:

from lmdeploy import pipeline, TurbomindEngineConfig, ChatTemplateConfig
from lmdeploy.vl import load_imagemodel = '/ssd/xiedong/InternVL2-26B/InternVL2-8B'
system_prompt = 'Describe this image in English with no more than 50 words.'
image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
chat_template_config = ChatTemplateConfig('internvl-internlm2')
chat_template_config.meta_instruction = system_prompt
pipe = pipeline(model, chat_template_config=chat_template_config,backend_config=TurbomindEngineConfig(session_len=8192))
response = pipe(('Describe this image in English with no more than 50 words.', image))
print(response.text)

或者传一张图片后执行这种代码:

from lmdeploy import pipeline, TurbomindEngineConfig, ChatTemplateConfig
from lmdeploy.vl import load_imagemodel = '/ssd/xiedong/InternVL2-26B/InternVL2-8B'
system_prompt = 'Describe this image in English with no more than 50 words.'
image = load_image('/ssd/xiedong/InternVL2-26B/000030982.jpg')
chat_template_config = ChatTemplateConfig('internvl-internlm2')
chat_template_config.meta_instruction = system_prompt
pipe = pipeline(model, chat_template_config=chat_template_config,backend_config=TurbomindEngineConfig(session_len=8192))
response = pipe(('Describe this image in English with no more than 50 words.', image))
print(response.text)

fastapi服务

执行这个代码可以开启一个fastapi接口,7860端口会被docker映射到7895.

from fastapi import FastAPI, File, UploadFile
from fastapi.responses import JSONResponse
from lmdeploy import pipeline, TurbomindEngineConfig, ChatTemplateConfig
from lmdeploy.vl import load_image
from PIL import Image
import ioapp = FastAPI()model = '/ssd/xiedong/InternVL2-26B/InternVL2-8B'
system_prompt = 'Describe this image in English with no more than 50 words.'
chat_template_config = ChatTemplateConfig('internvl-internlm2')
chat_template_config.meta_instruction = system_prompt
pipe = pipeline(model, chat_template_config=chat_template_config,backend_config=TurbomindEngineConfig(session_len=8192))@app.post("/describe-image")
def describe_image(file: UploadFile = File(...)):try:# 将上传的文件转为Pillow图像对象image = Image.open(io.BytesIO(file.file.read()))# 使用load_image方法加载图像loaded_image = load_image(image)# 调用模型处理图片response = pipe(('Describe this image in English with no more than 50 words, just need to output a captioning of the image.', loaded_image))# 返回描述结果return JSONResponse(content={"description": response.text})except Exception as e:return JSONResponse(content={"error": str(e)}, status_code=500)finally:file.file.close()if __name__ == "__main__":import uvicornuvicorn.run(app, host="0.0.0.0", port=7860)

请求fastapi接口

import requestsurl = "http://10.136.19.26:7895/describe-image"# 要上传的图片文件路径
file_path = "output_image.png"# 打开文件并发送POST请求
with open(file_path, "rb") as file:files = {"file": file}response = requests.post(url, files=files)# 检查响应并打印结果
if response.status_code == 200:print("Description:", response.json().get("description"))
else:print("Error:", response.json().get("error"))

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3249053.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

教你使用win10实现电脑的定时任务执行

本篇文章主要讲解,通过使用win10自带的任务计划程序,进行对单个或多个脚本定时执行的详细操作教程。 日期:2024年7月18日 作者:任聪聪 前置条件: 1.电脑中有java、php、python等其中一个环境。 2.编写一个书写test ta…

【快速逆向一/无过程/有源码】《大学》在线投稿系统

逆向日期:2024.07.18 使用工具:Node.js 加密工具:Crypto-js标准库 文章全程已做去敏处理!!! 【需要做的可联系我】 【点赞 收藏 关注 】仅供学习,仅供学习, 本文为快速逆向&#x…

导入导出sql脚本文件

业务场景 在复杂系统中,有时候去做数据同步我们需要一次导出导入十几张表甚至更多表的数据,这些数据在不同数据库,也可能分布不同微服务中,三个四个甚至更多,如果使用excel去处理会很复杂,任务复杂度很高&…

电脑出现错误代码0x00000709一键修复的几种方法

错误代码0x00000709通常在 Windows 系统中与打印机设置有关,特别是当尝试设置默认打印机时。这个问题可能是由于权限不足、注册表问题或系统文件损坏导致的。虽然没有官方的“一键修复”工具,但您可以通过以下步骤尝试解决此问题。 解决方案 1: 使用管理…

Linux LVM扩容方法

问题描述 VMware Centos环境,根分区为LVM,大小50G,现在需要对根分区扩容。我添加了一块500G的虚拟硬盘(/dev/sdb),如何把这500G扩容到根分区? LVM扩容方法 1. 对新磁盘分区 使用fdisk /dev/sdb命令,进…

免费的ssh工具

1.Quickstart - kitty 2 Download Termius for Windows 3. MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Download

24年Hvv准备,6大方向,33篇技战法

进去不少小伙伴后台留言说需要技战法,因此小编对市面上的技战法进行了收集和总结,并对收集来的技战法进行了分类,总共分了6大类,共计33篇: 有需要的小伙伴关注我,点击在看,并私信回复“技战法”…

无缝集成第三方应用,加速数据驱动决策

摘要: 在数据为王的时代,快速准确地整合并分析来自不同源头的数据成为了企业制胜的关键。本文将深入探讨如何通过Python编程语言,无缝集成第三方应用,构建高效的数据采集与分析流程,从而加速企业的数据驱动决策过程。…

C语言学习笔记[25]:循环语句for

for循环 for循环的基本语法 for(表达式1;表达式2;表达式3)循环语句; 表达式1为初始化部分,用于初始化循环变量的。 表达式2为条件判断部分,用于判断循环何时终止。 表达式3为调整部分,用于循环条件的调整。 例如用for循环实现打印1~10的数字…

spring事件发布器ApplicationEventPublisher的使用

1、前言 spring中有一个事件发布器,使用了观察者模式,当有事件发布的时候,事件监听者会立刻收到发布的事件。今天我们来介绍下这个事件发布器怎么使用。 2、简单使用 2.1、创建事件实体类 事件实体类需要继承ApplicationEvent。我们模拟老师发布事件的诉求。 public class T…

【51项目】基于51单片机protues交通灯的设计(完整资料源码)

基于51单片机protues交通灯的设计 一、 项目背景 1.1背景 随着科技的不断发展,LED技术在交通领域的应用越来越广泛。LED模拟交通灯作为一种新型的交通信号控制设备,以其高效、节能、环保等优点,逐渐取代了传统的交通信号灯。近年来&#xff…

【jenkins+cmake+svn管理c++项目】msbuild: command not found

一、前言 jenkins中配置cmakeVS的编译构建过程,需要用到MSBuild这个工具来完成VS工作,MSBuild的安装配置方法见:windows编译环境和工具配置 MSBuildCMAKE的编译可以用脚本来完成,我在jenkins的构建步骤中添加了一个ExecuteShell…

【人工智能】Transformers之Pipeline(三):文本转音频(text-to-audio/text-to-speech)

​​​​​​​ 一、引言 pipeline(管道)是huggingface transformers库中一种极简方式使用大模型推理的抽象,将所有大模型分为音频(Audio)、计算机视觉(Computer vision)、自然语言处理&#x…

数据库如何简单入手学习

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 作为一个后端开发人员,应该没有不接触数据库的,数据库操作优化也是后端面试人员的重点面…

2024辽宁省数学建模B题【钢铁产品质量优化】原创论文分享

大家好呀,从发布赛题一直到现在,总算完成了2024 年辽宁省大学数学建模竞赛B题钢铁产品质量优化完整的成品论文。 本论文可以保证原创,保证高质量。绝不是随便引用一大堆模型和代码复制粘贴进来完全没有应用糊弄人的垃圾半成品论文。 B题论文…

Visual Studio 智能代码插件:Fitten Code

Fitten Code 是由非十大模型驱动的AI编程助手,它可以自动生成代码,提升开发效率,协助调试 Bug,节省时间。还可以对话聊天,解决编程碰到的问题。 Fitten Code 免费且多种编程语言,包括 Python、C、Javascri…

在VS2022中通过Nuget将vcpkg环境集成/卸载到c++项目

在VS2022中通过Nuget将vcpkg环境集成/卸载到c项目 vcpkg是微软和C社区维护的免费开源C/C包管理器。利用它,可以一条命令编译安装用户所需的库;提供CMake配置文件;并且对于Windows开发者,在Visual Studio中集成后还可以自动链接静…

鸿蒙仓颉语言【类型class】

类与结构&#xff08;class & struct&#xff09; 面向对象的编程语言&#xff0c;必不可少的基础元素&#xff0c;类或者叫类型&#xff0c;在仓颉中类可以抽象(abstract)、继承&#xff08;<:&#xff09;&#xff0c;公开&#xff08;Public&#xff09;或者私有&am…

redis数据库(下)

集合键值对 集合的每一个元素也是字符串格式数据,是无序集合,并且元素不可重复(自动去重) 1.集合的创建和添加命令 sadd命令:无责创建有责添加 sadd 键名 元素1 元素2......... 注意:再次添加元素时,如果触发了集合的唯一性,那么命令执行结果就为0,表示执行失败…

windows edge自带的pdf分割工具(功能)

WPS分割pdf得会员&#xff0c;要充值&#xff01;网上一顿乱找&#xff0c;发现最简单&#xff0c;最好用&#xff0c;免费的还是回到Windows。 Windows上直接在edge浏览器打开PDF&#xff0c;点击 打印 按钮,页面下选择对应页数 打印机 选择 另存为PDF&#xff0c;然后保存就…