Yolov8目标检测——在Android上部署Yolov8 tflite模型

1. 简介

YOLOv8 是一种用于目标检测的深度学习模型，它是 YOLO（You Only Look Once）系列的最新版本之一。YOLO 系列因其高效和准确性而在计算机视觉领域非常受欢迎，特别是在需要实时目标检测的应用中，如视频监控、自动驾驶汽车、机器人视觉等。

以下是 YOLOv8 的一些关键特点：

  • 实时性能：YOLOv8 旨在提供实时目标检测，即使在资源受限的设备上也能快速运行。
  • 准确性：YOLOv8 在多个标准数据集上展示了其准确性，能够检测图像中的多种对象。
  • 单阶段检测器：与多阶段检测器相比，YOLOv8 采用单阶段检测方法，这意味着它在网络的前向传播过程中只需一次即可完成检测任务。
  • 端到端对象识别：YOLOv8 能够同时预测边界框、对象类别和每个框的置信度。
  • 泛化能力：YOLOv8 在不同大小和形状的对象上都表现出良好的泛化能力。
  • 易于部署：YOLOv8 支持转换为不同的格式，如 TensorFlow Lite，使得它可以轻松部署在移动设备和嵌入式系统中。
  • 自定义训练：YOLOv8 允许用户使用自己的数据集进行自定义训练，以适应特定的检测任务。

2.模型转换

2.1 tflite模型

TensorFlow Lite (tflite) 是一种用于移动和嵌入式设备上的机器学习模型的格式。它允许开发者将训练好的 TensorFlow 模型转换为一个更小、更快、更高效的格式，以便于在资源受限的环境中运行，比如智能手机和微控制器。

  • 模型优化：TensorFlow Lite 支持将模型量化，以减少模型的大小和提高运行效率。
  • 跨平台：tflite 模型可以在多种设备上运行，包括 Android、iOS 和一些嵌入式设备。
  • 实时性能：由于模型体积小，加载快，非常适合需要实时响应的应用，如图像识别、语音识别等。
  • 转换过程：TensorFlow 提供了工具来将 TensorFlow 模型（例如 SavedModel 或 HDF5）转换为 tflite 格式。
  • 硬件加速：tflite 支持一些硬件加速器，如 GPU、Edge TPU，可以进一步提高运行速度。
  • 使用 TensorFlow Lite Interpreter：在应用中，通常使用 TensorFlow Lite Interpreter 来加载和运行 tflite 模型。
  • 兼容性：tflite 模型与 TensorFlow.js 类似，但专为不同的运行环境设计。tflite 适用于移动和嵌入式设备，而 TensorFlow.js 适用于浏览器和 Node.js 环境。
  • 部署：在 Android 或 iOS 应用中，tflite 模型可以作为资源文件被打包和部署。
  • 更新和维护：tflite 模型可以像其他资源一样被更新，无需重新构建整个应用。

2.2 Pytorch 格式转换为 tflite 格式

YOLOv8 是以 pytorch 格式构建的。将其转换为 tflite，以便在 Android 上使用。
安装 Ultralytics 框架
使用 pip 安装 Ultralytics 框架，该框架包含了 YOLOv8：

conda create -n yolov8 python=3.8
activate ylolv8
pip install ultralytics

转换模型为 tflite 格式
使用 Ultralytics 框架提供的 YOLO 类来加载 PyTorch 格式的 YOLOv8 模型，并导出为 tflite 格式：

  from ultralytics import YOLOmodel = YOLO('yolov8s.pt')  # 这里 'yolov8s.pt' 是模型权重文件model.export(format="tflite")

这将生成一个 tflite 文件，例如 yolov8s_saved_model/yolov8s_float16.tflite。

处理转换过程中的错误
如果在转换过程中遇到错误，特别是与 TensorFlow 版本相关的问题，需要安装一个特定版本的 TensorFlow 来解决兼容性问题：

  pip install tensorflow==2.13.0

3.创建项目

3.1 创建项目

创建一个安卓项目，语言选择Kotlin，如下图所示：
在这里插入图片描述
然后在 Android Studio 项目的 app 目录中创建一个 assets 目录（文件 → 新建 → 文件夹 → 资产文件夹），并将 tflite 文件（例如 yolov8s_float32.tflite）和 labels.txt 添加进去。labels.txt其中描述了 YOLOv8 模型的类别名称。

  1. 打开 Android Studio 项目。
  2. 在项目浏览器中，定位到 app 目录。
  3. 右键点击 app 目录，选择 New > Folder > Asset Folder。
  4. 输入文件夹名称 assets 并确认创建。
  5. 打开新创建的 assets 文件夹。
  6. 通过复制和粘贴的方式，将 yolov8s_float32.tflite 文件和 labels.txt 文件添加到此文件夹中。

3.2 添加依赖

将以下内容添加到 app/build.gradle.kts 中的依赖项以安装 tflite 框架。

implementation("org.tensorflow:tensorflow-lite:2.14.0")
implementation("org.tensorflow:tensorflow-lite-support:0.4.4")

导入所需的模块

import org.tensorflow.lite.DataType
import org.tensorflow.lite.Interpreter
import org.tensorflow.lite.gpu.CompatibilityList
import org.tensorflow.lite.gpu.GpuDelegate
import org.tensorflow.lite.support.common.FileUtil
import org.tensorflow.lite.support.common.ops.CastOp
import org.tensorflow.lite.support.common.ops.NormalizeOp
import org.tensorflow.lite.support.image.ImageProcessor
import org.tensorflow.lite.support.image.TensorImage
import org.tensorflow.lite.support.tensorbuffer.TensorBuffer
import java.io.BufferedReader
import java.io.IOException
import java.io.InputStream
import java.io.InputStreamReader

3.3 初始化模型

private val modelPath = "yolov8s_float32.tflite"
private val labelPath = "labels.txt"
private var interpreter: Interpreter? = null
private var tensorWidth = 0
private var tensorHeight = 0
private var numChannel = 0
private var numElements = 0
private var labels = mutableListOf<String>()
private val imageProcessor = ImageProcessor.Builder().add(NormalizeOp(INPUT_MEAN, INPUT_STANDARD_DEVIATION)).add(CastOp(INPUT_IMAGE_TYPE)).build() // preprocess input
companion object {private const val INPUT_MEAN = 0fprivate const val INPUT_STANDARD_DEVIATION = 255fprivate val INPUT_IMAGE_TYPE = DataType.FLOAT32private val OUTPUT_IMAGE_TYPE = DataType.FLOAT32private const val CONFIDENCE_THRESHOLD = 0.3Fprivate const val IOU_THRESHOLD = 0.5F
}

初始化 tflite 模型。获取模型文件并将其传递给 tflite 的 Interpreter。选择推理使用的线程数。

val model = FileUtil.loadMappedFile(context, modelPath)
val options = Interpreter.Options()
options.numThreads = 4
interpreter = Interpreter(model, options)

从 Interpreter 获取 yolov8s 输入和输层：

val inputShape = interpreter.getInputTensor(0).shape()
val outputShape = interpreter.getOutputTensor(0).shape()tensorWidth = inputShape[1]
tensorHeight = inputShape[2]
numChannel = outputShape[1]
numElements = outputShape[2]

3.4 从 label.txt 文件中读取类名称

try {val inputStream: InputStream = context.assets.open(labelPath)val reader = BufferedReader(InputStreamReader(inputStream))var line: String? = reader.readLine()while (line != null && line != "") {labels.add(line)line = reader.readLine()}reader.close()inputStream.close()
} catch (e: IOException) {e.printStackTrace()
}

3.5 对图像进行推理

在 Android 应用中，输入是位图（Bitmap），需要根据模型的输入格式进行预处理：

  • 调整图片大小：将位图调整为模型所需的输入尺寸。YOLOv8 模型通常有固定的输入尺寸，例如 416x416 或 608x608。
  • 转换为张量：将调整大小后的位图转换为一个多维数组（张量），这是模型可以处理的格式。
  • 归一化像素值：将像素值从 0 到 255 归一化到 0 到 1 范围内。这通常通过将每个像素值除以 255 来实现。
  • 转换为模型的输入类型：根据模型的需要，将张量转换为特定的数据类型（如 float 或 uint8）。
  • 输入到 Interpreter：将预处理后的张量作为输入传递给 TensorFlow Lite Interpreter 进行推理。
import android.graphics.Bitmap;
import android.graphics.ImageFormat;
import org.tensorflow.lite.Interpreter;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.channels.WritableByteChannel;// 假设 tflite 已经初始化，且 bitmap 是您要处理的位图
Bitmap bitmapval resizedBitmap = Bitmap.createScaledBitmap(bitmap, tensorWidth, tensorHeight, false)
val tensorImage = TensorImage(DataType.FLOAT32)
tensorImage.load(resizedBitmap)
val processedImage = imageProcessor.process(tensorImage)
val imageBuffer = processedImage.buffer

创建一个与模型输出层匹配的输出张量缓冲区，并将其与上面的输入 imageBuffer 一起传递给解释器以执行。

val output = TensorBuffer.createFixedSize(intArrayOf(1 , numChannel, numElements), OUTPUT_IMAGE_TYPE)
interpreter.run(imageBuffer, output.buffer)

3.6 处理输出

输出框被视为 BoudingBox 类。这是一个具有类别、框和置信度级别的类。其中x1，y1 是起始点。x2， y2 是终点，cx， cy 是中心。w 宽度，h 是高度。

data class BoundingBox(val x1: Float,val y1: Float,val x2: Float,val y2: Float,val cx: Float,val cy: Float,val w: Float,val h: Float,val cnf: Float,val cls: Int,val clsName: String
)

提取置信度高于置信度阈值的框，在重叠的框中，留下置信度最高的框。（nms）

private fun bestBox(array: FloatArray) : List<BoundingBox>? {val boundingBoxes = mutableListOf<BoundingBox>()for (c in 0 until numElements) {var maxConf = -1.0f        var maxIdx = -1        var j = 4        var arrayIdx = c + numElements * jwhile (j < numChannel){if (array[arrayIdx] > maxConf) {maxConf = array[arrayIdx]maxIdx = j - 4}j++arrayIdx += numElements}if (maxConf > CONFIDENCE_THRESHOLD) {val clsName = labels[maxIdx]val cx = array[c] // 0            val cy = array[c + numElements] // 1            val w = array[c + numElements * 2]val h = array[c + numElements * 3]val x1 = cx - (w/2F)val y1 = cy - (h/2F)val x2 = cx + (w/2F)val y2 = cy + (h/2F)if (x1 < 0F || x1 > 1F) continue            if (y1 < 0F || y1 > 1F) continue            if (x2 < 0F || x2 > 1F) continue            if (y2 < 0F || y2 > 1F) continueboundingBoxes.add(BoundingBox(x1 = x1, y1 = y1, x2 = x2, y2 = y2,cx = cx, cy = cy, w = w, h = h,cnf = maxConf, cls = maxIdx, clsName = clsName))}}if (boundingBoxes.isEmpty()) return null    return applyNMS(boundingBoxes)
}private fun applyNMS(boxes: List<BoundingBox>) : MutableList<BoundingBox> {val sortedBoxes = boxes.sortedByDescending { it.cnf }.toMutableList()val selectedBoxes = mutableListOf<BoundingBox>()while(sortedBoxes.isNotEmpty()) {val first = sortedBoxes.first()selectedBoxes.add(first)sortedBoxes.remove(first)val iterator = sortedBoxes.iterator()while (iterator.hasNext()) {val nextBox = iterator.next()val iou = calculateIoU(first, nextBox)if (iou >= IOU_THRESHOLD) {iterator.remove()}}}return selectedBoxes
}private fun calculateIoU(box1: BoundingBox, box2: BoundingBox): Float {val x1 = maxOf(box1.x1, box2.x1)val y1 = maxOf(box1.y1, box2.y1)val x2 = minOf(box1.x2, box2.x2)val y2 = minOf(box1.y2, box2.y2)val intersectionArea = maxOf(0F, x2 - x1) * maxOf(0F, y2 - y1)val box1Area = box1.w * box1.hval box2Area = box2.w * box2.hreturn intersectionArea / (box1Area + box2Area - intersectionArea)
}

将获得 yolov8 的输出。

val bestBoxes = bestBox(output.floatArray)

将输出框绘制到图像上

fun drawBoundingBoxes(bitmap: Bitmap, boxes: List<BoundingBox>): Bitmap {val mutableBitmap = bitmap.copy(Bitmap.Config.ARGB_8888, true)val canvas = Canvas(mutableBitmap)val paint = Paint().apply {color = Color.REDstyle = Paint.Style.STROKEstrokeWidth = 8f}val textPaint = Paint().apply {color = Color.WHITEtextSize = 40ftypeface = Typeface.DEFAULT_BOLD}for (box in boxes) {val rect = RectF(box.x1 * mutableBitmap.width,box.y1 * mutableBitmap.height,box.x2 * mutableBitmap.width,box.y2 * mutableBitmap.height)canvas.drawRect(rect, paint)canvas.drawText(box.clsName, rect.left, rect.bottom, textPaint)}return mutableBitmap
}

运行结果：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3030335.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

白银基础知识：现货白银的单位是什么？

白银基础知识：现货白银的单位是什么？

近期现货白银行情暂停了上涨&#xff0c;进入了回调阶段&#xff0c;这反而让更多人寻求买入白银的机会。如果是我国的投资者&#xff0c;要购买现货白银、进行现货白银投资&#xff0c;有一些问题就要注意的。就计算单位来说&#xff0c;现货白银就和我国的不同。 在我国买白银…
阅读更多...
CUDA C编程：第一个程序 向量相加点积

CUDA C编程：第一个程序 向量相加点积

我的电脑没有装CUDA&#xff0c;所以使用租了带GPU的云服务器&#xff0c;然后使用vscode SSH远程连接云服务器。云GPU使用的是智星云&#xff0c;0.8元/h。 智星云 可以使用nvcc --version查看系统中安装的CUDA版本。 然后写第一个CUDA程序&#xff0c;两个向量相加结果给到…
阅读更多...
Windows：管理用户账户，密码策略和安全配置

Windows：管理用户账户，密码策略和安全配置

在Windows操作系统中&#xff0c;管理用户账户和密码策略是确保系统安全的关键步骤。本文将探讨如何通过PowerShell和其他Windows工具管理用户账户&#xff0c;包括查看和设置密码策略、检查用户状态&#xff0c;以及导出和导入安全策略。这些管理任务对于系统管理员尤其重要&a…
阅读更多...
动态表名 的使用方法

动态表名 的使用方法

动态表名插件的底层是 拦截器 1&#xff0c;创建一个拦截器 Configuration public class MybatisConfiguration {Beanpublic DynamicTableNameInnerInterceptor dynamicTableNameInnerInterceptor() {// 准备一个Map&#xff0c;用于存储TableNameHandlerMap<String, Table…
阅读更多...
centos7.9升级4.19内核

centos7.9升级4.19内核

centos默认的内核版本是3.10 通过命令 uname -a 输出系统的详细信息 在部署k8s集群时使用默认的3.10版本的内核&#xff0c;容易出各种奇奇怪怪的问题、可以理解为docker和k8s与该内核版本不兼容&#xff0c;所以在部署k8s集群时&#xff0c;务必要升级内核&#xff0c;这里…
阅读更多...
【用文本生成歌声】Learn2Sing 2.0——歌声转换算法及梅尔频谱详解

【用文本生成歌声】Learn2Sing 2.0——歌声转换算法及梅尔频谱详解

一. 频谱图与梅尔谱图的介绍 频谱图&#xff1a;频谱图可以理解为一堆垂直堆叠在一起的快速傅里叶变换结果。 1.1 信号 在进入频谱图模块之前&#xff0c;首先我们需要了解信号是什么。 信号就是某一特定量随时间变化&#xff0c;对于音频来说&#xff0c;这个特定的变化量就…
阅读更多...
死锁的概念与处理策略

死锁的概念与处理策略

目录 一. 死锁的概念1.1 什么是死锁1.2 死锁、饥饿、死循环的区别1.3 死锁产生的条件*1.4 什么情况下会导致死锁 二. 死锁的处理策略- -预防死锁2.1 破坏互斥条件2.2 破坏不剥夺条件2.3 破坏 请求和保持条件2.4 破坏循环等待条件 三. 死锁的处理策略- -避免死锁(重要)3.1 什么是…
阅读更多...
2024.05.10作业

2024.05.10作业

TCP服务器 头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> #include <QTcpSocket> #include <QList> #include <QMessageBox> #include <QDebug>QT_BEGIN_NAMESPACE namespace Ui { class Widget; …
阅读更多...
求阶乘n!末尾0的个数溢出了怎么办

求阶乘n!末尾0的个数溢出了怎么办

小林最近遇到一个问题&#xff1a;“对于任意给定的一个正整数n&#xff0c;统计其阶乘n&#xff01;的末尾中0的个数”&#xff0c;这个问题究竟该如何解决&#xff1f; 先用n5来解决这个问题。n的阶乘即n!5!5*4*3*2*1120&#xff0c;显然应该为2个数相乘等于10才能得到一个结…
阅读更多...
笔记本电脑怎么查看硬盘型号？无需额外软件，五招让你轻松掌握

笔记本电脑怎么查看硬盘型号？无需额外软件，五招让你轻松掌握

随着科技的进步&#xff0c;笔记本电脑已经成为我们日常生活和工作中不可或缺的工具。而在选购或维护笔记本电脑时&#xff0c;了解硬盘的型号和性能是至关重要的。本文以windows10系统为例&#xff0c;将向您介绍几招&#xff0c;帮助您轻松掌握查看笔记本电脑硬盘型号的方法。…
阅读更多...
福昕PDF阅读器取消手型工具鼠标点击翻页

福昕PDF阅读器取消手型工具鼠标点击翻页

前言&#xff1a; 本文介绍如何关闭福昕PDF阅读器取消手型工具鼠标点击翻页&#xff0c;因为这样真的很容易误触发PDF翻页&#xff0c;使用起来让人窝火。 引用&#xff1a; NA 正文&#xff1a; 新版的福昕PDF阅读器默认打开了“使用手型工具阅读文章”这个勾选项&#x…
阅读更多...
【文化课学习笔记】【物理】功与能

【文化课学习笔记】【物理】功与能

【物理】功与能 功 基础概念 定义 一个物体在力的作用下&#xff0c;沿力的方向&#xff0c;通过一段距离(位移)&#xff0c;则称这个力做了功。 公式 功的定义式&#xff1a; \[W Fx \] 这里的 \(x\) 指的是物体沿力的方向上发生的位移。由于力 \(F\) 和位移 \(x\) 都是矢量&…
阅读更多...
BLIP和BLIP2 论文讲解

BLIP和BLIP2 论文讲解

文章目录 BLIPIntroductionMethod模型架构预训练目标字幕和过滤&#xff08;Capfilt&#xff09; BLIP2IntroductionMethod模型结构Q-Former预训练第一阶段Q-Former预训练第二阶段 BLIP 论文&#xff1a; 《BLIP: Bootstrapping Language-Image Pre-training for Unified Visio…
阅读更多...
DiskCatalogMaker for Mac：高效管理磁盘文件助手

DiskCatalogMaker for Mac：高效管理磁盘文件助手

DiskCatalogMaker for Mac&#xff0c;助您高效管理磁盘文件&#xff0c;让文件整理变得轻而易举&#xff01;这款软件以其出色的性能和人性化的设计&#xff0c;赢得了广大Mac用户的喜爱。 DiskCatalogMaker支持多种磁盘格式&#xff0c;让您轻松管理硬盘、U盘、光盘等存储设备…
阅读更多...
景源畅信电商：抖音小店开店的步骤有哪些？

景源畅信电商：抖音小店开店的步骤有哪些？

在移动互联网高速发展的今天&#xff0c;利用短视频平台进行商品营销已成为一种潮流。抖音作为其中的佼佼者&#xff0c;吸引了无数商家纷纷入驻&#xff0c;希望通过这个巨大的流量池实现产品推广和销售。然而&#xff0c;想要在抖音上开设一家小店并非想象中那么简单&#xf…
阅读更多...
一文带你了解军用电源绝缘性能测试规范和标准

一文带你了解军用电源绝缘性能测试规范和标准

军用电源是指主要用于军事、航空航天等领域的电源模块&#xff0c;因其良好的稳定性和可靠性也在通信、交通、航空航海、加工工业等领域广泛应用。因此&#xff0c;对于军用电源的性能要求比较严格&#xff0c;性能测试是确保电源质量的关键环节。 那么&#xff0c;在测试军品电…
阅读更多...
【前端基础】CSS样式+Vue中绘制时间轴

【前端基础】CSS样式+Vue中绘制时间轴

深度选择器 在 Vue.js 中&#xff0c;/deep/、>>>、:deep 和 ::v-deep 这些都是深度选择器&#xff0c;用于修改子组件的样式。它们主要用于解决作用域样式和组件样式之间的冲突问题。 1. /deep/ 或 >>> /deep/ 和 >>> 是相同的选择器&#xff0c;…
阅读更多...
谈基于ATTCK框架的攻击链溯源

谈基于ATTCK框架的攻击链溯源

引言 网络安全在当今数字化时代变得尤为关键&#xff0c;而MITRE公司开发的ATT&CK框架则成为了安全专业人员的重要工具。ATT&CK是一种广泛使用的攻击行为分类和描述框架。其目的在于提供一个共同的语言&#xff0c;使安全专业人员能够更好地理解攻击者的行为和目标&…
阅读更多...
并发问题系统学习（更新中）

并发问题系统学习（更新中）

进程、线程 进程&#xff1a;进程是代码在数据集合上的一次运行活动&#xff0c;是系统进行资源分配和调度的基本单位。可以理解为一个java应用。 线程&#xff1a;线程是进程的一个执行路径&#xff0c;一个进程中至少有一个线程&#xff0c;进程中的多个线程共享进程的资源。…
阅读更多...
Qt三方库：QuaZIP介绍、编译和使用

Qt三方库：QuaZIP介绍、编译和使用

前言 Qt使用一些压缩解压功能&#xff0c;探讨过libzip库&#xff0c;zlib库&#xff0c;libzip库比较原始&#xff0c;还有其他库&#xff0c;都比较基础&#xff0c;而在基础库之上&#xff0c;又有高级封装库&#xff0c;Qt中的QuaZIP是一个很好的选择。Quazip是一个用于压缩…
阅读更多...
最新文章

Copyright @ 2022~2023