华为云ModelBox实战:体感小游戏应用实操

目录

  • 一、VsCode插件注册ModelBox设备
  • 二、Windows SDK安装
    • 1.安装Git for Windows
    • 2.下载ModelBox SDK
    • 3.相关插件安装
  • 三、体感小游戏应用开发
    • 1.技能模板使用
    • 2.AI应用示例
    • 3.体感小游戏体验

参与华为云活动【HCSD】ModelBox实战营邀请活动,呼朋唤友学AIoT,完成体感小游戏体验。

以及ModelBox端边云AI应用开发框架交流专区。

ModelBox是高性能、高扩展、易用的端云协同AI应用开发框架,帮助开发者快速完成AI应用开发和部署到端边云设备上,30分钟完成AI应用开发,同时可以增加推理的数据吞吐量,降低AI分析耗时!

以人体关键点检测案例为例,使用原生的ONNXRuntime API做开发,可以达到36fps;而ModelBox版本(推理框架同样是ONNXRuntime),则达到了79fps,大大提升了分析速率,详细的分析过程可参考ModelBox推理真的高效吗一文。

简易Flappy Bird游戏,ModelBox体感小游戏:玩家通过上下摆动双臂做出“扇动翅膀”的动作,阻止小鸟下落,躲避画面中的“狼柱”;如果小鸟不小心碰到了“狼”或者触碰到画面边缘,游戏停止,然后会重新开始。画面左上方显示的是玩家存活的时长。

一、VsCode插件注册ModelBox设备

安装VsCode,VS Code官网下载安装Windows x64版本的编辑器,也可以参考Visual Studio Code 安装教程,打开VsCode,搜索并安装ModelBox管理插件

在这里插入图片描述

安装完成后,点击插件,进入华为云登录界面,获取访问密钥

在这里插入图片描述

在这里插入图片描述

新增访问密钥,确认后将下载的表格文件中AK/SK,输入访问密钥登录

在这里插入图片描述

登录后,右键ModelBox的本地设备,选择注册此设备,即可注册完成

在这里插入图片描述

二、Windows SDK安装

1.安装Git for Windows

ModelBox中有些脚本的执行依赖bash,使用Git bash也可以让开发者在Windows上获得与Linux相同的执行环境,因此需要安装Git for Windows,根据以下步骤安装即可

在这里插入图片描述

安装时注意勾选关联sh文件的默认应用为Git for Windows,即Associate .sh files to be run with Bash其他按照默认点击即可

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.下载ModelBox SDK

在HiLens管理控制台,选择专业版,同意协议后,再选择技能开发-工具/插件板块下载Windows系列的ModelBox SDK

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

新建一个用于ModelBox开发的文件夹(注意路径中不能有中文和空格),将下载的SDK压缩包解压到该路径

在这里插入图片描述

使用VSCode打开该文件夹

在这里插入图片描述

ModelBox SDK的目录结构,modelbox-win10-x64文件夹即为ModelBox核心库,包含ModelBox运行环境、内置的功能单元等,SDK中已经包含了Python运行环境python-embed目录,AI应用常用的OpenCV、NumPy等三方库也已经内置,开发者无需手动安装

在这里插入图片描述

3.相关插件安装

相关插件安装用于提高开发效率

Python:后面教程会涉及到ModelBox的Python功能单元开发,可以进行语法高亮、自动补全、代码跳转等

在这里插入图片描述

Even Better TOML:ModelBox中的流程图、配置文件等使用 TOML 语法编写,可以进行语法检查、关键字高亮、文件排版等

在这里插入图片描述

三、体感小游戏应用开发

1.技能模板使用

新建终端:打开VSCode,点击终端-新建终端,在下方会出现一个新终端

在这里插入图片描述

ModelBox技能模板:ModelBox中存在口罩检测、手势检测、人体姿态识别等AI技能模板,存放在华为云OBS中

在ModelBox SDK中提供了一个solution.bat工具,用于下载云侧的技能模板,执行.\solution.bat -l可看到当前已有的技能模板,如果是第一次执行solution.bat工具,会先去下载安装相关的obs工具

.\solution.bat -l

在这里插入图片描述
安装完成后再执行一次.\solution.bat -l,就可以看到技能模板了

在这里插入图片描述

2.AI应用示例

创建工程:ModelBox SDK中提供了create.bat工具,用于创建ModelBox工程、创建功能单元、工程打包等

执行.\create.bat可看到辅助工具的用法介绍

.\create.bat

在这里插入图片描述

执行以下命令可以创建车辆检测技能

.\create.bat -t server -n car_det -s car_det

在这里插入图片描述

创建好的工程结构如下

在这里插入图片描述

运行应用:车辆检测技能默认会打开工程中的测试视频(data/car_test_video.mp4),检测画面中的车辆,将车辆画框再输出到另一个视频文件中

进入到车辆检测工程目录,然后执行命令启动应用

cd .\workspace\car_det\
.\bin\main.bat

在这里插入图片描述

看到Task SUCCEEDED、请按任意键继续等字样,即表示应用运行完毕

在这里插入图片描述

在hilens_data_dir目录下生成了car_test_result.mp4文件,用播放器打开将看到车辆检测效果

在这里插入图片描述

至此,ModelBox开发环境已准备完毕,可以进行AI应用开发了

3.体感小游戏体验

体感小游戏对应的ModelBox版本已经做成模板放在华为云OBS中,可以用SDK中的solution.bat工具下载

下载模板:执行.\solution.bat -l查看当前公开的技能模板

.\solution.bat -l

在这里插入图片描述

pose_game_flappy_bird为体感小游戏应用模板,下载模板

.\solution.bat -s pose_game_flappy_bird

solution.bat工具的参数中,-l 代表list,即列出当前已有的模板名称;-s 代表solution-name,即下载对应名称的模板,下载下来的模板资源,将存放在ModelBox核心库的solution目录下

在这里插入图片描述

创建工程:在ModelBox SDK目录下使用create.bat创建flappy_bird工程

.\create.bat -t server -n flappy_bird -s pose_game_flappy_bird

create.bat工具的参数中,-t 表示创建事务的类别,包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等;-n 代表name,即创建事务的名称;-s 代表solution-name,表示将使用后面参数值代表的模板创建工程,而不是创建空的工程

在这里插入图片描述

运行应用:打开工程目录下bin/mock_task.toml文件,修改其中的任务输入和任务输出配置为如下内容

即使用编号为0的摄像头(默认为PC自带的摄像头),输出画面显示到名为pose_game的本地屏幕窗口中

[input]
type = "url"
url = "0"  # 表示0号摄像头,即PC自带摄像头,若PC无摄像头需外接USB摄像头[output]
type = "local"
url = "0:pose_game"  # 表示名为```pose_game```的本地窗口

在这里插入图片描述

进入到应用目录,执行.\bin\main.bat运行应用开始游戏

cd .\workspace\flappy_bird\
.\bin\main.bat

在这里插入图片描述

在这里插入图片描述
如果需要终止游戏,打开任务管理器,结束进程即可,然后返回终端停止

在这里插入图片描述

更多有关体感小游戏应用的介绍可以参考:ModelBox开发案例 - 体感小游戏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2780062.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

《统计学简易速速上手小册》第9章:统计学在现代科技中的应用(2024 最新版)

文章目录 9.1 统计学与大数据9.1.1 基础知识9.1.2 主要案例:社交媒体情感分析9.1.3 拓展案例 1:电商销售预测9.1.4 拓展案例 2:实时交通流量分析 9.2 统计学在机器学习和人工智能中的应用9.2.1 基础知识9.2.2 主要案例:预测客户流…

单片机学习笔记---AT24C02(I2C总线)

目录 有关储存器的介绍 存储器的简介 存储器简化模型 AT24C02介绍 AT24C02引脚及应用电路 I2C总线介绍 I2C电路规范 开漏输出模式和弱上拉模式 其中一个设备的内部结构 I2C通信是怎么实现的 I2C时序结构 起始条件和终止条件 发送一个字节 接收一个字节 发送应答…

fast.ai 深度学习笔记(六)

深度学习 2:第 2 部分第 12 课 原文:medium.com/hiromi_suenaga/deep-learning-2-part-2-lesson-12-215dfbf04a94 译者:飞龙 协议:CC BY-NC-SA 4.0 来自 fast.ai 课程的个人笔记。随着我继续复习课程以“真正”理解它,…

今日早报 每日精选15条新闻简报 每天一分钟 知晓天下事 2月12日,星期一

每天一分钟,知晓天下事! 2024年2月12日 星期一 农历正月初三 1、 注意错峰出行!今起全国公路网流量将处于高位运行状态。 2、 中国旅游研究院:预计2024年国内旅游人数或超60亿人次。 3、 阔别四年,北京、贵阳、张家…

【深度优先搜索】【树】【图论】2973. 树中每个节点放置的金币数目

作者推荐 视频算法专题 本博文涉及知识点 深度优先搜索 树 图论 分类讨论 LeetCode2973. 树中每个节点放置的金币数目 给你一棵 n 个节点的 无向 树,节点编号为 0 到 n - 1 ,树的根节点在节点 0 处。同时给你一个长度为 n - 1 的二维整数数组 edges…

树莓派4B(Raspberry Pi 4B)使用docker搭建阿里巴巴sentinel服务

树莓派4B(Raspberry Pi 4B)使用docker搭建阿里巴巴sentinel服务 由于国内访问不了docker hub,而国内镜像仓库又没有适配树莓派ARM架构的sentinel镜像,所以我们只能退而求其次——自己动手构建镜像。本文基于Ubuntu,Jav…

WPF中值转换器的使用

什么是值转换器 在WPF(Windows Presentation Foundation)中,值转换器(Value Converter)是一种机制,允许你在绑定时转换绑定源和绑定目标之间的值。值转换器实现了 IValueConverter 接口,该接口…

在VSCode中创建Java项目

在VSCode中创建Java项目 首先,保证安装了Java的JDK. WinR -> 输入cmd -> 输入 java -version -> 然后可以看到安装的JDK版本,如果没安装可以去找教程。 JDK安装参考教程 打开VSCode,打开扩展(Ctrl Shift S&#xff…

《动手学深度学习(PyTorch版)》笔记8.6

注:书中对代码的讲解并不详细,本文对很多细节做了详细注释。另外,书上的源代码是在Jupyter Notebook上运行的,较为分散,本文将代码集中起来,并加以完善,全部用vscode在python 3.9.18下测试通过&…

网络安全工程师技能手册(附学习路线图)

关键词:网络安全入门、渗透测试学习、零基础学安全、网络安全学习路线 安全是互联网公司的生命,也是每位网民的基本需求。现在越来越多的人对网络安全感兴趣,愿意投奔到网络安全事业之中,这是一个很好的现象。 很多对网络安全感…

蓝牙 - BTSnoop File Format

1, Overview [ 概览 ] BTSnoop 文件格式适用于存储 Bluetooth HCI 通讯数据。它与 RFC 1761 中记录的 snoop 格式非常相似。 The BTSnoop file format is suitable for storing Bluetooth HCI traffic. It closely resembles the snoop format, as documented in RFC 1761. 2, …

flask+python企业产品订单管理系统938re

在设计中采用“自下而上”的思想,在创新型产品提前购模块实现了个人中心、个体管理、发布企业管理、投资企业管理、项目分类管理、产品项目管理、个体投资管理、企业投资管理、个体订单管理、企业订单管理、系统管理等的功能性进行操作。最终,对基本系统…

CRNN介绍:用于识别图中文本的深度学习模型

CRNN:用于识别图中文本的深度学习模型 CRNN介绍:用于识别图中文本的深度学习模型CRNN的结构组成部分工作原理 CRNN结构分析卷积层(Convolutional Layers)递归层(Recurrent Layers)转录层(Transc…

Unity Meta Quest MR 开发(四):使用 Scene API 和 Depth API 实现深度识别和环境遮挡

文章目录 📕教程说明📕Scene API 实现遮挡📕Scene API 实现遮挡的缺点📕Depth API 实现遮挡⭐导入 Depth API⭐修改环境配置⭐添加 EnvironmentDepthOcclusion 预制体⭐给物体替换遮挡 Shader⭐取消现实手部的遮挡效果 此教程相关…

vue常用9个事件修饰符

第075个 查看专栏目录: VUE ------ element UI 专栏目标 在vue和element UI联合技术栈的操控下,本专栏提供行之有效的源代码示例和信息点介绍,做到灵活运用。 提供vue2的一些基本操作:安装、引用,模板使用,computed&a…

备战蓝桥杯---搜索(进阶4)

话不多说,直接看题: 下面是分析: (ab)%c(a%cb%c)%c; (a*b)%c(a%c*b%c)%c; 因此,如果两个长度不一样的值%m为相同值,那就舍弃长的(因为再加1位只不过是原来值*10那位值,因此他们得出的%m还是同…

【JavaScript 漫游】【014】正则表达式通关

文章简介 JS 语言中的 RegExp 对象提供正则表达式的功能。本篇文章旨在对该对象的相关知识点进行总结。内容包括: 正则表达式概述RegExp 对象的实例属性RegExp 对象的实例方法字符串与正则表达式相关的实例方法正则表达式匹配规则 概述 正则表达式的概念 正则表…

尚硅谷 Vue3+TypeScript 学习笔记(下)

目录 五、组件通信 5.1. 【props】 5.2. 【自定义事件】 5.3. 【mitt】 5.4.【v-model】 5.5.【$attrs】 5.6. 【$refs、$parent】 5.7. 【provide、inject】 5.8. 【pinia】 5.9. 【slot】 1. 默认插槽 2. 具名插槽 3. 作用域插槽 六、其它 API 6.1.【shallowR…

使用client-only 解决组件不兼容SSR问题

目录 前言 一、解决方案 1.基于Nuxt 框架的SSR应用 2.基于vue2框架的应用 3.基于vue3框架的应用 二、总结 往期回顾 前言 最近在我的单页面SSR应用上开发JSON编辑器功能,在引入组件后直接客户端跳转OK,但是在直接加载服务端渲染的时候一直报这…

操作系统——内存管理(附带Leetcode算法题LRU)

1.内存管理主要用来干什么? 操作系统的内存管理主要负责内存的分配与回收、内存扩充(虚拟技术)、地址转换(逻辑-物理)、内存保护(保证各进程在自己的内存空间运行,不会越界访问)..... 2.什么是内存碎片? 内存碎片是内存的申请和释放产生的…