语音模块摄像头模块阿里云结合,实现垃圾的智能识别

语音模块&摄像头模块&阿里云结合

文章目录

  • 语音模块&摄像头模块&阿里云结合
    • 1、实现的功能
    • 2、配置
      • 2.1 软件环境
      • 2.2 硬件配置
    • 3、程序介绍
      • 3.1 程序概况
      • 3.2 语言模块SDK配置介绍
      • 3.3 程序文件
        • 3.3.1 开启摄像头的程序
        • 3.3.2 云端识别函数( `Py ==> C` ) & 串口程序
        • 3.3.3 结合 `main.c`
      • 3.4 程序运行结果

1、实现的功能

  • 可以通过语音模块使摄像头在抓拍垃圾图片,程序自动将垃圾传到云端识别,判断出是什么垃圾类型(干垃圾、湿垃圾、可回收垃圾、有害垃圾)(无法识别) 最后由语音模块输出相关信息

2、配置

2.1 软件环境

  • VS Code
  • MobaXterm

2.2 硬件配置

  • 全志H616

  • SU-03T LD3320

    • 语言模块要配置SDK,大家可以到网上搜一下,很简单的;我用的是智能公元的语音模块;我把我用的分享给大家;

    • 语言模块SDK:链接: https://pan.baidu.com/s/1CjgIhW0AWQjXdEhXZiBIzw?pwd=2222 提取码: 2222 复制这段内容后打开百度网盘手机App,操作更方便哦

      烧入工具:链接: https://pan.baidu.com/s/1JF2K_TbS_lg74YInBCCI2g?pwd=2222 提取码: 2222 复制这段内容后打开百度网盘手机App,操作更方便哦

在这里插入图片描述

  • USB摄像头模块

在某宝随便每个USB摄像头模块就ok。

3、程序介绍

3.1 程序概况

garbage.py //云端提供的py程序,不用自己编写,改改参数,看得懂就ok
garbage.c & garbage.h  //利用C语言调用py文件,并且进行了封装,方便main函数调用
>>> https://blog.csdn.net/Super_Fisher_man/article/details/137055641
uartTool.c & uartTool.h //串口通信程序
>>> https://blog.csdn.net/Super_Fisher_man/article/details/136662787main.c //主函数,将两者结合

garbage.c & uartTool.c 在前面的文章都已经介绍过了,这边就不多加赘述

3.2 语言模块SDK配置介绍

在这里插入图片描述
在这里插入图片描述

3.3 程序文件

3.3.1 开启摄像头的程序
  • 可以看看之前的blog

基于香橙派 调用USB摄像头 的两种方法(命令&脚本)-CSDN博客

# start.sh
# /home/orangepi/mjpg-streamer/mjpg-streamer-experimental
export LD_LIBRARY_PATH="$(pwd)"
#./mjpg_streamer -i "input_uvc.so --help"./mjpg_streamer -i "./input_uvc.so -d /dev/video0 -u -f 30" -o "./output_http.so -w ./www"
# mjpg.sh
# /home/orangepi
#!/bin/bashcd /home/orangepi/mjpg-streamer/mjpg-streamer-experimental
./start.sh 
  • 在清除了mjpg进程的前提下命令

  • >>> ps ax | grep mjpg
    >>> kill -9 ×××
    >>> ./mjpg.sh
    
3.3.2 云端识别函数( Py ==> C ) & 串口程序
  • 云端调用的程序,只需改 #场景二 就ok
//garbage.py
# -*- coding: utf-8 -*-
# 引入依赖包
# pip install alibabacloud_imagerecog20190930import os
import io
from urllib.request import urlopen
from alibabacloud_imagerecog20190930.client import Client
from alibabacloud_imagerecog20190930.models import ClassifyingRubbishAdvanceRequest
from alibabacloud_tea_openapi.models import Config
from alibabacloud_tea_util.models import RuntimeOptionsconfig = Config(# 创建AccessKey ID和AccessKey Secret,请参考https://help.aliyun.com/document_detail/175144.html。# 如果您用的是RAM用户的AccessKey,还需要为RAM用户授予权限AliyunVIAPIFullAccess,请参考https://help.aliyun.com/document_detail/145025.html# 从环境变量读取配置的AccessKey ID和AccessKey Secret。运行代码示例前必须先配置环境变量。access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID'),access_key_secret=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),# 访问的域名endpoint='imagerecog.cn-shanghai.aliyuncs.com',# 访问的域名对应的regionregion_id='cn-shanghai'
)def alibaba_garbage(): # 封装成一个函数,方便其他文件调用#场景一:文件在本地# img = open(r'/home/orangepi/garbage/lj/test2.jpg','rb')img = open(r'/tmp/garbage.jpg','rb')#场景二:使用任意可访问的url# url = 'https://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/imagerecog/ClassifyingRubbish/ClassifyingRubbish1.jpg'# img = io.BytesIO(urlopen(url).read())classifying_rubbish_request = ClassifyingRubbishAdvanceRequest()classifying_rubbish_request.image_urlobject = imgruntime = RuntimeOptions()try:# 初始化Clientclient = Client(config)response = client.classifying_rubbish_advance(classifying_rubbish_request, runtime)# 获取整体结果# print(response.body) # 默认# print(response.body.to_map()) # 打印出body的类型print(response.body.to_map()['Data']['Elements'][0]['Category']) # 打印出body的类型return response.body.to_map()['Data']['Elements'][0]['Category']# 提供调用方便except Exception as error:# 获取整体报错信息# print(error)# 获取单个字段# print(error.code)return '获取失败'if __name__== "__main__":alibaba_garbage()
  • Py ==> c
//garbage.h
#ifndef __GARBAGE__H
#define __GARBAGE__H
void garbage_init(void);//第一步做初始化,初始python的编译器包括导入当前路劲到sys.path里面
void garbage_final(void);
char *garbage_category(char *category);//127.0.0.1
//通常被称为"本地回环地址"或"localhost";
//这个地址经常用于测试网络应用程序和诊断网络问题
//因为它确保数据能够在同一台计算机上进行循环传输,而无需真正通过网络传输。#define WGET_CMD "wget http://127.0.0.1:8080/?action=snapshot -O /tmp/garbage.jpg" //抓拍命令
#define GARBAGE_FILE "/tmp/garbage.jpg"#endif
// C语言引用Python文件
#if 0
1、包含Python.h头文件,以便使用Python API。
2、使用void Py_Initialize()初始化Python解释器,
3、使用PyObject *PyImport_ImportModule(const char *name)和PyObject
*PyObject_GetAttrString(PyObject *o, const char *attr_name)获取sys.path对象,并利用
int PyList_Append(PyObject *list, PyObject *item)将当前路径.添加到sys.path中,以便加载
当前的Python模块(Python文件即python模块)4、使用PyObject *PyImport_ImportModule(const char *name)函数导入Python模块,并检查是否
有错误。
5、使用PyObject *PyObject_GetAttrString(PyObject *o, const char *attr_name)函数获取
Python函数对象,并检查是否可调用。
+6、使用PyObject *Py_BuildValue(const char *format, ...)函数将C类型的数据结构转换成
Python对象,作为Python函数的参数,没有参数不需要调用
7、使用PyObject *PyObject_CallObject(PyObject *callable, PyObject *args)函数调用
Python函数,并获取返回值。
+8、使用int PyArg_Parse(PyObject *args, const char *format, ...)函数将返回值转换为C类
型,并检查是否有错误,没有返回值时不需要调用。
9、使用void Py_DECREF(PyObject *o)函数释放所有引用的Python对象。
10、结束时调用void Py_Finalize()函数关闭Python解释器。
相关的函数参数说明参考网站(网站左上角输入函数名即可开始搜索):
https://docs.python.org/zh-cn/3/c-api/import.html
#endif#include <Python.h>
#include "garbage.h"void garbage_init(void)
{Py_Initialize();// 将当前路径添加到sys.path中PyObject *sys = PyImport_ImportModule("sys");//初始化python解释器PyObject *path = PyObject_GetAttrString(sys, "path");PyList_Append(path, PyUnicode_FromString("."));
}void garbage_final(void)
{//释放所有引用的Python对象Py_Finalize();
}
char *garbage_category(char *category)
{// 导入para模块PyObject *pModule = PyImport_ImportModule("garbage");//引用的是本目录底下的garbage.py文件if (!pModule){PyErr_Print();printf("Error: failed to load para.py\n");goto FAILED_MODULE;}//获取 alibaba_garbage 函数对象PyObject *pFunc = PyObject_GetAttrString(pModule, "alibaba_garbage");//garbage.py文件里的这个函数 alibaba_garbageif (!pFunc){PyErr_Print();printf("Error: failed to load say_funny\n");goto FAILED_FUNC;}//调用alibaba_garbage函数并获取返回值PyObject *pValue = PyObject_CallObject(pFunc, NULL);if (!pValue){PyErr_Print();printf("Error: function call failed\n");goto FAILED_VALUE;} //将返回值转换为C类型char *result = NULL;  //pValue(py) --> result(c)if (!PyArg_Parse(pValue, "s", &result))//PyArg_Parse根据指定的格式字符串将 Python 对象转换为 C 变量{PyErr_Print();printf("Error: parse failed\n");goto FAILED_RESULT;}//打印返回值//printf("pValue=%s\n", result);category = (char*)malloc(sizeof(char)*(strlen(result)+1));//要留一个字节给 \0memset(category, 0, (strlen(result)+1));strncpy(category, result,(strlen(result)+1));//复制字符串//会用来标识某个测试案例、任务或计划未能通过或达到预期的标准或目标;失败后跳转
FAILED_RESULT:Py_DECREF(pValue);
FAILED_VALUE:Py_DECREF(pFunc);
FAILED_FUNC:Py_DECREF(pModule);
FAILED_MODULE:return category;
}
  • 串口函数
//uartTool.h
#ifndef __UARTTOOL_H
#define __UARTTOOL_H
int myserialOpen (const char *device, const int baud);
void serialSendstring (const int fd, unsigned const char *s, int len); //写数据
int serialGetstring (const int fd, unsigned char *buffer); //读数据#define SERIAL_DEV "/dev/ttyS5" // 可代替设备节点
#define BAUD 115200             // 代替波特率#endif
//防止头文件中的声明反复区声明
//uartTool.c
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <stdarg.h>
#include <string.h>
#include <termios.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <sys/types.h>
#include <sys/stat.h>
#include "uartTool.h"//先到当前文件夹查看
#include "wiringSerial.h"int myserialOpen (const char *device, const int baud)
{struct termios options ;//这个结构体speed_t myBaud ;int status, fd ;switch (baud){case    9600:	myBaud =    B9600 ; break ;case  115200:	myBaud =  B115200 ; break ;default:}if ((fd = open (device, O_RDWR | O_NOCTTY | O_NDELAY | O_NONBLOCK)) == -1)return -1 ;fcntl (fd, F_SETFL, O_RDWR) ;// Get and modify current options:tcgetattr (fd, &options) ;//get//标准化的操作 一般都是固定的cfmakeraw   (&options) ;cfsetispeed (&options, myBaud) ;cfsetospeed (&options, myBaud) ;//波特率的设置 options.c_cflag |= (CLOCAL | CREAD) ;options.c_cflag &= ~PARENB ;//奇偶校验位 options.c_cflag &= ~CSTOPB ;//ͣ停止位 一般都是一位的options.c_cflag &= ~CSIZE ;options.c_cflag |= CS8 ;//数据位 基本都是八位的options.c_lflag &= ~(ICANON | ECHO | ECHOE | ISIG) ;options.c_oflag &= ~OPOST ;options.c_cc [VMIN]  =   0 ;options.c_cc [VTIME] = 100 ;	// Ten seconds (100 deciseconds)//标准化的操作tcsetattr (fd, TCSANOW, &options) ;//写入内核ioctl (fd, TIOCMGET, &status);//获得整型控制字TIOCMGET get出来status |= TIOCM_DTR ;status |= TIOCM_RTS ;//控制字加上标志位ioctl (fd, TIOCMSET, &status);//写入内核usleep (10000) ;	// 10mSreturn fd ;
}//0XAA 0X55 0X46 0X00 0X55 0XAA
void serialSendstring (const int fd, const unsigned char *s, int len)//去写数据
{int ret;ret = write (fd, s, len);if (ret < 0)printf("Serial Putchar Error\n");
}int serialGetstring (const int fd, unsigned char *buffer)
{int n_read;n_read = read(fd,buffer,6);// printf("%d\n",fd); return n_read;
}
3.3.3 结合 main.c
//main.c
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>#include "uartTool.h"
#include "garbage.h"int main(int argc, char *argv[])
{int serial_fd = -1;int len = 0;char *category = NULL;unsigned char buffer[6] = {0xAA,0x55,0x00,0x00,0x55,0xAA};//AA 55 ** 00 55 AA//初始化garbage_init();//打开设备serial_fd = myserialOpen(SERIAL_DEV,BAUD);//可代替设备节点 & 波特率   返回值fdif(serial_fd == -1)//是否打开成功{goto END;    }while(1){//获取(读)传过来的数据len = serialGetstring(serial_fd,buffer); //P8 & P10 ==> TXD.5 & RXD.5 if(len>0 && buffer[2]==0x46) //0x46命令:识别垃圾类型{buffer[2]==0x00;//define WGET_CMD "wget http://127.0.0.1:8080/?action=snapshot -O /tmp/garbage.jpg" //抓拍命令system(WGET_CMD);//宏定义:拍照命令,garbage.h 文件中// access函数是一个用于测试文件访问权限的函数,它通常用于检查某个文件是否可以被当前用户读取、写入或执行。// 包括F_OK(检查文件是否存在)、R_OK(检查读权限)、W_OK(检查写权限)和X_OK(检查执行权限)// 该函数返回值为0表示有权限,-1表示无权限或发生错误。if(0 == access(GARBAGE_FILE, F_OK))//GARBAGE_FILE 宏定义 识别到的垃圾图片是否存在{category = garbage_category(category);//调用阿里云接口判断垃圾类型if(strstr(category,"干垃圾")){buffer[2] = 0x41;//赋值}else if(strstr(category,"湿垃圾")){buffer[2] = 0x42;}else if(strstr(category,"可回收垃圾")){buffer[2] = 0x43;}else if(strstr(category,"有害垃圾")){buffer[2] = 0x44;}else{buffer[2] = 0x45;// 未识别成功}}else{buffer[2] = 0x45;}serialSendstring(serial_fd,buffer,6);//写数据,回传给语音模块buffer[2]=0x00;//将buffer[2]清零remove(GARBAGE_FILE);//garbage.h 的宏定义 把识别到的垃圾的图片清除掉}}END:garbage_final; //释放所有引用的Python对象return 0;  
}

3.4 程序运行结果

  • 先杀进程

在这里插入图片描述

  • 打开摄像头

在这里插入图片描述

  • 显示视频内容、抓拍
    在这里插入图片描述
    在这里插入图片描述

  • 执行结果

在这里插入图片描述

语言会自动回复,该垃圾是什么类型



欢迎大家一起交流讨论

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2905203.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

Intellij IDEA安装配置Spark与运行

目录 Scala配置教程 配置Spark运行环境 编写Spark程序 1、包和导入 2、定义对象 3、主函数 4、创建Spark配置和上下文 5、定义输入文件路径 6、单词计数逻辑 7、输出结果 8、完整代码&#xff1a; Scala配置教程 IDEA配置Scala&#xff1a;教程 配置Spark运行环境 …

【微服务】Nacos(配置中心)

文章目录 1.AP和CP1.基本介绍2.说明 2.Nacos配置中心实例1.架构图2.在Nacos Server加入配置1.配置列表&#xff0c;加号2.加入配置3.点击发布&#xff0c;然后返回4.还可以编辑 3. 创建 Nacos 配置客户端模块获取配置中心信息1.创建子模块 e-commerce-nacos-config-client50002…

web学习笔记(四十九)

目录 1. 初识 Express 1.1 什么是 Express 1.2 Express 能做什么 1.3 Express 的基本使用 1.4 如何把内容响应给客户端 2. 托管静态资源 2.1 express.static() 1. 初识 Express 1.1 什么是 Express 之前我们有讲过可以通过node.js内置的http模块来创建服务器&#x…

需求生命周期管理

背景 回顾很多项目或者产品&#xff0c;我们发现现在的版本和当初的理解或者设想是天壤之别&#xff0c;这是什么原因&#xff0c;对于这种情况又应该如何处理呢&#xff1f; 业务分析的交付物是需求文档&#xff0c;业务分析整个过程随着对业务的逐步深入&#xff0c;观察视…

【3DsMax+Pt】练习案例

目录 一、在3DsMax中展UV 二、在Substance 3D Painter中绘制贴图 一、在3DsMax中展UV 1. 首先创建如下模型 2. 选中如下三条边线作为接缝 重置剥 发现如下部分还没有展开 再选一条边作为接缝 再次拨开 拨开后的UV如下 二、在Substance 3D Painter中绘制贴图 1. 新建项目&am…

JVM之EhCache缓存

EhCache缓存 一、EhCache介绍 在查询数据的时候&#xff0c;数据大多来自数据库&#xff0c;咱们会基于SQL语句的方式与数据库交互&#xff0c;数据库一般会基于本地磁盘IO的形式将数据读取到内存&#xff0c;返回给Java服务端&#xff0c;Java服务端再将数据响应给客户端&am…

微服务(基础篇-004-Feign)

目录 http客户端Feign Feign替代RestTemplate&#xff08;1&#xff09; Feign的介绍&#xff08;1.1&#xff09; 使用Feign的步骤&#xff08;1.2&#xff09; 自定义配置&#xff08;2&#xff09; 配置Feign日志的两种方式&#xff08;2.1&#xff09; Feign使用优化…

一只英短,有什么牌子的口粮适合它?

亲爱的铲屎官&#xff0c;你问到了一只英短适合什么牌子的口粮&#xff0c;那我一定要推荐你试试福派斯鲜肉无谷猫粮&#xff01;&#x1f431;&#x1f35a; 首先&#xff0c;英短猫咪的肠胃比较敏感&#xff0c;所以选择一款无谷的猫粮是非常重要的。福派斯鲜肉无谷猫粮就是一…

Python人工智能:气象数据可视化的新工具

Python是功能强大、免费、开源&#xff0c;实现面向对象的编程语言&#xff0c;在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能&#xff0c;这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以…

SpringBoot实现RabbitMQ的广播交换机(SpringAMQP 实现Fanout广播交换机)

文章目录 声明交换机消息接收消息发送效果 广播交换机的特定是: 将消息交给所有绑定到交换机的队列 在广播模式下&#xff0c;消息发送流程是这样的&#xff1a; 1&#xff09; 可以有多个队列2&#xff09; 每个队列都要绑定到 Exchange&#xff08;交换机&#xff09;3&…

信息安全之网络安全防护

先来看看计算机网络通信面临的威胁&#xff1a; 截获——从网络上窃听他人的通信内容中断——有意中断他人在网络上的通信篡改——故意篡改网络上传送的报文伪造——伪造信息在网络上传送 截获信息的攻击称为被动攻击&#xff0c;而更改信息和拒绝用户使用资源的攻击称为主动…

RabbitMQ安装及使用笔记

RabbitMQ安装及使用笔记 RabbitMQ是一个开源的消息代理软件&#xff0c;它实现了高级消息队列协议&#xff08;AMQP&#xff09;&#xff0c;用于在分布式系统中进行消息传递。 1.安装 利用docker load命令加载mq镜像 docker load -i mq.tar 基于Docker来安装RabbitMQ&#xff…

【计算机网络】http协议的原理与应用,https是如何保证安全传输的

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…

C# 高级文件操作与异步编程探索(初步)

文章目录 文本文件的读写探秘StreamReader 类深度剖析StreamWriter 类细节解读编码和中文乱码的解决方案 二进制文件的读写BinaryReader 类全面解析BinaryWriter 类深度探讨 异步编程与C#的未来方向同步与异步&#xff1a;本质解读Task 的神奇所在async/await 的魔法 在现代编程…

威联通安装Kafka

最近在学习 Kafka 的知识&#xff0c;遇到一些问题网上搜到的信息不全。想要在本地安装一个 Kafka 进行验证&#xff0c;想到了之前买的 Nas 就开始折腾。 用 Docker 的方式安装 Kafka 现在的 Nas 很多都支持 Docker&#xff0c;我买的也支持。威联通的 Docker 叫 Container S…

C语言例4-36:求Fibonacci数列的前40个数

教材优化代码如下&#xff1a; //求Fibonacci数列的前40个数 #include<stdio.h> int main(void) {long int f11,f21;int i1;for(;i<20;i){printf("%15ld%15ld",f1,f2);if(i%20)printf("\n");f1f2;f2f1;}return 0; } 结果如下&#xff1a; 我的基…

深度学习故障诊断实战 | 数据预处理之基于滑动窗的数据样本增强

前言 本期给大家分享介绍如何基于滑动窗方法进行数据样本增强 背景 深度学习模型训练需要大量的样本。在故障诊断领域&#xff0c;每个类别大都会达到300个样本。但是在实际公开数据集中&#xff0c;以CWRU数据集为例&#xff0c;每个类别只有24组数据&#xff0c;这明显是不…

Golang-Gorm-快速上手

Gorm文档 GORM文档地址 安装依赖 go get -u "gorm.io/driver/mysql"go get -u "gorm.io/gorm"连接数据库 默认连接方式 func main() {// 参考 https://github.com/go-sql-driver/mysql#dsn-data-source-name 获取详情dsn : "user:passtcp(127.0.0…

GEE实践应用|热岛效应(一)地表温度计算

目录 1.学习目标 2.理论介绍 3.从MODIS获得地表温度 4.从Landsat卫星获得地表温度 1.学习目标 ①了解如何使用GEE计算地表温度 2.理论介绍 城市化涉及用建筑物、道路和停车场等建筑结构取代自然景观。这种土地覆盖的改变也改变了土地表面的特性。这些变化的范围从表面反射和…

设计模式-设配器模式

目录 &#x1f38a;1.适配器模式介绍 &#x1f383;2.适配器类型 &#x1f38f;3.接口适配器 &#x1f390;4.类的适配器 &#x1f38e;5.优缺点 1.适配器模式介绍 适配器模式&#xff08;Adapter Pattern&#xff09;是作为两个不兼容的接口之间的桥梁。这种类型的设…