华为云OBS数据桶使用

华为云OBS数据桶的使用模式和AWS类似,可以参考这个链接

入门总览_对象存储服务 OBS_快速入门_华为云 (huaweicloud.com)

概览

OBS最基础的入门操作包括创建桶、上传对象和下载对象,通过这三个操作就能完成数据上传和下载。

图1为OBS大致的入门使用流程,实际上针对不同的使用方式有细微的差异,具体差异请参考对应使用方式的指导文档,本入门指导旨在帮助您对OBS的入门操作有个初步的认识。

图1 入门流程

  1. 注册华为云,为帐号充值等,请参见步骤一:准备工作。
  2. 除了控制台以外,通过其他方式访问OBS均需要提前获取访问密钥(AK/SK)用以鉴权,请参见步骤二:获取访问密钥(AK/SK)。
  3. 使用SDK、API和obsutil工具时需要提前获取终端节点(Endpoint),请参见步骤三:获取终端节点(Endpoint)。
  4. 使用工具(OBS Browser+、obsutil)和SDK前,需要先下载对应工具或SDK源码,并进行初始化配置,请参见步骤四:下载工具并初始化。
  5. 桶是OBS中存储对象的容器,在上传对象前需要先创建桶,请参见步骤五:创建桶。
  6. 将数据上传至OBS,请参见步骤六:上传对象。
  7. 从OBS中下载数据,请参见步骤七:下载对象。

具体操作主要参考这里的对象管理和桶管理:入门总览_对象存储服务 OBS_快速入门_华为云 (huaweicloud.com)

使用obsutil批量下载数据示例

初始化配置

前提条件

  • 已下载obsutil软件包,具体请参见下载和安装obsutil。安装时注意路径不要带空格!
  • 已获取OBS当前开通的区域和终端节点地址,您可以从这里查看。例如,访问区域为华为-北京四,则实际的OBS服务地址为:https://obs.cn-north-4.myhuaweicloud.com。
  • 已获取访问密钥(AK和SK),具体操作请参见准备环境。您可以从这里进入访问密钥的管理界面。

配置方法

方式一,您可以通过config命令对obsutil进行初始化配置(关于config的详细介绍,参见更新配置文件),注意endpoint是服务地址,例如华北-北京四是https://obs.cn-north-4.myhuaweicloud.com,示例如下:

  • Windows操作系统
    obsutil config -i=ak -k=sk -e=endpoint
  • macOS/Linux操作系统
    ./obsutil config -i=ak -k=sk -e=endpoint

检查连通性

配置完成后,您可以通过如下方式检查连通性,确认配置是否无误。

  • Windows操作系统
    obsutil ls -s
  • macOS/Linux操作系统
    ./obsutil ls -s

根据命令回显结果,检查配置结果:

  • 如果返回结果中包含“Bucket number is:”,表明配置正确。
  • 如果返回结果中包含“Http status [403]”,表明访问密钥配置有误。
  • 如果返回结果中包含“A connection attempt failed”,表明无法连接OBS服务,请检查网络环境是否正常。

查看与下载数据

命令结构

  • Windows操作系统
    obsutil ls obs://bucket[/prefix] [-s] [-d] [-v] [-marker=xxx] [-versionIdMarker=xxx] [-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • macOS/Linux操作系统
    ./obsutil ls obs://bucket[/prefix] [-s] [-d] [-v] [-marker=xxx] [-versionIdMarker=xxx] [-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例

  • 以Windows操作系统为例,运行obsutil ls obs://bucket-test -limit=10,查询桶内对象。
    obsutil ls obs://bucket-test -limit=10

命令结构

  • Windows操作系统
    • 下载单个对象
      obsutil cp obs://bucket/key file_or_folder_url [-tempFileDir=xxx] [-dryRun] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-ps=auto] [-cpd=xxx][-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量下载对象
      obsutil cp obs://bucket[/key] folder_url -r [-tempFileDir=xxx] [-dryRun] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • macOS/Linux操作系统
    • 下载单个对象
      ./obsutil cp obs://bucket/key file_or_folder_url [-tempFileDir=xxx] [-dryRun] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量下载对象
      ./obsutil cp obs://bucket[/key] folder_url -r [-tempFileDir=xxx] [-dryRun] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例

  • 以Windows操作系统为例,运行obsutil cp obs://bucket-test/key d:\temp\test.txt,下载单个对象。
    obsutil cp obs://bucket-test/key d:\temp\test.txtParallel:      3                   Jobs:          3
    Threshold:     524288000           PartSize:      5242880
    Exclude:                           Include:
    VerifyLength:  false               VerifyMd5:     false
    CheckpointDir: xxxx[==========================================] 100.00% 4.86 KB/s 0s
    Download successfully, 19B, obs://bucket-test/key --> d:\temp\test.txt
  • 以Windows操作系统为例,运行obsutil cp obs://bucket-test/temp d:\ -f -r,批量下载对象。-f无需确认下载,-r递归下载。
    obsutil cp obs://bucket-test/temp d:\ -f -rParallel:      3                   Jobs:          3
    Threshold:     524288000           PartSize:      5242880
    Exclude:                           Include:
    VerifyLength:  false               VerifyMd5:     false
    CheckpointDir: xxxx
    OutputDir: xxxx[======================================================] 100.00% 155.59 KB/s 0s
    Succeed count is:   6         Failed count is:    0
    Metrics [max cost:153 ms, min cost:129 ms, average cost:92.00 ms, average tps:17.86]
    Task id is: 3066a4b0-4d21-4929-bb84-4829c32cbd0f

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/255739.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

obs有没有android版本,obs插件手机版下载-obs插件 安卓版v1.0.0-pc6手机下载

obs直播软件手机版是一款实用的直播辅助软件。obs插件手机版能够为主播提供屏幕录像、礼物显示等功能,协助主播更好的完成现场直播! 软件介绍 OBS插件手机版是一款主播手机直播必备的插件工具,基于OBS软件给主播提供一键安装OBS、测速器、实用…

使用obs直播

前言: 最后有详细视频教程,可直接跳到最后查看 工具: obs下载:地址 Proxifier下载:地址 T子:地址(或其它) 一、获取直播码 1、打开油管 2、创建直播(需要50个订阅&…

华为云OBS究竟是什么?

所谓对象存储服务(OBS)是一种以对象为中心的存储服务,它向用户提供大量安全、高可靠和低成本的数据存储,在使用过程中不需要考虑容量限制并提供了多种存储类型选择以满足用户对各种业务场景的诉求。而在OBS领域上,如今…

多行文字cad提取数据_CAD机械教程之批量数据提取图文详解

要调用此功能,我们可以依次点击【浩辰机械】—【辅助工具】—【批量数据提取】,软件会弹出对话框(如图1) 图1 在对话框中,我们可以变更关联字段配置、数据汇总类型。其中,在关联字段配置中,由于浩辰CAD机械软件执行数据…

怎么批量提取网站中的内容-免费网页数据提取软件

如何从网站中提取内容并将其保存为文本?单击并拖动选择要提取的网页上的文本,然后按“Ctrl-C”复制文本。打开文本编辑器或文档程序,然后按“Ctrl-V”将网页中的文本粘贴到文本文件或文档窗口中。将文本文件或文档保存到您的计算机。少量的话还好&#…

多行文字cad提取数据_中望CAD如何快速批量提取txt文本数据

数据提取及导入导出在CAD绘图中十分常见。中望CAD机械版辅助功能中的【批量数据提取】功能可以在不打开DWG文件的情况下,将图纸中的标题栏和明细表的内容进行批量提取,以供后续绘图的再次利用,帮助节省了大量时间。 中望CAD如何快速批量提取t…

PDF中批量数据的提取与处理

1. 背景 在当下的大数据时代中,各行各业都同时面临大数据所带来的数据规模大和数据来源繁多的机遇与挑战。如何更好的获取数据、处理数据和合并数据对于提高工作效率是至关重要的。 PDF是非常常见的数据来源,尤其见于公司的各种报告和报表中。将PDF中的…

时间序列数据特征提取TsFresh

文章目录 1. 源码和数据地址2. TsFresh安装3. 代码部分说明3.1 数据下载3.2 从文件读取数据 4. 特征拓展4.1 默认参数4.2 ComprehensiveFCParameters参数4.3 EfficientFCParameters参数4.4 MinimalFCParameters参数 5. 特征过滤5.1 默认参数5.2 ComprehensiveFCParameters参数5…

Python数据获取——图片数据提取

图片数据提取 一、利用exifread提取图片的EXIF信息二、循环遍历图片信息 比如我随便从手机上传一张图片到我的电脑里,通过python可以获取这张照片的所有信息。如果是数码相机拍摄的照片,我们在属性里可以找到照片拍摄的时间,拍摄的经纬度&…

SQL数据分析之数据提取、数据查询、数据清洗【MySQL速查】

文章目录 一、数据提取二、数据查询1、选取数据(select)2、筛选(where)3、范围匹配(IN)4、排序(order by)5、条件筛选(case when) 三、数据清洗四、数据分组五…

jmteter 参数提取器-使用正则表达式来提取数据

应用场景: 在实际运用过程中,我们经常需要会遇到B请求需要使用A请求返回的数据,将上一个请求响应的结果作为下一个请求的参数,例如token,这个时候我们就要用到提取器来提取数据,Jmeter工具自带了Json提取器…

JSON 提取器

大家好啊,我是大田。 Json提取器专门用来提取Json结构的数据。 位置:取样器->添加->后置处理器->Json提取器 各字段解释: Name of created variables:保存的变量 JSON Path expression:JSON 表达式&#xf…

人工智能 (特征数据提取)

特征工程数据提取 : 机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知…

jmeter-json提取器提取数据

背景 现在很多接口的登录是返回一个json数据,token值在返回的json里面,在jmeter里面也可以直接提取json里面的值。 上一个接口返回的token作为下个接口的入参。 1.案例场景: 我现在有一个登陆接口A,登陆成功后返回一个token值。有一个重置支付…

jmeter的json提取器提取数据

在接口测试中有一个这样的场景:登录之后,返回一个json数据,token值在返回的json里面,在jmeter里面也可以直接提取json里面的值,应用在下一个接口,怎么实现? 1、一个变量获取一个数据 登录请求…

如何从网站提取数据?

网络抓取与网络爬取 在当今时代,根据数据情况来制定业务决策是许多公司的头等大事。为了推动这些决策,公司全天候跟踪,监视和记录相关数据。幸运的是,很多网站的服务器上存储了大量公共数据,可以帮助企业在竞争激烈的市…

时间序列数据的特征提取

CDA数据分析师 出品 当你想对时间序列数据做分类时,有两种选择,一个是用时间序列特定的方法,比如说说LSTM模型。另外一种方法就是来从时间序列中提取特征从而将这些特征用在有监督的模型上。在这篇文章中,我们来看下如何使用tsfre…

提取数据_提取图表曲线数据的方法

采用计算机模拟预测电池性能时,一般都需要利用实验数据验证模型的准确性。如果自己无法获取实验数据,那就只能利用文献报道的数据来校正模型。本文介绍从图表曲线中提取数据的小软件及其操作步骤。 操作步骤介绍 (1)软件介绍:Engauge是一款开源软件,用于从文献曲线图或地图…

python如何提取数据_python提取数据的常用方法

在我们要对某一种情况进行分析时,需要大批量的数据材料作为分析的基础,在使用python爬取时,就会涉及到不同的抓取方法。在抓取数据的类型时,又会分为不同的情况进行讨论,本篇整理了三种提取数据方法:正则表达式、BeautifulSoup、lxml。下面就这些方法进行详解。 假设我们…