OSS云存储管理实践(体验有礼)

简介: 阿里云对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。用户可以通过调用API,在任何应用、任何时间、任

阿里云对象存储

阿里云对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。用户可以通过调用API,在任何应用、任何时间、任何地点上传和下载数据,也可以通过用户Web控制台对数据进行简单的管理。OSS适合存放任意文件类型,适合各种网站、开发企业及开发者使用。

阿里云OSS图片处理服务

阿里云OSS图片处理服务(Image Service,简称 IMG) ,是阿里云OSS对外提供的海量、安全、低成本、高可靠的图片处理服务。用户将原始图片上传保存在OSS上,通过简单的 RESTful 接口,在任何时间、任何地点、任何互联网设备上对图片进行处理。图片处理服务提供图片处理接口,图片上传请使用OSS上传接口。基于IMG,用户可以搭建出跟图片相关的服务。图片服务处理的图片来自于OSS,所以图片的上传实际是上传到OSS的同名Bucket中。

在真实的工作场景中,一般将图片、音频、视频等存储到OSS服务中,这样可以极大的提高用户的页面访问速度。11 月 9 日至 11 月 23 日期间,完成部署即可获得“TOMY 多美卡合金车模一辆”。

O1CN019If3vm1vDFjunR9QE_!!2921416138-0-cib.jpg

地址:https://developer.aliyun.com/adc/series/activity/1111

体验准备

体验需使用自己的账户开通以上服务
ECS资源地址
开始实验后,系统会自动去创建一台Linux ECS。其中,创建的ECS中已经部署了web应用和OSS python SDK。在本实验中,已创建的ECS作为web服务器,浏览器中直接访问其IP地址会显示包含四个小图片的页面,并且四个图片都保存在ECS本地。通过调用OSS API将四个图片上传到OSS中,同时删除保存在ECS本地的四个图片,此时访问ECS IP将会看到页面中没有图片可以显示。为了在页面中显示原有的四个图片,实验中需要修改web应用服务器根目录下默认访问页面中的图片地址,将图片地址修改为四个图片分别在OSS中的访问地址。

连接ECS服务器

1、双击打开虚拟桌面的Chromium浏览器,在RAM用户登录框中单击下一步,复制云产品资源列表中子用户密码,按CTRL+V把密码粘贴到密码输区,登录子账户(后续在远程桌面里的粘贴操作均使用CTRL + V快捷键)。
2、复制云服务器ECS控制台地址,在Chromium浏览器打开新页签,粘贴并访问云服务器ECS控制台。
3、在控制台左侧导航栏中,单击实例。
p349123.png
4、在实例页面顶部菜单栏,切换到资源所在地域。

说明 :

参考如下图片切换地域到华东2(上海)。
p349125.png
5、在实例页面,在目标实例的操作列下单击远程连接。

说明 :

您可在云产品资源列表中查看目标实例的实例ID。
p349128.png

6、在远程连接与命令对话框的Workbench远程连接区域中,单击立即登录。

p349130.png
7、在登录实例对话框中,输入云资源产品列表中ECS服务器的登录密码,单击确定。

p349131.png
返回如下页面,表示您已经成功远程连接到ECS服务器。
e12696abe6c6446e8cc9d9f80ba61c52.png

基于单ECS的图片网站

本小节将展示一个在 ECS 上已搭建的图片分享网站,以及图片分享网站的源码。

1.在Chromium浏览器打开新页签,在地址栏输入http://<ECS公网地址()弹性IP)>:8080并访问。您可以查看到当前页面中显示1张 “花园” 的图片,该图片实际是由 4 张小图片组成的。
9eba88af045e4fa28fff26d4ac22a6c3.png

2.切换至终端页面。执行以下命令,进入网站系统的根目录。

cd /alidata/www/default

然后,使用如下查看命令,查看保存在根目录下的四张图片 01.png,02.png,03.png 和 04.png,也就是图片分享网站所展示的 4 张小图片。

ls

TB1JTsAtxD1gK0jSZFyXXciOVXa-670-76.png

在Chromium浏览器打开新页签,在地址栏中输入 <ECS实例外网地址>/01.png,可以查看到 01.png 的图片内容。同理,可以查看 "02.png", "03.png" 以及 "04.png" 的图片内容。
TB18rY0ueH2gK0jSZJnXXaT1FXa-507-292.png
3.使用如下命令,查看网站首页的源码,可以看到图片分享网页中显示的图片,是从网站根目录 /alidata/www/default 中,读取图片 01.png,02.png,03.png 和 04.png 拼接的。

cat index.html

TB1O_gutpY7gK0jSZKzXXaikpXa-699-562.png

使用ECS+OSS实现图片网站

1.本小节将存储在本地的图片上传到 OSS Bucket 中,从而,图片分享网站将从 OSS Bucket 中读取图片,本地无需保存图片。

2.在ECS实例的 /alidata/www/default 目录中,执行如下命令,进入 cfg.json 的编辑页面,并修改 OSS 的配置信息。

vim cfg.json

TB1aUgwtrr1gK0jSZFDXXb9yVXa-579-37.png

在键盘上输入 “I”,切换到编辑模式,在编辑页面中,修改如下参数信息。

id: 云产品资源 分配的 AK ID 值;
secret: 云产品资源 分配的 AK Secret 值;
endpoint:请根据下面的 OSS地域与Endpoint对应关系表,输入 云产品资源 所分配 地域 相对应的 外网Endpoint 。例如:分配的 地域 为 华东1(杭州),则输入 oss-cn-hangzhou.aliyuncs.com;
bucket: 云产品资源 分配的 OSS资源 Bucket 名称;
object_dir: 云产品资源 分配的 OSS资源 Object路径。
完成后,首先按 esc键 退出编辑状态,然后输入下面命令保存并退出编辑页面。

 :wq

OSS 地域 与 外网 Endpoint 对应关系表:

地域

外网Endpoint

华东 1 (杭州)

oss-cn-hangzhou.aliyuncs.com

华东 2 (上海)

oss-cn-shanghai.aliyuncs.com

华北 1 (青岛)

oss-cn-qingdao.aliyuncs.com

华北 2 (北京)

oss-cn-beijing.aliyuncs.com

华南 1 (深圳)

oss-cn-shenzhen.aliyuncs.com

TB1xfLVukL0gK0jSZFAXXcA9pXa-1272-140.png

3.执行如下命令,将 01.png 上传到 OSS,该脚本使用 OSS 提供的 API 接口 put_object_from_file() 将本地文件上传到 云产品资源 分配的 Object 路径 中。

python oss_upload.py 01.png
然后,执行相同命令,只把 01.png 改为 02.png 等,将 02.png、03.png 和 04.png三个图片分别上传到 OSS。接下来,用户将访问 OSS 管理控制台,并查看上传到 OSS 的文件。

说明:通过 Python SDK 的方式上传本地文件到 OSS 的具体方法,请参考实验 SL003 使用OSS API上传和下载文件。

TB1pWMBtAT2gK0jSZFkXXcIQFXa-531-190.png

4.复制OSS控制台地址,在Chromium浏览器打开新页签,粘贴并访问OSS控制台。

https://oss.console.aliyun.com/

  1. 进入 OSS 管理控制台后,在 Bucket 列表中,点击 云产品资源 提供的 Bucket名称,例如 adc-oss-969hd2,进入 adc-oss-969hd2 Bucket 管理页面。

TB1Soq.v8r0gK0jSZFnXXbRRXXa-1536-833.png

6.点击 【文件管理】 ,可以查看到当前 Object 列表中存在一个或多个文件夹。点击 云产品资源 分配的一级 Object 路径。例如:用户分配的 Object 路径 为 OSSCTY/u-xxx/,则 OSSCTY 为一级 Object 路径。点击 OSSCTY,进入 Object “OSSCTY” 路径中。

TB1IPS9v1H2gK0jSZJnXXaT1FXa-1382-571.png

在 “OSSCTY” 的 Object 路径中,点击分配的二级 Object 路径。例如:用户分配的 Object 路径 为 OSSCTY/u-xxx/,则 u-xxx 为二级Object 路径。点击 u-xxx 进入Object OSSCTY/u-xxx 路径中。

此时,在 Object 管理的列表的第一行中,用户可以查看到当前 Object 路径信息。在 Object 管理的 Object 列表中,展示已上传并保存到 “SOSSCTY/u-xxx /” 路径下的 4 张图片:01.png,02.png,03.png,04.png。

TB1PzS9v1H2gK0jSZJnXXaT1FXa-1212-703.png

7.切换回终端页面,执行下面命令进入 alidata/www/default 目录。

cd /alidata/www/default
然后执行如下命令,删除当前目录中的所有 “ .png ” 文件,也就是,图片分享网站中读取的 4 张图片 01.png, 02.png, 03.png 和 04.png。

rm -rf *.png

执行查看文件命令,查看当前目录中无图片文件,证明图片已删除。

ls

TB1N5kBtrj1gK0jSZFuXXcrHpXa-578-93.png

8.打开(在浏览器的地址栏中,输入 云产品资源 分配的 ECS 外网地址 并访问)或刷新图片分享网站主页面,查看到当前页面中所有图片均无法正常显示。这是因为图片分享网站读取的是本地图片文件,而本地存储的图片文件已被删除,因此无法读取到图片信息。

注意:

若访问页面仍旧可以显示图片,可能是由于浏览器缓存问题,建议清理下浏览器的缓存或者换一个浏览器查看ECS服务器主页。

TB1VyzSuXT7gK0jSZFpXXaTkpXa-814-603.png

9.接下来,将重新配置 index.html 中的图片访问信息,按照以下步骤将图片链接修改为上传到 OSS 的图片的 URL 访问地址:

1) 切换回 OSS 管理控制台页面,进入 云产品资源 分配的 Object 路径 中,获取图片的URL访问地址。点击 01.png ,找到并点击右侧弹出框的 【复制文件 URL】。

TB1vtK9vW61gK0jSZFlXXXDKFXa-1573-740.png

2) 切换回终端页面,执行如下命令,返回 ECS 服务器的 /alidata/www/default 目录下,并进入服务器访问首页 index.html 的编辑界面。

cd /alidata/www/default
vim index.html

3) 在 下,找到第一张图片的链接参数 src="https://developer.aliyun.com/01.png",删除 01.png,并粘贴上面步骤中复制的上传到 OSS 01.png 图片的访问

地址。 同理,修改 02.png,03.png,04.png 的链接地址为 OSS 的存储地址。

TB1V_2Uumf2gK0jSZFPXXXsopXa-965-537.png

4) 完成所有图片的修改后,点击 esc键 退出编辑状态,执行以下命令保存并退出编辑页面。

:wq

10.在浏览器中,刷新 ECS实例的 外网地址 的访问页面,页面将再次显示 花园 的图片,说明现在网站可以使用存储在 OSS 上的图片来显示页面。

TB1NsjUuoT1gK0jSZFrXXcNCXXa-537-605.png

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
4月前
|
存储 安全 数据管理
服务器违规资源被删,数据定时备份OSS 云存储才是 “救命稻草”
在数字化时代,数据已成为企业与个人的核心资产。然而,服务器违规、硬件故障等问题频发,导致数据丢失、业务中断,甚至造成不可挽回的损失。为保障数据安全与业务连续性,定时备份至关重要。阿里云国际站OSS提供高效、可靠的云存储解决方案,支持自动定时备份,帮助用户轻松应对数据风险。本文详解OSS备份操作步骤与注意事项,助你为数据穿上“防护甲”,实现安全无忧存储。
|
10月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列(原 MNS)订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS(Object Storage Service)中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时,你可以通过设置 OSS 的事件通知规则,自定义关注的文件,并将 OSS 事件推送到轻量消息队列(原 MNS)的队列或主题中,开发者的服务即可及时收到相关通知,并通过消费消息进行后续的业务处理。
250 92
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
1058 161
|
9月前
|
关系型数据库 数据库 对象存储
Dify实践|Dify on DMS+对象存储OSS,实现多副本部署方案
本文介绍了在DMS上部署Dify的详细步骤,用户可选择一键购买资源或基于现有资源部署Dify,需配置RDS PostgreSQL、Redis、AnalyticDB for PostgreSQL等实例,并设置存储路径和资源规格。文中还提供了具体配置参数说明及操作截图,帮助用户顺利完成部署。
|
10月前
|
消息中间件 对象存储
轻量消息队列(原 MNS)订阅 OSS 事件实践
使用轻量消息队列订阅OSS事件,实时处理文件变动,赢取ins风U型枕(限量500个)。访问活动页面,完成实操并上传截图即可参与领奖。活动时间:即日起至2025年2月28日16:00。奖品数量有限,先到先得,快来报名吧!
187 2
|
弹性计算 数据管理 应用服务中间件
活动实践 | 借助OSS搭建在线教育视频课程分享网站
本教程指导用户在阿里云ECS实例上搭建在线教育网站,包括重置ECS密码、配置安全组、安装Nginx、创建网站页面、上传数据至OSS、开通OSS传输加速、配置生命周期策略及清理资源等步骤,实现高效、低成本的数据管理和网站运营。
活动实践 | 借助OSS搭建在线教育视频课程分享网站
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
1087 10
|
11月前
|
存储 人工智能 数据管理
云端问道17期方案教学-AI场景下的对象存储OSS数据管理实践
本文介绍了AI场景下的对象存储OSS数据管理实践,由阿里云技术专家明锦分享。主要内容分为两部分:1) AI场景下对象存储实践方案,包括对象存储的应用、优势及在模型推理中的优化;2) OSS常用工具介绍,如OSSFS、Python SDK、Go SDK等,并详细说明了这些工具的特点和使用场景。文中还探讨了不同模式下的性能优化,以及即将推出的OS Connector for AI/ML工具,旨在提升数据下载速度和IO性能。
295 0