慧聪网首页慧聪通信网首页资讯展会人物运营商设备商3G手机iPhone手机CDMA找供应找求购免费注册立即登录加入买卖通即时沟通网站导航

杨锦涛:QingStor对象存储2.0和文件存储

http://www.tele.hc360.com2017年08月04日13:51 来源:慧聪通信网T|T

    【慧聪通信网】7月28日-29日,青云QingCloud Insight 2017云计算峰会在北京举行,有超过2000名来自不同行业的重量级嘉宾、CIO/CTO、工程师、开发者、技术爱好者出席本届峰会。青云QingCloudQingStor™对象存储研发总监杨锦涛在会上分享了青云QingStor在对象存储2.0和文件存储方面的心得和体会。以下是演讲全文:

    杨锦涛:大家好!我演讲的主题是QingStor™对象存储2.0和文件存储。因为涉及两款产品,我的演讲会分为两部分。

    对象存储截止到今天,已经开发了三年的时间,从2014年7月23日开始,到2016年1月6日发布第一个版本,经过大半年公测,在9月13日正式发布。在对象存储1.0的时候,我们完成了对象存储系统本身的核心目标,不限容量、不限用户类型,整个系统可以无限扩展。到了这个阶段我们再思考,从1.0到2.0之间,我们大量接触私有云和公有云用户的需求之后,进行提炼和重新思考产品的定位,做产品功能的升级、产品架构的升级以及产品体系的延伸。今天发布的QingStorTM对象存储2.0是可以兼顾公有云需求和私有云需求的企业级存储解决方案。

    对象存储2.0做了哪些重大的升级?这是产品定位的变化,1.0版本解决的是对象存储的核心需求,是一个通用的海量非结构化的存储平台。要真正成为企业级成熟解决方案时,我们会面临一个主要的市场——私有云市场,私有云市场是国内外存储厂商耕耘多年的市场,为了进入市场,我们重新调整产品定位。第一是独立部署,可以独立交付;第二是在最大程度上降低存储成本。在私有云里,成本是用户是第一敏感的要素。

青云对象存储

    我会围绕管理、产品外延、产品平台、功能迭代,这些点逐个展开谈谈。在成本方面,我们做了很多工作,从硬件、软件架构、软件功能,我们设计了四款机型,这是对象存储的节点。第一类是青立方S10,12乘以4T,青立方S20是16乘以8T,青立方S10和S20定义为标准存储。青立方S30是36乘以8T,S40是外置存储,两个机头作为控制器,下面可以带JBOD扩展框,每一个扩展框里最多有60张盘,最多可以带1-4个扩展框,理论上它可以带更多的扩展框。这次发布支持1-4个扩展框,假设硬盘是10T,单个存储节点的物理容量空间最高到2.4P。青立方S30和S40的定位是低频存储,以上是我们在硬件层面的设计和选型。在此基础之上,我们在软件上做了存储分层,我们要降低成本,但是成本和性能往往是一对矛盾。为了满足各种用户性能上的需求,S10和S20作为标准存储节点,S30和S40作为低频存储节点,同时支持标准存储集群和低频存储集群,通过Bucket存储生命周期管理覆盖各种用户场景。在数据冗余方案上同时支持三副本和纠删码,纠删码是非常重大的举措。有人可能会有疑惑,既然支持了纠删码,为什么不放弃三副本的方案?三副本方案和纠删码方案各有优劣:三副本的方案的成本高一点,纠删码的成本要第低一点,但性能上会有一些损耗,写入时会有编码动作,在读取时会有解码的动作,尤其在整个条带里面出现坏块的时候有恢复的动作,也就是说它会有读惩罚。在三副本方案里,读任何一个副本都可以。

    我们的方案是在标准存储之上提供三副本方案,因为本来是面向热数据的场景,在低频存储上,我们提供纠删码方案。在低频存储上,我们的纠删码方案分为两类,一类是由S30组成的存储集群做跨机器的纠删码;对于S40做单机器内的纠删码,因为有一些用户场景,用户对数据的安全性要求没那么高,同时希望存储节点是高密的,S40是为了这种场景定制的。以上是我们在降低存储成本方面做的一系列动作。

    独立交付,主要分为两部分,一是账户体系的独立,我们把整个账户体系独立到青云的各个产品之外,成为一个Shared Service,包括账户的Server和Console。独立交付的意义是在面向私有云市场的时候,可以让用户有很多的选择,用户在做整个基础架构的设计时,有更多的灵活性。

    管理Portal在私有云场景里面是非常重要的,没有管理Portal,部署上去的系统对于用户是黑盒子,用户是想尽可能多的了解系统的各种状态。管理Portal目前版本支持以下功能,监控分为系统监控和服务监控,所谓服务的监控指的是对象系统、存储系统的各种组件自己监控。日志会收集整个对象存储系统各个组件所产生的日志,进行汇总,提供查询和过滤。

青云对象存储

    告警系统支持向外围用户自定义的方式进行告警信息的推送,像Email、短信,将来会支持更多。权限管理、Bucket管理、用户和APIKey管理。权限管理是Portal本身的权限管理,它是面向系统管理员的。Dashboard是对整个对象存储系统的汇总以及报表展示,将来会在Dashboard层面做更多工作。

    接下来介绍对象存储从1.0到2.0功能上的迭代,其中有一些很重要的功能,比如:Bucket的跨区复制允许用户通过这个功能做数据上的灾备;存储分层和Bucket生命周期管理可以降低成本,覆盖用户各种场景;Object Versioning主要是针对数据安全,类似块存储的快照功能。

    在平台层面,从对象存储1.0开始思考对象存储的整个产品定位,我们重新设计产品体系。设计产品体系非常重要的一环是我们做的不仅是存储,对象存储和大数据平台的集成是我们向外延伸的一个举措,目前我们测试和验证过的大数据平台的产品有Hadoop、Spark、Elastic Search和Logstash。把对象存储2.0打造成平台的意义是能够帮助用户将存储和分析计算打通。以Hadoop为例,用户所产生的数据可以直接丢给对象存储,对象存储有很方便的API,不管数据在哪里产生,通过HTTP上传到对象存储。Hadoop作为计算资源可以直接进行消费,消费完产生的数据可以回填到对象存储中,整个流程就像一条流水线,数据可以流动起来。

责任编辑:王彩屏

上一页12下一页

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

慧聪TMT

打造广电科技新媒体