炫乐彩票

  • <tr id='HTVHCs'><strong id='HTVHCs'></strong><small id='HTVHCs'></small><button id='HTVHCs'></button><li id='HTVHCs'><noscript id='HTVHCs'><big id='HTVHCs'></big><dt id='HTVHCs'></dt></noscript></li></tr><ol id='HTVHCs'><option id='HTVHCs'><table id='HTVHCs'><blockquote id='HTVHCs'><tbody id='HTVHCs'></tbody></blockquote></table></option></ol><u id='HTVHCs'></u><kbd id='HTVHCs'><kbd id='HTVHCs'></kbd></kbd>

    <code id='HTVHCs'><strong id='HTVHCs'></strong></code>

    <fieldset id='HTVHCs'></fieldset>
          <span id='HTVHCs'></span>

              <ins id='HTVHCs'></ins>
              <acronym id='HTVHCs'><em id='HTVHCs'></em><td id='HTVHCs'><div id='HTVHCs'></div></td></acronym><address id='HTVHCs'><big id='HTVHCs'><big id='HTVHCs'></big><legend id='HTVHCs'></legend></big></address>

              <i id='HTVHCs'><div id='HTVHCs'><ins id='HTVHCs'></ins></div></i>
              <i id='HTVHCs'></i>
            1. <dl id='HTVHCs'></dl>
              1. <blockquote id='HTVHCs'><q id='HTVHCs'><noscript id='HTVHCs'></noscript><dt id='HTVHCs'></dt></q></blockquote><noframes id='HTVHCs'><i id='HTVHCs'></i>
                教育【装备采购网
                第六╲届图书馆论坛580*60

                元宇宙存㊣储:如何为ZB级数据「打造魔法护盾

                教育装备采购╱网 2022-06-16 17:02 围观1264次

                  百■万猎人兵临城下,向魔法护盾发√起猛烈冲击,却无法将拥有99级神力的护盾撼动分毫。

                  这是科幻电影《头号玩家》里的一幕。电影里,不仅“绿洲”被视为元宇宙未来理想←形态,“魔法护盾”也迅速跨界出圈,在企业数据管理领域引发关注。这是因为随着数字经济快速发展,数据要素在受到企业重视的同时,全球超80%的IT决策者认为现有数据保护方案无法满足未来业务♂挑战,保护好数据资产成为企业的当务之急。

                  日前,在由存储产业技术创新联▲盟主办的“元宇〒宙存储研究与实践”开放计算∮技术沙龙上,来自中科大、华中大、郑州大学、建信金科以及浪潮存储的“产学研用”各界专家汇聚一堂,在关注元宇⌒宙存储发展的同时,还共同就纠删码优化、细粒度感知等数据保护话题展开讨论。本次沙龙是场♀景共同体战略的承袭和实践,浪潮信息存储产品线总经☆理李辉曾提出,面◣向层出不穷的新应用、新场景,携手产业链伙伴推进“平台+生态”战略,以六种模式加速企业数字转型。

                  内容概要:

                  元宇∏宙为代表的新应用带来数据规模十倍、百倍激增,全球超80%IT决策者认为现有数据保护方案无法满足◤未来业务挑战。多副本、纠删码是业界数据容错的两种主流技术。多◥副本存储开销大,纠↓删码开销小,纠删码在数据爆炸式增长的新时代更受企业青睐。纠删码优化,在同一数◎据中心内,可以通过负载均衡技术提〓升数据恢复效率;在跨数据中心场↙景,可以基于LRC分组编码技术提升跨数据中心纠删效率。

                  数据保护 悬在头顶的达摩克里斯之剑

                  数字虚拟人需卐要收集的高达百倍甚至千倍的数据、VR头显从4K升级到视网膜级需提升10倍数据传输量、飞行模拟器采集的数据量超2PB。

                  以元宇宙为代↘表的新应用带来数据规模十倍、百倍激增,快速增长的多模态数据√增加了企业数据保护的难度。数据显示,企业现在管理的数据量是五年前的十倍以上,全球82%、中国88%的IT决策者担心现有∏数据保护方案无法满足未来业务挑战。

                  这些担忧源自企业的现实困境,根据对全球1000名决策者的ㄨ调研,全球30%的受访者在过去一年中经历过数据丢失,45%遭遇过计划外的系统停机。另据IDC统计,在过去12个月,全球超过三分之一的组织遭遇过勒索软件攻击或〓入侵,导致系统▲或数据无法访问。数据保护,已然成为摆在★企业数字化转型面前的一大挑战。本次沙龙,中国科学技术大学许胤龙教授以及浪潮存储技术专家共同给出了答案。

                  数据容错 业界两种技术流派之争

                  “数据容错,业界通常有两种办法,一种是多副本,另一种是纠←删码”,许胤龙→教授表示。多副本访问性能高▃、故障修复快▽,但存储开销比较大(烧钱、占地),令企业直呼吃不消;纠删码开①销小(花小钱、办大事),一般存↘储空间比RAID 1镜像小,在数据爆炸式增长的趋势下更受市场欢迎,企业用脚投票纷纷选择了纠删码。

                元宇宙【存储:如何为ZB级数据打〒造魔法护盾

                三副本和纠删码对比

                  时下人气攀升的纠删码,究竟是╱什么呢? 所谓纠≡删码〓(Erasure Coding),是一种数据保护方法㊣,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同位置,比如硬盘、存储节点或其他♀物理位置。

                  “纠删码,可以简单理解成对原始数据做线性组合”,许胤龙教授█表示。比如 (2+2)纠删码,就是A、B两个数据可以做〒A+B和A+2B的线性ξ 组合,能容任意两个△节点错,当恢复数据的时候直接解方程就行。一般情况下,业界常用的是(k,m)-MDS码,把k个数据编卐码成m个校验数据←,k+m个数据块形成一个条带,最多可以容@ 许m个块同时故障。工业界常见的m一般是2或3,数据规模较大的话,可以把m设为4~6。

                  纠删码 跑得如丝般顺滑并非易事

                  纠删码“花小钱、办大事”的优势虽然非常明∏显,但要在超№大规模数据中心内或者是跨数据中心使用纠删码做数据保护,却需要过五关闯六将,绝非易事。

                  第一关:同一数据中心内,数据恢复的网络传输时间占比〗超90%,纠删码“龟速”难题如何破。

                  纠删码能够降低存储成本、提高容错能力,但纠删码最大的问题是在数据丢失之后,数据恢复︼过程需要从其他地方读取大量数据,故障∩修复堪称龟速。通过对纠删码“从存活节点读取数据、传输、在备份节点解码、传输、在替代〖节点写入”的整个流程做分析,发现网络传输占整个数据恢复时间的比例超90%,如何优化数据↘恢复时间呢?

                  首先,数据分批恢复。在实际系统里面,数据块是随机的分布到不同的节点里,随机数据分布从统计概率的角度来说,是能达到负∏载均衡的。但一般♀来说∩,在系☆统实现的时候,一般来说因为系统IO、内存、CPU资源也有限,同时系统还要支撑前台的应用综合各方面,所以修复一般都会是分批进行。“我们做过实验,分批比不分批大概要快15%左右”,许教▲授表示。

                元宇宙存↘储:如何为ZB级数据打◥造魔法护盾

                清华、港中大、普渡、中科大纷纷开展纠删码优化研究

                  其次,可以利用二部图和网络流图的办法,使得从不同的节点上进行恢复的时候,不同节点上读数据量是均衡※的,写数据量也是均衡的,并且每一个节点承担的恢复任务也是均衡的。清华、港中大、普渡、中科大等顶级高校均对纠删码▃技术进■行了研究,经过优化中科大SelectiveEC技术能够在90%以上的↓情况下都实现负载均衡,相比HDFS大约50%的负∮载均衡水平,中科大的负载均∞衡水平能高出70%以上,恢复速度提↘升30%以上。同时Selective EC比HDFS有更少的毛刺、更短的长尾、更短的任务生命周期。

                元宇宙存储:如何为ZB级数据打造魔法护盾

                纠删码优化结果

                  “我们很认同许教授的々观点,为了实→现数据纠删的负载均衡,浪潮存储一直在》技术上不断打磨和创新”,浪潮信息分布式存储架构师张立强表示。浪潮∑ 分布式存储AS13000突破软硬件协同宽条带纠删→技术,融合多元Ψ 算力,解决数据高冗余比纠删的计算性能、资源消耗、容量、可靠性等指标难以兼顾的问题。举个例子,浪潮存储创新ξ 研制了纠删码FPGA加速卡,设计可重构最小硬件逻△辑单元,实现编解码复用、全纠删比支持,实现宽条带纠☉删的CPU计算卸载。在32+6纠删※比配置下,浪潮存储能够★将处理器平台的CPU占用率降低90%,性能提升390%,这就如同将汽车行驶的速度提升到了复兴号的水平。其实浪潮分布式存ξ 储在高校领域应用广泛,目前已经在中科大、清华、北大、复旦、浙大、中山大学等国内顶级高校实现规模化部署,支撑科研智慧应◇用平台稳定运行,以数据之力助力⊙科研取得丰硕成果。

                  第二关:跨数据中心场景,数ξ据中心带宽极其有限,如何“跨越万水千山”做纠删。

                  考虑到地震、山洪、火灾等灾害『因素影响,大型企〓业往往会跨数据中心做数据保护。所谓跨数据中心,是指多个数据中心可能建在距离城区比︼较远的地方或者是不同的城区的地方,这时候跨数据@中心的带宽就会很宝贵,通常跟数据中心内部的带宽相比,跨数据中心带宽只有1/20。

                元宇宙存储:如何为ZB级数据打造魔法护盾

                跨数据中心带宽约为数据中ζ 心内带宽的1/20

                  RS码部署方式在同一数据中心内做纠删是有优势的,但在跨数据中心环境下却面临挑战。这是因为RS码是把一个条带的数据均匀分布到不同数据中心去。假如现在有15个数据块,把∩它编码成12个校验块,分散在三◤个数据中心,这时候只能容单个数据中心故障,存储开销大概是180%,如果出现单块故障,需要跨数据中心访问7个数据块,需要的带宽开销比较多。

                  新型LRC(Locally Repairable Code)分组编码方◇式,可以在存储开销和恢复性能之间做一个权衡。LRC(k,l,g)分组编码有三个值,k表示数据◢块,l代表局部校验块,g是全局校验块。LRC分组编码通过读取局部数据块,减少重构所需的数★据量,从而提升ω数据修复性能。这就好比618购物,北京小伙︽买一箱牛奶,如何用最快的速度把货物送到顾客手里呢,电商平台会找到距离顾客比较近的天津或河北仓库(类似l局部校验块)进行配送,尽量减少从西安或广州(类似g全局校验块)调货的概∞率。

                元宇宙存储:如何为ZB级数据打造魔法护盾

                LRC分组编码技术优化结果

                  按照新型部署方式,“在实际集群里面,我们实现了数据传输、数据解※码的优化,大概能把速度提升30%”,许胤龙教授表示。

                  “浪潮一直将〇可靠性视为存储的生命线,在异地数据保护方面做了诸多创新”,浪潮信息存储研发部何营表示。浪潮存储不仅基于一套存储架构承载块、文件、对象、大数据等♀多种数据服务,在WAN加速、快速重构、透明故障切换等高级功▲能方面持续◆创新。以WAN广域网加速技术为例▅,浪潮存储通过数据流压缩、固定块切割和多数据流并发,将远程传输性能提升高达10倍、延时降低10倍,帮助海量数据异地迁徙和灾备。

                  小结

                  伴随元宇宙、AI、大数据新技术、新Ψ应用不断涌现,数字经济正在成为中国↑经济发展的关键因素。数据显示,从2020年到2025年数字经济核心产业╲增加值将从7.9万亿提升至13万亿,是驱动GDP增长的引擎。

                  “浪潮存储是整体市场全球前四、分布式存储销量中国第一的存储厂①商,纠删码技术在浪潮大部分分布式存储客户中得到应用→,为产业转型升级构筑了数据护↙盾”,浪潮信息首席架构师叶毓睿表ξ示。未来浪潮存储将携手产学研用各方力量,共建场景共同体驱动社会高质量发展。

                来源:浪潮 责任编辑:阳光 我要投稿
                普教会专题【840*100

                相关阅读

                版权ぷ与免责声明:

                ① 凡本网↓注明"来源:教育装备采购网"的所有作品,版权均属于教育装备采购∩网,未经本网授权ω不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范※围内使用,并注明"来源:教育装备采购网"。违者本网将追究相关法律责任。

                ② 本网凡注明"来源:XXX(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多∞信息,并不代表本网赞№同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载☆使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

                ③ 如涉及作品内容、版权等问题,请在【作品发表之日起两周内与本网联系,否则视为放弃相关权利。

                2022云展会300*245