洛克王国可抓十大最强宠物-华为发布大模型时代AI存储新品
中存储消息,大模代7月14日,存储新华为发布大模型时代AI存储新品,发布为基础模型训练、大模代行业模型训练,存储新洛克王国可抓十大最强宠物细分场景模型训练推理提供存储最优解,发布释放AI新动能。大模代
企业在开发及实施大模型应用过程中,存储新面临四大挑战:
首先,发布数据准备时间长,大模代数据来源分散,存储新归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。
华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。
华为数据存储产品线总裁 周跃峰
OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。
FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。
华为数据存储产品线总裁周跃峰表示:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。”
(责任编辑:休闲)
-
《方舟:保管进化》手游“沉思海岸”地牢正式上线2020-07-02编辑:angle307 本次“沉思海岸”地牢傍边的最终BOSS为育母蜘蛛,在BOSS房间内地面存 ...[详细]
-
从特定领域者到挑战者 Gartner存储魔力象限图上华为存储的转变
从Gartner存储魔力四象限来看,华为存储的转变体现在从特定领域者象限跨越到挑战者象限,背后是华为存储坚持产品研发、市场开拓的结果。Gartner的魔力四象限(Magic Quadrant)我们已经 ...[详细] -
IDC发布2014年对象存储市场格局报告,18家厂商上榜,Scality榜首,华为跻身其中,HDS市场份额扩大,EMC份额略有下降。IDC最新关于对象存储市场2014报告显示:目前在对象存储市场中活跃 ...[详细]
-
未来确定了三项效率举措:优化诺顿业务,简化产品支持,以及减少全球业务机构,这三项举措将推动公司业绩在下半财年的持续增长。昨天赛门铁克公司今天公布了2015财年第一财季截至2014年7月4 日)的业绩。 ...[详细]
-
国产恐怖冒险游戏《纸人贰》上架Steam 7月发售!2020-06-01编辑:辉 由Beijing Litchi开发的国产恐怖冒险游戏《纸人》续作《纸人贰(Pap ...[详细]
-
不在Gartner 2014全闪存阵列魔力四象限?HDS有话要说
Gartner公司公布的2014全闪存阵列魔力四象限图,老牌存储厂商日立数据系统HDS)和戴尔公司未能“入局”,对此日立数据系统简称HDS)公司近日公开抨击Gartner对“全闪存阵列”SSA)的特有 ...[详细] -
Infortrend发布SSD存储系统EonStor DS 3000T
Infortrend 发布了新一代的 EonStor DS 3000T 存储系统,集成了Infortrend致力发展的SSD 相关解决方案,可将系统全部加载SSD而成为超高速的全SSD存储系统。近日, ...[详细] -
用悬浮在水中的纳米微粒来存储照片、视频和其他文档信息,有望制造出新型脑植入设备,提升人的脑力.美国科学家最近开发出一种新技术,可以用悬浮在水中的纳米微粒来存储照片、视频和其他文档信息。这种名为&ldq ...[详细]
-
经典武侠爆款来了《剑侠世界3》苹果免费榜总榜第一2022-01-04编辑:angle307 在这个全新的江湖中,热血家族战、宋金战场等经典玩法等你来战,面对面交易 ...[详细]
-
希捷中国打算大刀阔斧改革硬盘领域的规则和“潜规则”,赋予传统企业重新发展的闯劲和冲劲。每个行业都有规则和“潜规则”,硬盘领域也不例外。在规则方面,技术、研发、新品都有规范可循; ...[详细]