连续的数据供应可确保数据密集型仿真能够以最高速度运行

易百纳技术社区 2020-11-11 15:30:00 2651

编排更多远程存储层和主内存之间的数据移动可以使仿真速度提高2.5倍。信用:KAUST
由KAUST研究人员开发的抢先式内存管理系统可以消除因数据传输缓慢而造成的延迟,从而将数据密集型仿真速度提高2.5倍。该开发优雅而透明地解决了现代超级计算中最顽固的瓶颈之一,即以足够快的速度从内存传送数据以跟上计算的速度。

研究团队的Hatem Ltaief解释说:“减少数据的移动同时保持数据与计算硬件的距离是计算科学家处理大数据所面临的最艰巨的挑战之一。” “由于计算速度和内存传输能力之间的差距越来越大,以及在远程存储介质上存储大量数据的需求,这种情况更加恶化。”

处理大数据的关键挑战是将数据存储在内存中的成本和规模。内存越快,成本就越高,并且需要在计算元素之间移动数据的速度就越快。因为即使在功能最强大的超级计算平台上,也只能使用相对较小容量的最快内存,因此系统工程师会依次添加更大,更慢和更远程的内存层,以容纳大数据集典型的TB级和PB级数据。

“在这种敌对环境中,我们的系统通过减少将数据移入和移出远程存储硬件的开销发挥了作用,” Ltaief说。

Ltaief与同事David Keyes和Tariq Alturkestani共同开发了他们的多层缓冲系统(MLBS),以通过协调存储层之间的数据移动来主动维护数据,使其与计算硬件尽可能接近。

Alturkestani说:“ MLBS依靠一种多级缓冲技术,该技术通过使其“看到”所有数百PB的数据都在快速存储器中,从而使模拟胜过智能。“缓冲机制可以防止应用程序在需要访问位于远程存储上的数据时停止运行,从而允许应用程序通过异步计算操作全速运行。”

MLBS提供的这种协同作用,使用KAUST的Shaheen-2超级计算机进行了涉及数百PB数据移动的三维地震勘探模拟,实现了2.5倍的加速。

Ltaief说:“这种方法还减少了将数据移入和移出远程存储介质所需的能量,这可能比在本地内存上执行单个计算的能量高数百倍。” “使用MLBS,我们可以减轻数据移动的能源开销,这是我们中心的主要目标之一。”

来自:https://theoldreader.com/feeds/5f69970dfea0e71011000d05

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 8 6 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
易百纳技术社区
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区