新框架突破高性能计算的极限

大规模、先进的高性能计算(通常称为超级计算)对于解决复杂的大规模问题至关重要。

从回答关于宇宙起源的形而上学问题到发现抗癌药物到支持高速流媒体服务，一切都需要处理大量数据。然而，这些高级计算机系统的基本存储平台一直保持在严格的框架中，要求用户在功能定制或高可用性之间进行选择。现在，弗吉尼亚理工大学的研究人员找到了一种方法，通过第一个名为BespoKV的框架，使高性能计算(HPC)数据系统灵活发展，这可能有助于有一天实现HPC的目标。每秒一亿次计算。研究人员将于11月13日在德克萨斯州达拉斯举行的计算机学会/IEEE超级计算大会上展示他们的研究成果。

新平台功能的主要组成部分是临界值(KV)系统。KV系统从非常快速的基于内存的存储器而不是慢速磁盘中存储和检索重要数据。这些系统越来越多地用于当今使用分布式系统的高性能应用中。这些应用程序由许多计算机组成来解决问题。高性能计算依靠计算机以前所未有的速度接收、处理和分析大量数据。目前最好的系统每秒运行petaflops或petaflops。这项研究与处理大量数据的行业有关，无论是空间占用还是电影流媒体网站的强视觉图形；大型信用卡公司的数百万笔金融交易；或者社交媒体上的用户生成内容。想象一下像脸书这样的大型媒体网站，它的内容是不断变化和被访问的。当用户将内容上传到他们的个人资料页面时，这些信息驻留在多个服务器上。

但是，如果您必须经常访问某些内容，KV系统作为存储介质会更有效，因为内容是从附近的内存存储而不是远程存储服务器加载的。这允许系统在完成任务或请求时提供非常高的性能。“我对临界值系统感兴趣，因为这种非常基本和简单的存储平台尚未在高性能计算系统中利用，它可以提供许多好处，”论文的第一作者阿里安瓦尔说，他毕业于弗吉尼亚理工大学，目前在IBM Research工作。“BespoKV是一个新颖的框架，它可以使HPC系统提供大量的灵活性和性能，而不是被严格的存储设计所束缚。”

BespoKV的主要创新在于支持一系列KV商店与所需功能的组合。其工作原理是采用名为datalet的单服务器KV存储，支持即时即用的分布式KV存储。现在，开发人员可以将数据集放入BespoKV，将分布式系统的“混乱管道”卸载到框架中，而不是从零开始重新设计系统来完成一个特定的任务。BespoKV将KV存储设计从用于分布式管理的控制平面和用于本地数据存储的数据平面中分离出来。

该框架还为企业和机构的意外工作负载提供了新的HPC服务。当前最先进的KV商店的主要限制效果之一是它们在设计时考虑了预先存在的分布式服务，并且通常专用于特定的设置。另一个限制因素是不灵活的整体设计，其中分布式功能通过后端数据存储深度集成到系统中，后端数据存储执行管理库存、订单和供应等操作。这些KV商店严格的设计无法满足不断变化的用户对无数后端、拓扑、一致性等诸多服务的需求。

计算机科学教授Aribat表示：“大公司的开发人员可以真正参与到使用BespoKV设计创新的HPC存储系统的过程中。”数据访问性能是HPC存储系统的主要限制。通常采用混合解决方案来提供灵活性和性能，这很麻烦。我们已经创建了一种方法来显著加快系统行为，以满足所需的性能、一致性和可靠性水平。BespoKV非常灵活，因为它允许在所需服务和可用组件之间进行任意映射，同时支持分布式管理服务，以实现和启用与数据集相关联的分布式KV存储现在我们已经证明，我们可以在强大的HPC系统中使用KV系统来实现高效而简单的操作，客户不必在可扩展性和灵活性之间做出选择，”Butt说。这项研究由国家科学基金会资助。除了Anwar和Butt，合作者还包括弗吉尼亚理工大学计算机科学助理教授Dongyoon Lee同样来自弗吉尼亚理工大学的Jingoo Han橡树岭国家实验室；乔治梅森大学；和Perspecta实验室。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！