您的位置:首页-公司动态 - NIST最新新闻- 美国NIST最终的“大数据”框架将帮助我们了解数据匮乏的时代

美国NIST最终的“大数据”框架将帮助我们了解数据匮乏的时代

发布时间:2019.11.01 新闻来源:NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司 浏览次数:
NIST大数据互操作性框架(NBDIF)旨在帮助创建软件工具(在此以电子表格页面表示),该软件工具可以使用任何类型的计算平台来分析数据,并且可以轻松地从一个平台移动到另一个平台。 

图片来源:  N。Hanacek / NIST
为了改进分析大量数据的方法,美国国家标准技术研究院(NIST)的计算机科学家发布了有关如何构建更广泛有用的技术工具的广泛规范。 

经过多年的努力,该机构发布了NIST大数据互操作性框架的最终版本,该框架是NIST与来自行业,学术界和政府的800多位专家之间的合作。该框架共九册,旨在指导开发人员如何部署可以使用任何类型的计算平台(无论是一台笔记本电脑还是最强大的基于云的环境)来分析数据的软件工具。同样重要的是,它可以允许分析人员从一个平台将他们的工作到另一个替换为更先进的算法,而不需要重新更换的计算环境。

“我们希望使数据科学家使用他们选择的任何平台或具有可用做有效的工作,但是和它们的操作增长或改变,”沃昌,协作的工作小组之一的NIST计算机科学家和召集人说。“这个框架是如何创建工具创建一个‘不可知’的环境的参考。如果开发分析工具时,软件供应商使用该框架的指引,那么分析师的结果可以不间断地流动,甚至作为他们的目标发生了变化和技术的进步。”

该框架填充数据的科学家,谁被要求从越来越大的和更多样化的数据集提取的意思,而导航的移技术的生态系统中一个长期存在的需要。这些庞大的数据量,从越来越多的平台纷至沓来,从望远镜和物理实验,我们已经链接到物联网的无数微小的传感器和设备的互操作性是越来越重要。虽然若干年前,世界正在生成数据的2.5艾字节(十亿十亿字节)的每一天,这一数字预计将达到2025年的每日463个艾字节。(这比将适合于2.12亿的DVD。) 

NIST大数据互操作性框架(NBDIF)旨在帮助创建软件工具(在此以电子表格页面表示),该软件工具可以使用任何类型的计算平台来分析数据,并且可以轻松地从一个平台移动到另一个平台。 

图片来源:  N。Hanacek / NIST
为了改进分析大量数据的方法,美国国家标准技术研究院(NIST)的计算机科学家发布了有关如何构建更广泛有用的技术工具的广泛规范。 

经过多年的努力,该机构发布了NIST大数据互操作性框架的最终版本,该框架是NIST与来自行业,学术界和政府的800多位专家之间的合作。该框架共九册,旨在指导开发人员如何部署可以使用任何类型的计算平台(无论是一台笔记本电脑还是最强大的基于云的环境)来分析数据的软件工具。同样重要的是,它可以允许分析人员从一个平台将他们的工作到另一个替换为更先进的算法,而不需要重新更换的计算环境。

“我们希望使数据科学家使用他们选择的任何平台或具有可用做有效的工作,但是和它们的操作增长或改变,”沃昌,协作的工作小组之一的NIST计算机科学家和召集人说。“这个框架是如何创建工具创建一个‘不可知’的环境的参考。如果开发分析工具时,软件供应商使用该框架的指引,那么分析师的结果可以不间断地流动,甚至作为他们的目标发生了变化和技术的进步。”

该框架填充数据的科学家,谁被要求从越来越大的和更多样化的数据集提取的意思,而导航的移技术的生态系统中一个长期存在的需要。这些庞大的数据量,从越来越多的平台纷至沓来,从望远镜和物理实验,我们已经链接到物联网的无数微小的传感器和设备的互操作性是越来越重要。虽然若干年前,世界正在生成数据的2.5艾字节(十亿十亿字节)的每一天,这一数字预计将达到2025年的每日463个艾字节。(这比将适合于2.12亿的DVD。) 

计算机专家使用“大数据分析”指的是借鉴这些超大规模数据集的见解系统方法。随着工具可用性的快速增长,数据科学家现在可以选择将其工作从单一的小型桌面计算设置扩展到具有许多处理器节点的大型,基于分布式云的环境。但通常,这种转变对分析师提出了巨大的要求。例如,工具可能要使用不同的计算机语言或算法,耗费的工作时间和潜在的时间关键的见解从头开始重建。

该框架旨在帮助解决这些问题。与NIST先前发布的框架草案版本一样,最终版本包含共识定义和分类法,以帮助确保开发人员在讨论新工具的计划时位于同一页面上。它还包括这些工具应具备的对数据安全性和隐私保护的关键要求。什么是最终版本新是一个参考架构,接口规范,将引导这些工具的实际部署。 

Chang说:“参考架构接口规范将使供应商能够构建任何工具都可以在其中运行的灵活环境。” “以前,没有关于如何创建可互操作解决方案的规范。现在他们将知道如何。” 

这种互操作性可以帮助分析人员更好地解决一些数据密集型的当代问题,如天气预报。气象学家将大气分成小块,并使用大数据技术跟踪每个块的分析模型,以跟踪暗示未来的变化。随着这些模块变得越来越小,以及我们分析更精细细节的能力不断增强,如果可以将我们的计算组件替换为更高级的工具,则预测可以改善。 

Chang说:“您可以使用变量平行移动的多个方程来对这些多维数据集进行建模。” “很难跟踪所有这些信息。该框架的不可知环境指气象学家可以在改进交换到现有的模型。这将为预报员提供很大的灵活性。”

另一个潜在的应用是药物发现,其中科学家必须探索多种药物候选蛋白质的行为,在一个回合的测试,然后将结果反馈到下一轮。不同于天气预报,其中一种分析工具,必须保持跟踪同时更改多个变量,药物开发过程中产生,其中的变化来在序列数据的长字符串。虽然这个问题需要一个不同的大数据的方法,这将仍然可以轻松地做出改变的能力中受益,如药物开发已经是一个耗时且昂贵的过程。

无论是解决这些问题还是其他与大数据相关的问题之一(从发现医疗保健欺诈行为到从DNA样本中识别动物),该框架的价值都在于帮助分析师相互交流并更轻松地应用所有数据他们实现目标所需的工具。 

NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司Chang表示:“使用最新的机器学习和AI技术进行分析,同时仍采用旧的统计方法都是可能的。” 这些方法中的任何一种都行得通。参考架构将让您选择。” 计算机专家使用“大数据分析”指的是借鉴这些超大规模数据集的见解系统方法。随着工具可用性的快速增长,数据科学家现在可以选择将其工作从单一的小型桌面计算设置扩展到具有许多处理器节点的大型,基于分布式云的环境。但通常,这种转变对分析师提出了巨大的要求。例如,工具可能要使用不同的计算机语言或算法,耗费的工作时间和潜在的时间关键的见解从头开始重建。

该框架旨在帮助解决这些问题。与NIST先前发布的框架草案版本一样,最终版本包含共识定义和分类法,以帮助确保开发人员在讨论新工具的计划时位于同一页面上。它还包括这些工具应具备的对数据安全性和隐私保护的关键要求。什么是最终版本新是一个参考架构,接口规范,将引导这些工具的实际部署。 

Chang说:“参考架构接口规范将使供应商能够构建任何工具都可以在其中运行的灵活环境。” “以前,没有关于如何创建可互操作解决方案的规范。现在他们将知道如何。” 

这种互操作性可以帮助分析人员更好地解决一些数据密集型的当代问题,如天气预报。气象学家将大气分成小块,并使用大数据技术跟踪每个块的分析模型,以跟踪暗示未来的变化。随着这些模块变得越来越小,以及我们分析更精细细节的能力不断增强,如果可以将我们的计算组件替换为更高级的工具,则预测可以改善。 

Chang说:“您可以使用变量平行移动的多个方程来对这些多维数据集进行建模。” “很难跟踪所有这些信息。该框架的不可知环境指气象学家可以在改进交换到现有的模型。这将为预报员提供很大的灵活性。”

另一个潜在的应用是药物发现,其中科学家必须探索多种药物候选蛋白质的行为,在一个回合的测试,然后将结果反馈到下一轮。不同于天气预报,其中一种分析工具,必须保持跟踪同时更改多个变量,药物开发过程中产生,其中的变化来在序列数据的长字符串。虽然这个问题需要一个不同的大数据的方法,这将仍然可以轻松地做出改变的能力中受益,如药物开发已经是一个耗时且昂贵的过程。

无论是解决这些问题还是其他与大数据相关的问题之一(从发现医疗保健欺诈行为到从DNA样本中识别动物),该框架的价值都在于帮助分析师相互交流并更轻松地应用所有数据他们实现目标所需的工具。 

NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司Chang表示:“使用最新的机器学习和AI技术进行分析,同时仍采用旧的统计方法都是可能的。” 这些方法中的任何一种都行得通。参考架构将让您选择。” 
本文共分 1
分享到:
上一篇:根据检测目的使用适当类型的内毒素标准品
下一篇:采购项目名称:昌邑市检验检测中心化学试剂、耗材、标准品采购项目