ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据的概念和特征 [打印本页]

作者: 嚴華 时间: 2024-7-20 13:12
标题: 大数据的概念和特征
一、概念

大数据时常被人们提起，那到底什么是大数据呢？
大数据和数据库范畴的超大规模数据库（VLDB）、==海量数据（massive data）==有什么不同呢？
“超大规模数据库”这个词是20世纪70年代中期出现的。在数据库范畴一直享有盛誉的VLDB国际会议就是1975年开始举办的，当时数据库中管理的数据集有数百万条记载，就是超大规模了。
“海量数据”则是21世纪初出现的新词，用来描述更大的数据集以及更加丰富的数据类型。
2008年9月《自然》杂志出书专刊Big Data：science in the Petabyte Era，“大数据”这个词开始被广泛流传。
上述这些词都表示需要管理的数据规模很大，相对于当时的盘算机存储和和处理技术水平而言遇到了技术挑衅，需要研究和发展更加先辈的技术才气有用的存储、管理和处理它们。
为了应对“ 海量数据 ”的挑衅，人们研究了各种半布局化数据和非布局化数据的数据模型，以及对它们的有用管理、多源数据的集成问题等。因此，大数据并不是当前期间所独有的特征，而是伴随着社会发展和科技水平的提高而不停发展演化的。当前，人们从不同的角度在诠释大数据的内涵。关于大数据的一个定义是，一般意义上，大数据是指无法在可容忍的时间内用现有的信息技术和软硬件工具对其举行感知、获取、管理、处理和服务的数据集合。
另有一些专家给出的定义是，大数据通常被认为是PB（1024TB）或EB（1024×1024TB）或更高数量级的数据，包括布局化的，半布局化的和非布局化的数据，其规模或复杂程度超出了传统数据库和软件技术所能管理和处理的数据集范围。
也有一些专家按大数据的应用类型，将大数据分为海量事务处理数据（企业联机事务处理应用）、海量交互数据（外交网络、传感器、GPS 、web信息）和海量分析处理数据（企业毗连分析处理应用）。
海量事物处理数据的应用特点是：

数据海量，读写利用比较简单
访问和更新频繁，一次处理的数据量不大，但要求支持事物的ACID特性
对数据的完备性和安全性要求高，必须保证强同等性

海量交互数据的应用特点是：

实时交互性强，但不要求支持事物特性
数据的典范特点是类型多样异构、不完备、噪声大、数据增长快，不要求具有强同等性

海量分析处理数据的应用特点是：

面向海量分数据分析，盘算复杂，每每涉及多次迭代才气完成
寻求数据分析的高效率，但不要求支持事物特性
一般采用并行与分布式处理框架实现
数据的特点是同构性（如关系数据、文本数据或列模式数据）和较好的稳定性（不存在频繁的更新利用）。

二、大数据的特征

1、数据量大

大数据的首要特征是数据量巨大，而且是持续、急剧地膨胀。很多研究机构估算，2020年环球数据总量已经凌驾了40ZB。
大规模数据的重要来源包括：科学研究、互联网应用、电子商务范畴、自媒体网站、传感器数据、网站点击流数据、移动设备数据、射频识别数据、传统的数据库和数据仓库所管理的布局化数据。
2、类型多样性

越来越多的应用使用和产生的数据类型不再是纯粹的关系数据，更多的是非布局化、半布局化的数据，如文本、网络、图像、音频、视频、网页、推特和博客。现代互联网应用呈现出非布局化数据大幅增长的特点。
3、变革快

大数据的第三个特点是数据变革快，一方面指数据到达的速度很快，另一方面指有些场景需要数据举行处理的时间很短，大概要求相应速度很快，即实时相应。
4、蕴含价值

大数据的价值是潜伏的、巨大的。大数据不但具有经济价值和财产价值，而且具有科学价值。这是大数据最紧张的特点，也是大数据的魅力所在。
大数据价值的潜伏性是指数据蕴含的巨大价值只有通过对大数据以及数据之间蕴含的联系举行复杂的分析、反复深入的发掘才气获得。而大数据自身存在的规模巨大、异构多样、快变复杂、安全隐私等问题，以及数据孤岛、信息私有、缺乏共享的客观现实都拦阻了数据价值的创造，其巨大潜力和目标实现之间还存在着巨大的鸿沟。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)