1.2.3 大数据的特征、维度及技术

微视频

大数据的特征、维度及技术

大数据通常用来形容某个组织或企业创造的大量非结构化和半结构化数据。面对复杂的大数据困扰，可以通过大数据的特征来理解。

1.大数据的特征

尽管大数据难于梳理，但可以提炼它的主要特点。大数据有4个层面特点，也可将其归纳为4个“V”——Volume、Variety、Value、Velocity。IBM则提出大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。表1-4汇总了大数据特征。

1）数据体量巨大（大量）（Volume）。从TB级别，跃升到EB级别（1TB=1024GB；1PB=1024TB；1EB=1024PB）。

2）数据类型繁多（多样）（Variety）。例如，网络日志、视频、图片、地理位置信息等。

3）价值密度低（Value）。价值密度低，商业价值高。以视频为例，在连续不间断监控过程中，可能有用的数据仅仅有1～2s。

4）处理速度快（Velocity）。由通常的离线处理变为在线处理，由在线事务处理（OLTP）变为在线分析处理（OLAP）。数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在所谈的大数据不仅仅是大，更重要的是数据变得在线了，这是互联网高速发展背景下的特点。

表1-4 大数据特征

2.大数据的3个维度

下面系统地认识大数据的维度，可以从理论、技术和实践3个维度来展开。图1-10所示为大数据的3个维度。

（1）理论维度

理论是认知的必经途径，也是被广泛认同和传播的基础内容。从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

图1-10 大数据的3个维度

（2）技术维度

技术是大数据价值体现的手段和前进的基石，分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

（3）实践维度

实践是大数据的最终价值体现。从互联网大数据、政府大数据、企业大数据和个人大数据4个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

3.大数据技术

大数据需要特殊的技术，以便有效地处理跨多个服务器和离散存储的数据。适用于大数据的技术包括大规模并行处理数据库、数据挖掘、信息可视化、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。