大数据的概念

感悟时分

1、大数据定义
对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、
洞察发现力和流程优化能力
的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，
如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现
数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机
进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分
布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据
（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数
据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需
要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并
行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的
存储系统。

最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、
DB，它们按照进率1024（2的十次方）来计算：

8bit= 1Byte

1KB= 1,024 Bytes

1MB= 1,024 KB = 1,048,576 Bytes

1GB= 1,024 MB = 1,048,576 KB

1TB= 1,024 GB = 1,048,576 MB

1PB= 1,024 TB = 1,048,576 GB

1EB= 1,024 PB = 1,048,576 TB

1ZB= 1,024 EB = 1,048,576 PB

1YB= 1,024 ZB = 1,048,576 EB

1BB= 1,024 YB = 1,048,576 ZB

1NB= 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

2发展历史编辑
1887–1890年


赫尔曼·霍尔瑞斯
美国统计学家赫尔曼·霍尔瑞斯为了统计1890年的人口普查数据发明了一台电动器来读取卡片上的洞数,该设
备让美国用一年时间就完成了原本耗时8年的人口普查活动，由此在全球范围内引发了数据处理的新纪元。

1935–1937年

美国总统富兰克林·罗斯福利用社会保障法开展了美国政府最雄心勃勃的一项数据收集项目，IBM最终赢得竞
标，即需要整理美国的2600万个员工和300万个雇主的记录。共和党总统候选人阿尔夫兰登scoffs嘲笑地说，
“要整理如此繁多的职工档案，还必须而调用大规模的现场调查人员去核实那些信息不完整的人员记录。”

1943年

一家英国工厂为了破译二战期间的纳粹密码,让工程师开发了系列开创性的能进行大规模数据处理的机器,并
使用了第一台可编程的电子计算机进行运算。该计算机被命名为“巨人”，为了找出拦截信息中的潜在模式，
它以每秒钟5000字符的速度读取纸卡——将原本需要耗费数周时间才能完成的工作量压缩到了几个小时。
破译德国部队前方阵地的信息以后，帮助盟军成功登陆了诺曼底。

1997年

美国宇航局研究员迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据”这一术语来描述20世纪90年代的挑战：
超级计算机生成大量的信息——在考克斯和埃尔斯沃斯按案例中,模拟飞机周围的气流——是不能被处理和可
视化的。数据集通常之大,超出了主存储器、本地磁盘，甚至远程磁盘的承载能力。”他们称之为“大数据问题。”

2002年

在9/11袭击后,美国政府为阻止恐怖主义已经涉足大规模数据挖掘。前国家安全顾问约翰·波因德克斯特领导
国防部整合现有政府的数据集，组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑
人的大数据库。一年后国会因担忧公民自由权而停止了这一项目。

2004年

9/11委员会呼吁反恐机构应统一组建“一个基于网络的信息共享系统”，以便能快处理应接不暇的数据。到2
010年，美国国家安全局的30000名员工将拦截和存储17亿年电子邮件、电话和其它通讯日报。与此同时,零
售商积累关于客户购物和个人习惯的大量数据，沃尔玛自吹已拥有一个容量为460字节的缓存器——比当时
互联网上的数据量还要多一倍。

2007–2008年

随着社交网络的激增，技术博客和专业人士为“大数据” 概念注入新的生机。“当前世界范围内已有的一些其他
工具将被大量数据和应用算法所取代”。《连线》的克里斯·安德森认为当时处于一个“理论终结时代”。一些
政府机构和美国的顶尖计算机科学家声称,“应该深入参与大数据计算的开发和部署工作,因为它将直接有利于
许多任务的实现。”

2009年1月

印度政府建立印度唯一的身份识别管理局，对12亿人的指纹、照片和虹膜进行扫描,并为每人分配12位的数
字ID号码，将数据汇集到世界最大的生物识别数据库中。官员们说它将会起到提高政府的服务效率和减少腐
败行为的作用，但批评者担心政府会针对个别人进行剖面分析并与分享这些人的私密生活细节。

2009年5月


大数据或成反恐分析利器
美国总统巴拉克·奥巴马政府推出data.gov网站作为政府开放数据计划的部分举措。该网站的超过4.45万量数
据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息,这一行
动激发了从肯尼亚到英国范围内的政府们相继推出类似举措。

2009年7月

应对全球金融危机,联合国秘书长潘基文承诺创建警报系统，抓住“实时数据带给贫穷国家经济危机的影响” 。
联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的
问题。

2011年2月

扫描2亿年的页面信息,或4兆兆字节磁盘存储,只需几秒即可完成。IBM的沃森计算机系统在智力竞赛节目《
危险边缘》中打败了两名人类挑战者。后来纽约时报配音这一刻为一个“大数据计算的胜利。”

2012年3月

美国政府报告要求每个联邦机构都要有一个“大数据”的策略，作为回应，奥巴马政府宣布一项耗资2亿美元
的大数据研究与发展项目。国家卫生研究院将一套人类基因组项目的数据集存放在亚马逊的计算机云内,同时
国防部也承诺要开发出可“从经验中进行学习”的“自主式”防御系统。中央情报局局长戴维·彼得雷乌斯将军在
发帖讨论阿拉伯之春机构通过云计算收集和分析全球社会媒体信息之事时，不禁惊叹我们已经被自卸卡车倒
进了“‘数字尘土”中。

2012年7月

美国国务卿希拉里·克林顿宣布了一个名为“数据2X”的公私合营企业用来收集统计世界各地的妇女和女童在
经济、政治和社会地位方面的信息。“数据不只是测量过程——它能给予我们启发,”她解释说。“一旦人们开
始对某个问题实施测量时，就更倾向于采取行动来解决它们，因为没有人愿意排到名单的最低端去。”让大
数据开始竞赛吧。

3技术盘点编辑
HadoopMapReduce

思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源
社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频
等非结构化数据。除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapReduce架构
。根据权威报告显示，许多企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。


大数据
NoSQL数据库

我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术，而且在未来几年，它们会发挥作用。
事实上，NoSQL数据库在一个广义上派系基础上，其本身就包含了几种技术。总体而言，他们关注关系型
数据库引擎的限制，如索引、流媒体和高访问量的网站服务。在这些领域，相较关系型数据库引擎，NoS
QL的效率明显更高。

内存分析

在Gartner公司评选的2012年十大战略技术中，内存分析在个人消费电子设备以及其他嵌入式设备中的应用
将会得到快速的发展。随着越来越多的价格低廉的内存用到数据中心中，如何利用这一优势对软件进行最
大限度的优化成为关键的问题。内存分析以其实时、高性能的特性，成为大数据分析时代下的“新宠儿”。
如何让大数据转化为最佳的洞察力，也许内存分析就是答案。大数据背景下，用户以及IT提供商应该将其
视为长远发展的技术趋势。

集成设备

随着数据仓库设备(Data Warehouse Appliance)的出现，商业智能以及大数据分析的潜能也被激发出来，
许多企业将利用数据仓库新技术的优势提升自身竞争力。集成设备将企业的数据仓库硬件软件整合在一起，
提升查询性能、扩充存储空间并获得更多的分析功能，并能够提供同传统数据仓库系统一样的优势。在大
数据时代，集成设备将成为企业应对数据挑战的一个重要利器。

4结构特点编辑
结构

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云
计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行
各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开：

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理
解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的
发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、
存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大
数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

特点


大数据
大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架
构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平
台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时
也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。

大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据
类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各
种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合
理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”——Volume
（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。

从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信
息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、
迅速、优化”这三方面的综合成本是最优的。

5处理工具编辑
当前用于分析大数据的工具主要有开源与商用两个生态圈。

开源大数据生态圈：

1、Hadoop HDFS、HadoopMapReduce, Hbase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。

3、NoSQL，membase、MongoDB