大数据的五大误区及其破解之道

测试积点老人

一些人认为，“大数据”这一词汇不过是企业营销时的大肆炒作。但即使是那些接受大数据概念的人，也需要消除某些大数据误区。

全球领先的信息技术研究和咨询公司Gartner指出，大肆宣传大数据概念，使企业在选择适当的行动方案时，受到更多困扰，但对消除一些仍存在的误区却毫无帮助。

例如，80%的数据是非结构化的，这是错误的；又如高级分析功能只是更复杂形式的普通分析，分析公司Gartner指出，这也是不正确的。

Gartner公司在已发布的两篇报告《大数据对分析功能影响中的主要误区》和《大数据对信息基础设施影响中的主要误区》中，集中探讨大数据对分析功能及信息基础设施影响中的相关误区，希望展示大数据相关的更多真实情况。以下摘取大数据概念的五大误区。

误区一：在大数据技术部署中，其他人都领先我们
虽然越来越多的企业开始关注大数据技术和服务，Gartner公司测算结果显示，73%的企业正在投入或策划大数据技术，但大多数企业才刚刚开始接受这一技术。

因此，担心竞争对手运用大数据技术快速发展实在是杞人忧天。实际上，只有13%的受访企业真正开始部署大数据相关技术。
Gartner公司表示：“企业面临的最大挑战是怎样通过大数据获得价值以及怎样入手部署大数据技术。大多数企业在试点阶段就遇到困难，因为他们并没有在业务过程或实际用例中运用该技术。”

Gartner公司的结论是：你并没有落后。为实际的任务制定策略，并与IT及业务部门合作。

误区二：数据量很大，而小缺陷无关紧要
有人认为，根据大数定律（Law of Large Numbers），独立的数据缺陷无关紧要，不会影响分析结果。

与更小规模的数据集相比，独立的数据缺陷对整个数据集的影响的确要小很多，但目前，数据量不断增长，数据缺陷与以往相比也越来越多。

Gartner公司表示：“因此，低质量数据对整个数据集的整体影响仍保持不变。此外，企业在大数据环境下使用的大部分数据来自外部数据源，其数据结构和来源未知。”

“这意味着数据质量问题的风险比以往更高。因此，在大数据部署中，数据质量实际上更加重要。”

Gartner公司的结论是：设计出新的数据质量管理方式，并选择数据质量级别。严格遵守数据质量保障的核心原则。

误区三：大数据将取代数据整合能力
企业希望通过读时模式（Schema on Read）处理信息，使用多个数据模型灵活地读取同一个数据源。这种灵活性将帮助最终用户决定怎样按需解释任意数据信息，并实现个体用户数据访问的定制化能力。然而，大多数用户实际上使用写时模式（Schema on Write）。写时模式下用户可描述数据并制定内容，而数据完整性也能保持一致。

误区四：将数据仓库用于高级分析是毫无意义的
有些人认为，高级分析功能可使用新的数据类型时，部署数据仓库则浪费时间。实际上，大多数高级分析项目在分析时都使用数据仓库。

新的数据类型还可能需要提炼，使其适于数据分析。此外，哪些是相关数据、怎样聚合数据以及必要的数据质量级别等都需要企业做出决策。

Gartner公司的结论是：尽可能使用数据仓库存储经人工收集检查的数据集，用于高级分析功能。

误区五：数据湖将取代数据仓库
数据湖解决方案通常被当作企业级平台销售，用于分析原生格式下的各种不同的数据源。但Gartner公司认为，数据湖取代数据仓库，或作为分析基础设施中的重要组件是错误的观点。

与已经成型的数据仓库技术相比，数据湖技术尚未成熟，其功能不够全面。“数据仓库已具备支持多种用户群体的能力。”因此，企业无需等待数据湖技术的成熟。

Gartner公司的结论是：在现有数据仓库中运用Hadoop等数据湖技术。只有在元数据管理技术、工具及培训上投入，才能通过数据湖技术创造业务价值。