企业构建大数据平台的痛点、思路与解决路径重庆时时彩个位万能5

编辑:凯恩/2019-01-01 12:34

  创建大数据平台,是个系统性的工程,并不像简简单单开发一款APP一样,需要深度了解当下以及未来的技术发展。曾几何时,组织多半会选择以增量方式实现大数据解决方案。而并非每个分析和报告需求、大型数据集或来自多个数据源的临时报告执行并行处理的项目,都对大数据解决方案有着重要需求。

  随着大数据技术的到来,企业会问自己:大数据是否是我的业务问题的正确解决方案,或者它是否为我提供了业务机会?大数据中是否隐藏着业务机会?

  ● 我需要掌握哪些具体的技能来理解和分析构建和维护大数据解决方案的需求?

  为了回答这些问题,本文提出了一种依据下图中所示的维度来评估大数据解决方案的可行性的结构化方法。

  对于每个维度都给出了一些关键问题,为每个维度分配一个权重和优先级。评估会因业务案例和组织的不同而有所不同。

  许多组织想知道,他们寻找的业务洞察能否通过大数据解决方案来解决。然而事实上,没有权威的指南能够用来定义可从大数据获取的洞察。具体场景需要由组织识别,而且这些场景在不断演变。

  在确定和识别在实现后会给企业带来重大价值的业务用例和场景的过程中,数据科学家起着至关重要的作用。数据科学家必须能够理解关键绩效指标,对数据应用统计算法和复杂算法来获得一个用例列表。用例行业和业务不同而有所不同。

  研究市场竞争对手的行动、发挥作用的市场力量,以及客户在寻找什么,会很有帮助。下表给出了来自各行各业的用例示例。

  潜在的客户正在社交网络和评论站点上生成大量新数据。在企业内,随着客户切换到在线渠道来执行业务和与公司交互,交易数据和 Web 日志与日俱增。

  首先为企业内存在的数据创建一个清单,识别内部系统和应用程序中存在的数据以及从第三方传入的数据。如果业务问题可使用现有数据解决,那么有可能不需要使用来自外部来源的数据。这个时候,需考虑构建一个大数据解决方案的成本,并权衡它与带给业务部门的新洞察的价值。在有关现有客户的归档数据的上下文中分析此新数据时,业务人员将获得对新业务机会的洞察。

  ● 从数据中开发的洞察所生成的价值,值得在大数据解决方案中投入的资本成本

  评估通过大数据解决方案获取的业务价值时,企业还应考虑当前的环境是否可扩展并权衡此投资的成本。

  ●是否有大量冷数据或人们很少接触的数据未分析,可以通过分析这些数据获得业务洞察?

  如果任何这些问题的答案是 “是”,那么企业就可以探索扩充现有数据仓库环境的方式。

  扩展现有数据仓库平台或 IT 环境与实现大数据解决方案的成本和可行性取决于:

  它还依赖于将从新数据来源收集的数据量、业务用例的复杂性、处理的分析复杂性,以及获取数据和拥有恰当技能集的人员的成本。现有的资源池能否开发新的大数据技能,或者是否可从外部雇佣拥有稀缺技能的人员?

  值得注意的是,大数据举措会对其他正在实施的项目产生影响。从新的来源获取数据具有很高的成本。您首先应当识别系统和应用程序内部存在的数据,以及目前收到的第三方数据,这一点很重要。如果业务问题可以使用现有数据解决,那么有可能不需要使用来自外部来源的数据。

  在生成新工具和应用程序之前,请评估组织的应用程序组合。例如,一个普通的 Hadoop 平台可能无法满足您的需求,您可能必须购买专业的工具。或者相对而言,Hadoop 的商业版本对当前用例而言可能很昂贵,重庆时时彩个位万能5码,但可能需要用作长期投资来支持一个战略性的大数据平台。考虑大数据工具和技术需要的基础架构、硬件、软件和维护的成本。

  在决定是否实现一个大数据平台时,组织可能会查看新数据源和新的数据元素类型,而这些信息当前的所有权尚未明确定义。一些行业制度会约束组织获取和使用的数据。例如,在医疗行业,通过访问患者数据来从中获取洞察是否合法?类似的规则约束着所有行业。除了 IT 治理问题之外,组织的业务流程可能也需要重新定义和修改,让组织能够获取、存储和访问外部数据。

  ●安全性和隐私:为了与当地法规一致,解决方案可以访问哪些数据?可以存储哪些数据?哪些数据应在移动过程中加密?静止数据呢?谁可以查看原始数据和洞察?

  ●数据的标准化:是否有标准约束数据?数据是否具有专用的格式?是否有部分数据为非标准格式?

  ●数据的所有权:谁拥有该数据?解决方案是否拥有适当的访问权和权限来使用数据?

  大数据解决方案可以采用增量方式实现。明确地定义业务问题的范围,并以可度量的方式设置预期的业务收入提升,这样做会很有帮助。对于基础业务案例,请仔细列出问题的范围和解决方案带来的预期收益。

  如果该范围太小,业务收益将无法实现,如果范围太大,获得资金和在恰当的期限内完成项目就会很有挑战性。在项目的第一次迭代中定义核心功能,以便能够轻松地赢得利益相关者的信任。

  需要特定的技能来理解和分析需求,并维护大数据解决方案。这些技能包括行业知识、领域专长,以及有关大数据工具和技术的技术知识。拥有建模、统计、分析和数学方面的专业经验的数据科学家,是任何大数据举措成功的关键。

  ● 是否拥有熟悉该领域、能分析大量数据、而且能识别从数据生成有意义且有用的洞察的途径的数据科学家?

  所有组织都拥有大量未用于获取业务洞察的数据。这些数据包括日志文件、错误文件和来自应用程序的操作数据。不要忽略此数据,它是宝贵信息的潜在来源。

  ● 数据大小达到 PB 和 EB 级,而且在不久的将来,它们可能增长到 ZB 级别。

  ● 这一数据量给使用传统方法(比如关系数据库引擎)存储、搜索、共享、分析和可视化数据带来的技术和经济挑战。

  ● 用户和机器能够以任何格式生成数据,例如:Microsoft® Word 文件、Microsoft Excel® 电子表格、Microsoft PowerPoint 演示文稿、PDF 文件、社交媒体、Web 和软件日志、电子邮件、来自相机的照片和视频、信息感知的移动设备、空中感知技术、基因组和医疗记录。

  如果数据的量、种类、速度或真实性具有合理的复杂性,那么有可能会适合地采用大数据解决方案。对于更复杂的数据,需要评估与实现大数据解决方案关联的任何风险。对于不太复杂的数据,则应该评估传统的解决方案。

  不是所有大数据情形都需要大数据解决方案,我们需在市场中寻找线索:竞争对手在做什么?哪些市场力量在发挥作用?客户想要什么?

  通过文中的问题,确定大数据解决方案是否适合企业自身的业务情形和所需要的业务洞察。