1万人参加的全球顶级大数据峰会 听Splunk公司如何诠释大数据?天

编辑:凯恩/2019-01-01 12:34

  如果你对大数据行业很熟悉,应该听过Splunk公司。作为全球知名的大数据公司,它于10月1-4日在美国奥兰多的迪士尼世界天鹅海豚度假村召开年度大会——f18。这堪称是全球最大的大数据峰会,有10000人参加,350个技术论坛,72家合作伙伴参展,包括思科、埃森哲、戴尔等公司。

  对本次峰会,Splunk公司中国区总经理严立忠说,“作为单一领域的峰会,有这么多人是很棒的。虽然很多公司很大,也做大数据,但专门做大数据峰会并且有很多人参加是不多的。”

  当前,大数据在国内并不陌生,但是认识或许还不够。一谈到大数据,人们会有两个认识:一是大数据是一个专有领域,二是大数据做的最多是精准营销。比如,我们使用今日头条,一旦点击并浏览某条新闻,这款APP以后就会增加对此类新闻的推荐。另一个则是我们刚刚在天猫或京东上浏览商品,凤凰棋牌,然后我们到媒体网站浏览新闻时,你之前浏览过的商品就会出现在广告框里。这些东西,背后都是基于大数据的。

  然而,“真相”并非如此。从发达国家或技术发展趋势讲,大数据成为未来无处不在的东西,几乎每件事都需要它来解决。

  Splunk中国区总经理严立忠对天极网等媒体表示,“讲深一点,大数据是一个哲学概念,它是寻找人类现有逻辑之外的逻辑。通过大数据得出的很多结论是现有逻辑无法理解的,这就是大数据的特点。”

  另一方面,大数据会在生活中的所有地方都应用到,因此对它进行深入研究非常有用。“而非搞个精准营销才用大数据,像国内讲‘大数据’基本都用精准营销,这太偏了,(精准营销)只是场景之一。”他说。

  大数据的核心是分析历史数据,进行学习,进行总结,对未来进行预测。而它解决的核心问题是——“效率”,从运维、安全、物联网、业务分析到ERP处理等,这些都离不开大数据。

  将大数据应用到运维,天津时时平台,就是现在讲的“智能运维”。在严立忠看来,传统运维是被动式运维,出现问题主动去解决,而非事先预知。

  举个例子,传统运维是这样的:一台路由器坏了,路由器上的报警按钮(红了),物理上需要更换。后来进步了,变成运维解决方案,路由器信号坏了,这个信号会传到管理员平台,管理员知悉后,还不知道具体哪个坏了,还要去现场,但这个过程不需要巡检。

  随着IT环境越来越复杂,一个地方的报警未必就是它出问题,可能是别的地方出问题影响了报警。环境太复杂,相互干扰相互影响,在环境简单的情况下是不存在的,一旦IT环境变复杂,它们之间的关联关系就加强。

  而今天是,通过数据分析更快定位到问题,利用自动化立马解决问题。今天,Splunk产品大量使用人工智能与机器学习技术,更好服务于大数据分析。

  “什么是智能运维?就是可以提前预知,可以判断。传统的做法是发现问题后,马上找到原因,但是我们的速度比它快。过去需要一天找出问题根源,但现在用大数据的方案分析可能就1毫秒。这就是智能运维。”他说。

  在大数据运维里,更强大的是对未知东西的预测。某个东西要坏,你是不知道,因为只有坏了才会报警。但未来可能预测某个东西会坏或出问题,这个时候可以提前解决它。

  严立忠讲,“过去理论上,你给管理员他也能分析出来,但可能会用十年来分析,但今天1毫秒就可以分析出来。这就是区别。”

  对Splunk来说,这种能力是建立在核心技术之上,而它技术里的核心则是搜索技术。严立忠表示,“大数据最需要的是信任,要足够大的数据量,一个是性能,一个是准确。第一要精确地找到这个地方,第二要快速地找到它,所以最关键的是搜索技术。”

  大部分大数据公司对数据处理是这样一个过程:数据来了,先建立一个模型,通过模型把相应的数据进行清洗淘汰,最后找到对应数据放在一个地方。

  而Splunk却颠覆所有大数据的概念,没有建模,没有数据库。建模是基于过去经验、过去需求建立的,一旦建模很多有用数据都淘汰了,这会导致结果不准确。在运维、安全等领域,数据实时更新,随时在变,传统建模不大管用。

  据天极网记者获悉,Splunk前面不建模,所有的数据都是原始不动,它们拥有一种标签化的技术,可快速对所有数据进行标签。

  “因为Splunk认为真正的大数据是不能淘汰任何数据的,任何数据都有价值,你认为它没价值是因为还没认识到而已。过去很早的一些数据可能价值会比较小一些,不可能没价值,只是你没发现。”Splunk公司人员说。

  回到文章开头的Splunk年度大会,严立忠向天极网等几家媒体介绍了许多新品。这些产品已基本成熟,截至现在,它们还没有被正式作为产品推出,具体可能在今年年底或明年初正式发布。

  1. Splunk Data Stream Processor(数据流处理器)——用来评估、转型传输中的数据,并对其进行分析。不懂技术的人也可以使用,前期对数据进行预处理,还做风险判断,这有利于提高性能。

  2. Splunk Data Fabric Search(网端搜索)——在多个Splunk部署中进行联合搜索,从而实现大规模搜索,以毫秒级速度分析数万亿个事件。与百度、谷歌的点对点搜索不同,Splunk能在数十万、数百万甚至数千万个点之间进行搜索,并对比这些点之间的关系,这能大大提高准确性。

  4. 通过二维码、扫描仪表板、UPC扫描和近场通信新数据源等功能,利用增强现实(AR)与数据进行交互并采取相应措施。

  5. Splunk Business Flow——基于它看到所有业务流程,包括整个客户体验,能轻松看到趋势,可快速做出决策。

  6. Splunk自然语言——使用Splunk语音和文本功能提问,接收如同人类真实语言的即时响应。这意味着,Splunk以后可以使用语音进行控制。

  7. Splunk Developer Cloud——利用它构建新一代数据丰富的应用程序,以访问一整套示例代码、云原生应用等。

  1. 在f18大会上,Splunk宣布扩展Partner+(合作伙伴+)计划。该计划为全球超过1600个Splunk合作伙伴提供支付和投资,其中包括全球系统集成商、分销商、增值服务经销商、技术联盟合作伙伴、OEM厂商和管理服务提供商,助力其取得成功。

  新的用例库让客户能自动发现新的用例,比如对抗策略、云安全、滥用或勒索软件,以确定如何在自己的环境中对威胁采取行动。

  让客户更智能地工作,获得更快地响应,帮助SOCs协调任务并自动化复杂的工作流程。

  通过Splunk AOF,企业可以充分利用Splunk与240多种安全技术,获取任何来源的结构化与非结构化数据,推动分析支持的协调决策,并在SOC的各种技术中采取行动。