论文部分内容阅读
把非结构化的机器日志“提纯”成不同层级的结构化数据分析表，并通过可视化的方式展现出来，这正是大数据分析一直在找寻的答案。
IDC的调查报告显示：企业中80%的数据都是非结构化数据，而这些数据每年都在按指数增长60%。
面对爆炸式增长的数据，企业挖掘到大数据中的潜在价值，才能实现“数据为王”。
Splunk是一家在旧金山有着13年历史的年轻公司，其商业智能软件可以实时对APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，而这一过程在几分钟内就可以完成。IT运营、应用管理、安全合规、网络智能与商业分析，Splunk的这些主要业务功能正迎合了大数据时代企业对数据应用的需求。
从机器数据到商业
优势
如果把结构化的数据比喻成一份“数据菜单”，那么，非结构化的数据就像一个大型的杂货店。
互联网用户在论坛、微博、微信或其他渠道发表各种评论，企业日常运行中的服务器日志等，这些非结构化数据来自于移动互联网、物联网，以及服务器、存储和网络等基础设施中的机器数据。机器数据具有数量庞大、增长速度快、复杂性高、多样化的特点。
相比结构化的数据库数据，非结构化数据是无法用固定结构来逻辑表达实现的数据，这就决定了使用非结构化数据需要更多数据工程师或高级分析师。即便分析师熟悉相关的数据，对每个业务问题，都需要他们具备数据工程相关技能来应对潜在的复杂数据准备过程。但是，这不仅需要一系列特定的技能，并且非常耗时，因此用来支持分析和决策的时间就所剩无几了。如何将非结构化数据转化成结构化数据，对于公司规模化高效处理业务问题在人力成本和经济效率方面都具有重要价值。
在迪拜国际机场，每年9000万旅客过境，预计2020年旅客数量将达到1亿人，目前机场的两条跑道已经满负荷运营，要解决客户满意度，办法只有提高跑到使用效率。通常，机场安检需要耗时10分钟，迪拜机场通过密集分布的传感器来初步检测旅客的“安全等级”，并根据检测级别分配安检通道；一年1.5亿件行李，每小时到达的6000名旅客在行李未到时，手机上就会接收到行李何时送达，以及传送带提取信息；现在，迪拜机场提前4小时就可以预测到即将有多少乘客到达。这些改变，来自Splunk系统的部署。迪拜国际机场安全事务副总裁Michael Ibbitson表示：“如果使用得当，Splunk系统仅在能源上，就能为迪拜机场每年节省2500万美元支出。”
欧洲货运公司DB Cargo在其拥有的2000节列车车厢内安装了Splunk系统，通过分析结果预测列车哪里存在问题，是否需要维修；致力于打击全球贩卖人口的非营利组织Global Emancipation Network使用Splunk系统的分析技术关联看似不同的电话号码数据集、广告信息来发现贩卖团伙，实现快速地收集信息、快速地行动。
Splunk总裁兼首席执行官Doug Merritt表示：“在众多的成功案例中，Splunk已经帮助非盈利组织使用分析技术来打击贩卖人口，优化交通运输领域的太阳能发电，加速人道主义和灾难应急响应。Splunk的数据分析曾帮助了企业的成长和成功，而现在，Splunk使世界各地的個人、各种社区、非盈利组织和教育机构同样也取得了成功。Splunk与我们的合作伙伴一起，正在利用机器数据来改变世界。”这些机器数据可以是日志、配置文件、消息和告警等，既可以来自本地，也可以来自云。
在“第八届Splunk年度大会conf2017”公布的最新数据显示，在全球财富100强中有超过85家公司都在使用Splunk，而Splunk在全球的企业用户有14000多家。
安全这根“中枢神经”
日志分析除了用于运维监测外，新兴的大数据安全市场同样有其用武之地。
在安永最新发布的第19届《全球信息安全调查报告 》中提到，过去两年中，有87%的董事会成员和企业高管都表示对其公司层面的网络安全缺乏信心；64%的企业没有或只有非正规的威胁情报计划；55%的企业没有或只有非正规的漏洞识别能力。
“传统的安全思路，像家里的防盗门，一层层加防护，但是总有人会进来。后来，我们才会意识到，对于防盗来说，最重要的是监视系统，它可以及时发现入侵，并发出警报。”Splunk全球安全事业部总经理和公司高级副总裁宋海燕说，“Splunk认为，安全最重要的是可以提供预测性防护，及早发现、及时解决。”
随着与外部机构的互联不断增加，企业生态也在快速壮大，数据交换量与日俱增。Splunk想做的是“安全指挥中心”。Splunk自己不做终端、网络、加密，但其客户会有此类产品，为了让客户对信息安全情景有一个全方位的认知，Splunk会将数据收集起来，将关联分析的结果提供给客户。Splunk能带给客户的最大帮助是通过与40多个合作伙伴的合作，收集各个方面的数据，做出动态性的响应，从而及时预测漏洞。
“从安全角度看，借数据的关联关系发现潜在风险属于业界前沿；再下一步是机器基于数据训练、学习，做出自动化的判断。”安永大中华区风险咨询服务高级经理高轶峰表示，“但这些的前提都是建立在足够数据采集量的基础之上，内部的日志收集的全不全，外部的情况是否够多、够准确。”
尽管在安永的那份报告中，55%的受访者表示在接下来的12个月内，其网络安全预算还会继续上浮。可是，保障网络安全需要的不仅仅是预算。
安永风险咨询服务部合伙人顾卿华表示，与企业业务稳定性、合规性这些最基础要求有关的投入是必须要发生的。
使用 Splunk 可以利用企业现有的所有系统，包括安全系统，在几分钟内收集、分析和实时获取数据，并从中快速找到系统异常问题和调查安全事件，监视端对端基础结构，避免服务性能降低或中断，以较低成本满足合规性要求，实现自动的SOC（安全运营中心），相当于为企业提供了一个安全研究团队。
IDC的调查报告显示：企业中80%的数据都是非结构化数据，而这些数据每年都在按指数增长60%。
面对爆炸式增长的数据，企业挖掘到大数据中的潜在价值，才能实现“数据为王”。
Splunk是一家在旧金山有着13年历史的年轻公司，其商业智能软件可以实时对APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，而这一过程在几分钟内就可以完成。IT运营、应用管理、安全合规、网络智能与商业分析，Splunk的这些主要业务功能正迎合了大数据时代企业对数据应用的需求。
从机器数据到商业
优势
如果把结构化的数据比喻成一份“数据菜单”，那么，非结构化的数据就像一个大型的杂货店。
互联网用户在论坛、微博、微信或其他渠道发表各种评论，企业日常运行中的服务器日志等，这些非结构化数据来自于移动互联网、物联网，以及服务器、存储和网络等基础设施中的机器数据。机器数据具有数量庞大、增长速度快、复杂性高、多样化的特点。
相比结构化的数据库数据，非结构化数据是无法用固定结构来逻辑表达实现的数据，这就决定了使用非结构化数据需要更多数据工程师或高级分析师。即便分析师熟悉相关的数据，对每个业务问题，都需要他们具备数据工程相关技能来应对潜在的复杂数据准备过程。但是，这不仅需要一系列特定的技能，并且非常耗时，因此用来支持分析和决策的时间就所剩无几了。如何将非结构化数据转化成结构化数据，对于公司规模化高效处理业务问题在人力成本和经济效率方面都具有重要价值。
在迪拜国际机场，每年9000万旅客过境，预计2020年旅客数量将达到1亿人，目前机场的两条跑道已经满负荷运营，要解决客户满意度，办法只有提高跑到使用效率。通常，机场安检需要耗时10分钟，迪拜机场通过密集分布的传感器来初步检测旅客的“安全等级”，并根据检测级别分配安检通道；一年1.5亿件行李，每小时到达的6000名旅客在行李未到时，手机上就会接收到行李何时送达，以及传送带提取信息；现在，迪拜机场提前4小时就可以预测到即将有多少乘客到达。这些改变，来自Splunk系统的部署。迪拜国际机场安全事务副总裁Michael Ibbitson表示：“如果使用得当，Splunk系统仅在能源上，就能为迪拜机场每年节省2500万美元支出。”
欧洲货运公司DB Cargo在其拥有的2000节列车车厢内安装了Splunk系统，通过分析结果预测列车哪里存在问题，是否需要维修；致力于打击全球贩卖人口的非营利组织Global Emancipation Network使用Splunk系统的分析技术关联看似不同的电话号码数据集、广告信息来发现贩卖团伙，实现快速地收集信息、快速地行动。
Splunk总裁兼首席执行官Doug Merritt表示：“在众多的成功案例中，Splunk已经帮助非盈利组织使用分析技术来打击贩卖人口，优化交通运输领域的太阳能发电，加速人道主义和灾难应急响应。Splunk的数据分析曾帮助了企业的成长和成功，而现在，Splunk使世界各地的個人、各种社区、非盈利组织和教育机构同样也取得了成功。Splunk与我们的合作伙伴一起，正在利用机器数据来改变世界。”这些机器数据可以是日志、配置文件、消息和告警等，既可以来自本地，也可以来自云。
在“第八届Splunk年度大会conf2017”公布的最新数据显示，在全球财富100强中有超过85家公司都在使用Splunk，而Splunk在全球的企业用户有14000多家。
安全这根“中枢神经”
日志分析除了用于运维监测外，新兴的大数据安全市场同样有其用武之地。
在安永最新发布的第19届《全球信息安全调查报告 》中提到，过去两年中，有87%的董事会成员和企业高管都表示对其公司层面的网络安全缺乏信心；64%的企业没有或只有非正规的威胁情报计划；55%的企业没有或只有非正规的漏洞识别能力。
“传统的安全思路，像家里的防盗门，一层层加防护，但是总有人会进来。后来，我们才会意识到，对于防盗来说，最重要的是监视系统，它可以及时发现入侵，并发出警报。”Splunk全球安全事业部总经理和公司高级副总裁宋海燕说，“Splunk认为，安全最重要的是可以提供预测性防护，及早发现、及时解决。”
随着与外部机构的互联不断增加，企业生态也在快速壮大，数据交换量与日俱增。Splunk想做的是“安全指挥中心”。Splunk自己不做终端、网络、加密，但其客户会有此类产品，为了让客户对信息安全情景有一个全方位的认知，Splunk会将数据收集起来，将关联分析的结果提供给客户。Splunk能带给客户的最大帮助是通过与40多个合作伙伴的合作，收集各个方面的数据，做出动态性的响应，从而及时预测漏洞。
“从安全角度看，借数据的关联关系发现潜在风险属于业界前沿；再下一步是机器基于数据训练、学习，做出自动化的判断。”安永大中华区风险咨询服务高级经理高轶峰表示，“但这些的前提都是建立在足够数据采集量的基础之上，内部的日志收集的全不全，外部的情况是否够多、够准确。”
尽管在安永的那份报告中，55%的受访者表示在接下来的12个月内，其网络安全预算还会继续上浮。可是，保障网络安全需要的不仅仅是预算。
安永风险咨询服务部合伙人顾卿华表示，与企业业务稳定性、合规性这些最基础要求有关的投入是必须要发生的。
使用 Splunk 可以利用企业现有的所有系统，包括安全系统，在几分钟内收集、分析和实时获取数据，并从中快速找到系统异常问题和调查安全事件，监视端对端基础结构，避免服务性能降低或中断，以较低成本满足合规性要求，实现自动的SOC（安全运营中心），相当于为企业提供了一个安全研究团队。