论文部分内容阅读
目前世界上90%以上的数据是最近几年才产生的，而在未来一段时期内，互联网上的数据每年将增长50%，每两年便将翻一番
2013年被认为是中国“大数据元年”，大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉。
2013年注定将成为中国的“大数据元年”，年初，不管是信息领域的专家学者还是一些嗅觉敏锐的媒体，都将焦点放到了大数据领域。
在很多普通人还不知道大数据究竟为何物的时候，它就猛然蹿到了我们的面前。
“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发…… ”2012年末刚刚出版的新书《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说。
而在太平洋的另一边，目前美国政府已将大数据视为“未来的新石油”，并将对大数据的研究上升为国家意志。在美国的推动下，未来大数据之战的脚步声也似乎越来越近。
数据驱动分析帮奥巴马竞选获胜
其实，很多人关注到大数据与奥巴马赢得美国第二任总统大选有关。
2012年11月6日，就在美国总统奥巴马成功击败对手罗姆尼、再次赢得美国总统选举的当天，《时代》杂志撰文描述了奥巴马总统获胜背后的秘密——通过大数据系统进行数据挖掘。
“数据是能够击败罗姆尼的最根本优势。”奥巴马竞选工作组发言人本·拉波特说。
在大选结果揭晓前夕，奥巴马的局势并不乐观。在大选前一周的一项民调中显示，55% 的被调查选民都认为罗姆尼比奥巴马更具有未来视野。但结果出乎意料，奥巴马笑到了最后。
美国不少分析人士认为，奥巴马团队能取得颠覆性的胜利，是因为他们做到了三个最根本的目标：让更多的人掏更多的钱，让更多的选民投票给奥巴马，让更多的人参与进来。而这些都缘于他们对选民的认知达到了“微观”层面，并赢得了大量草根阶层选民的支持和捐赠。而基于大数据分析的数据挖掘在背后起到了决定性的作用。
2008年，奥巴马就曾被誉为首位“网络总统”。而此次，奥巴马又借助超强的“大数据”能力成功连任，其背后几十人的数据分析与挖掘团队也浮出水面。这支团队在2008年就已存在并发挥作用。但是这次，他们更动用了5倍于上届的人员规模，且进行了更大规模与深入的数据挖掘，这种方式帮助奥巴马在获取有效选民、投放广告、募集资金方面起到了不可忽视的作用。
据了解，奥巴马的数据分析与挖掘团队在本次总统竞选的头18个月里建立了一个统一的、规模庞大的数据库，该数据库不仅会告诉竞选团队如何发现选民、得到他们的关注，它还允许数据分析人员进行实验，以预测何种类型的选民能够被某种呼吁手段所说服。
为了筹到 10 亿美元的竞选款，奥巴马的数据挖掘团队在过去两年搜集、存储和分析了大量数据。2012年春，通过数据挖掘奥巴马竞选团队注意到，影星乔治·克鲁尼对美国西海岸 40 岁至 49 岁的女性具有非常大的吸引力：她们无疑是最有可能为了在好莱坞与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的一个群体。此后克鲁尼在自家豪宅举办的筹款宴会上，果然为奥巴马筹集到数百万美元的竞选资金。
之后，当奥巴马团队决定在东海岸物色一位对于这个女性群体具有相同号召力的影星时，数据团队发现《欲望都市》的女主角莎拉·杰西卡·帕克的粉丝们非常喜欢竞赛、小型宴会和名人，于是，一个与奥巴马共进晚餐的“竞争”便诞生了，那就是争夺在杰西卡·帕克的纽约西部乡村豪宅与杰西卡·帕克、奥巴马共进美餐的机会。“克鲁尼效应”被成功地复制到了东海岸。
通过对粉丝们的信息分析，奥巴马团队成功地满足了她们与钟爱的明星共进晚餐的愿望，也成功地让她们争先恐后打开钱包。
美国《时代》周刊报道称，数据驱动的竞选决策是奥巴马竞选获胜的关键。《时代》最后断言，政治活动的大数据时代已经到来。
通过数据分析解析人的行为
北京集奥聚合公司首席技术官刘国清这些年来一直在进行大数据分析和应用的研究，他对记者表示，大数据是指大量、高速、复杂、变化不定的数据，需要用先进的方法和技术实现信息的收集、存储、分配、管理和分析，而体量大、类型多和速度快是大数据的显著特征。
尽管从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇，但是刘国清表示，大数据并不是当下才出现的时髦概念，它几乎与计算机技术的诞生与崛起相伴而行。
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。
“上个世纪80年代，我国在探讨计算机技术的发展和应用时，就已经谈到海量数据的管理、加工和应用问题，并且当时业界已经认识到，未来随着数据的规模越来越大，海量数据的加工和应用在信息技术中所占的权重将会越来越大。” 中国人民大学信息学院教授、经济信息管理系主任陈禹表示。
然而，当时由于计算机技术及网络技术的限制，大数据并没有向人们展现出它巨大的能量。
这些年，随着海量数据的不断攀升，大数据分析有了丰富的信息资源。美国互联网数据中心指出，目前世界上90%以上的数据是最近几年才产生的。如今，每秒钟地球上的人们要发送290万封邮件；每天每个家庭要使用375MB数据；每分钟人们在 Youtube 上传 20 小时的视频；每天Google处理24PB（1PB =1024TB）数据；每天Twitter上发布5000万条消息；每月人们在 Facebook 上浏览 7000 亿分钟；每秒Amazon要产生72.9笔订单……在未来一段时期内，互联网上的数据每年将增长50%，每两年便将翻一番。 这些庞大的、看似平常而又琐碎的数据已经形成了一种宝贵的资源，其中人的网络行为数据就是一个典型的例子。美国东北大学教授艾伯特·巴拉巴西经过十余年的数据分析发现，人类行为不是随机的，而是聚集之后的爆发。他认为，电子邮件、电子银行的支付记录、购物网站的消费记录、个人网页等互联网数据对于研究人类及人类社会具有重要价值。通过对这些数据进行计算和分析，原本不可捉摸的人类行为变得可被解析、描述和量化，甚至能够对其进行预测和控制。
大数据诞生巨大的价值
在现实中，我们有时会在短时间内发送大量邮件，而在接下来的很长一段时间无所作为，然后又在一个短时间内再次发出大量邮件。巴拉巴西认为这种“爆发”不是随机的，很多人类行为都遵循这一模式。他提出，从几毫秒到几小时的细胞活动，从几分钟到几周的人类活动，从几周到几年的疾病来袭等等，这些都不是随机的，而是具有在一定时间尺度内聚集爆发的特点。
“如果你知道一个人过去的所有社会数据，那么，预测其未来行为的准确性将达到93%。”巴拉巴西说。
“这些年计算机硬、软件技术的发展，网络功能的增强，也为大数据的分析和应用提供了现实的可能。”陈禹表示。
不久以前，美国权威研究机构——透明度市场研究最新发布报告《大数据市场：2012至2018年全球形势、发展趋势、产业分析、规模、份额和预测》显示，去年全球大数据市场产值为63亿美元，预计2018年该产值将达483亿美元，将增长近7倍。
中国工程院院士、西安交通大学教授汪应洛表示，大数据产业能改善已有组织的绩效，包括促进构建高效型政府、提供经济发展新动力、提高文化教育质量；大数据产业还可促进相关产业的发展与革新，比如促进软件和硬件的革新、推动科学技术创新、催生数据服务性企业；此外，大数据产业在社会管理、智慧城市、金融服务、医疗卫生、生产制造、商业零售、个人数字生活等方面都有巨大价值。
国际权威调查咨询机构麦肯锡2012年大数据报告中的一组数据也验证了汪应洛的观点。数据显示，大数据产业每年为美国医疗系统带来3000亿美元的收益；为欧洲公共管理部门带来2500亿欧元的收益；为零售业增加60%的净利润；为制造业减少50%的产品研发等成本；个人地理位置信息的利用，为服务商带来超过1000亿美元的收益，为用户带来超过7000亿美元的价值。
大数据的兴起也将让一种新型的职业全面崛起。麦肯锡全球研究所的一份报告说，美国需要150万精通数据的经理人员，以及14万至19万深度数据分析方面的专家。目前，已有美国大学专门开设了研究大数据技术的课程，培养下一代的“数据科学家”。
美国将大数据上升为国家战略
由于大数据可以带来惊人的财富及其他价值，因此它也成为了人们争相抢夺的目标。不少国外信息专家认为，若想把握未来，就一定不能放弃这个没有硝烟的新战场。
2011年，美国总统科技顾问委员会提出政策建议，指出大数据技术蕴含着重要的战略意义，联邦政府应当加大投资研发力度。作为对这一建议的回应，白宫科技政策办公室在2012年3月29日发布了《大数据研究和发展计划》，同时组建“大数据高级指导小组”，以协调政府在大数据领域的2亿多美元的投资。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技战略部署。美国媒体称，美国政府已将大数据视为“未来的新石油”。
根据这一计划，美国希望利用大数据技术在多个领域实现突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等，具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。
这些动举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，并将对大数据的研究上升为国家意志，形成了全体动员的格局。
《大数据：正在到来的数据革命》一书作者徐子沛在不久前的一次沙龙上透露，目前美国许多政界人士都十分重视社交网络，并希冀通过数据挖掘和数据分析从中获益，而数据创新给公民、政府、社会带来的种种挑战和变革，已经深入人心。
跨国巨头布局大数据
麦肯锡在研究报告中指出，如今数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
目前，一些跨国巨头都已意识到了“大数据”时代数据的重要意义。北京集奥聚合公司首席技术官刘国清表示，谷歌、微软之类的公司之所以强大，正是因为庞大用户数量带来的用户大数据让他们占尽了优势，其中谷歌尤为典型。对于个人用户而言，谷歌的所有应用几乎都是免费的。而用户在免费使用这些应用的同时，也把个人的行为轨迹告诉了谷歌。
心理学认为，人类的细微行为，可以暴露人类的内心想法，从用户的行为轨迹中，可以判断出用户的性格、兴趣、偏好等。用户和互联网之间的联系日益紧密，通过行为分析甚至能推断出用户的下一步计划。谷歌就是利用这一原理，对用户进行匿名的深度分析，然后以精准广告的方式作为主要收入。
逾14亿人口的庞大数据
2011年11月工信部发布的物联网“十二五”规划上，信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。
《大数据时代》的译者之一，电子科技大学教授周涛表示，2012年5月我国召开了第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会也随即分别成立了“大数据专家委员会”。
不少专家认为，在未来的大数据时代，我国逾14亿的庞大的人口规模已经成为一种巨大的信息优势。比如，在医疗行业中，我们国家是一个人口基数庞大的国家，因此病患也非常多，从医疗卫生的角度考虑，医疗、养老都是巨大的负担。但是，如果我们从医药、治疗的角度来讲，这些病患则是一笔巨大的财富，患者生病、治疗及用药产生的大量数据为我们进行医疗研究、药品研发提供了大量鲜活的样本。同理，大数据也为我国社会科学领域的迅速崛起提供了前所未有的机遇。 但是记者在采访中了解到，目前我国的绝大多数社会学者都还没有意识到大数据分析及应用对他们的意义，由于很少关注信息科技，部分专家学者甚至不知道大数据究竟是怎么一回事，认为和自己的工作并没有多大的关系。
有专家认为，大数据在社会科学中的应用是我国社会科学在世界上崛起的一次前所未有的重要机遇，如果在社会科学领域不被予以足够的重视，我国的社会科学发展不仅会丧失这次良好的机遇，甚至还会被世界其他发达国家甩得更远。
大数据改变我们的生活
随着计算机和互联网技术的迅速崛起与普及，我们已经离不开手机、电脑、智能电视等智能终端设备，日常生活基本上都可以数字化地表示。几点几分从家出门，坐什么车花了多长时间到了工作地点。这期间，无论是谁，每发一次微博和打一次电话，包括经纬度在内的精确地理位置信息都被记录在案，而通话记录在许多年之后仍可以被调阅查询。
总之，在互联网无孔不入的时代，我们的一举一动都产生了大量的数据。而在很多时候，这些原始数据就会成为大数据分析的材料。
“要不和大数据沾上边，除非你把自己完全绝缘起来。比如，不上网、不使用手机、不看电视等，总之不和任何信息设备发生关联，这样大数据使用者在进行数据挖掘时就找不到你的个人信息了。但是在如今这个信息时代，这已经是几乎不可能的了，况且国家对公民实施信息化管理及服务也已经成为一种潮流和趋势。”北京集奥聚合公司首席技术官刘国清说，现在我们千万不要以为自己和大数据没有任何关系，实际上如今我们很多人已经成了大数据关注和分析的对象。
虽然大数据分析基于各人习惯进行预测的准确度确实会因人而异，但总体上其准确度比我们想象的要高。由于人类从来没有像今天这样如此依赖网络和电子设备，因此，大数据时代产生如此多的电子踪迹让研究每个人、每个群体，甚至整个人类的习惯成为了可能。
利用大数据买到便宜机票
在大数据的应用中，尽管很多时候我们个人成了大数据分析和应用的对象，但是在将来，我们也可以利用大数据来为自己服务，其中利用大数据购买飞机票就是一个典型的例子。
目前在美国，很多人都知道利用大数据分析的结果购买飞机票可以给自己省钱，而这要归功于美国著名计算机专家奥伦·埃齐奥尼的贡献。
2003 年，奥伦·埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼，他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上，埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着时间的流逝而消失。
但是奥伦· 埃齐奥尼则在这次事件以后开始捉摸如何以合理的价格购买飞机票。他下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。
埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是分析从一个旅游网站上搜集来的所有特定航线机票的销售价格并确定票价与提前购买天数的关系，而后建立一个系统，预测当前的机票价格在未来一段时间内会上涨还是下降。不久，他就完成了这样一个预测系统，如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。
而后，埃齐奥尼的这个项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司，名为Farecast。通过预测机票价格的走势以及增降幅度，Farecast 票价预测工具能帮助消费者抓住最佳购买时机，而在此之前还没有其他网站能让消费者获得这些信息。如今，Farecast 已经拥有惊人的约2000 亿条飞行数据记录。利用这种方法，Farecast 为消费者节省了一大笔钱。
2008 年，埃齐奥尼计划将这项技术应用到其他领域，比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。但是在他实现计划之前，微软公司找上了他并以1.1 亿美元的价格收购了Farecast 公司。而后，这个系统被并入必应搜索引擎。
到2012 年为止，Farecast 系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价。据了解，Farecast 票价预测的准确度已经高达75％，使用Farecast 票价预测工具购买机票的旅客，平均每张机票可节省50 美元。
未来，在国内从事航空、宾馆预订等行业分析的大数据公司成熟以后，个人也可以购买他们的数据服务从而减轻自己的负担。
而在另外一个方面，为我们进行服务的单位则可以基于对你位置的实时定位和数据分享，在你进地库时就开始着车，进门前就亮灯，坐在位置前电脑就开启，咖啡就上桌，这些在技术上并不难实现。
“可以设想，在大数据时代，计算将像电力一样成为自由流动并被销售的能源，今天我们为5度电付费，明天我们会为来自云基地的‘10度’计算付费。”电子科技大学教授周涛表示。
我们已经在不知不觉中享受大数据服务
实际上，我们已经在不知不觉中享受大数据分析和应用提供的服务。
互联网上流传着这样一个例子：2012年初，美国的一名男子闯入了他家附近的 Target 店铺（Target：美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼道，“你们竟然给我 17 岁的女儿发婴儿尿片和童车的优惠券，她才 17 岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理并没有意识到，他们公司正在运行一套数据挖掘系统。
一个月后，这个愤怒的父亲打来电话道歉，因为 Target 发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。事实上，Target 创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target 在接下来的几年中会根据婴儿的生长情况定期给这些顾客推送相关产品，使这些客户形成长期的购买习惯。 刘国清说，利润仅次于沃尔玛的全球第二大零售商Tesco，从用户行为分析中获得了巨大的利益。据悉，从其会员卡的用户购买记录中，Tesco 可以了解一个用户是什么“类别”的客人，如速食者、单身、有上学孩子的家庭等等，这样的分类可以帮助 Tesco 设计个性化的服务，比如，通过邮件或信件寄给用户的促销广告可以变得十分个性化，店内的上架商品及促销也可以根据周围人群的喜好、消费的时段变得更有针对性，从而提高货品的流通。这样的做法为 Tesco 获得了丰厚的回报，仅在市场宣传一项，就能帮助 Tesco 每年节省 3.5 亿英镑的费用。
沃尔玛也同样重视与它的顾客进行个性化互动。2011年底，沃尔玛在Facebook上发布了一个名叫 ShoppyCat 的应用，这个应用的功能是帮助顾客解除为朋友挑选生日礼物的烦恼。当顾客将 ShoppyCat 加入她 / 他的 Facebook 中时，应用程序将访问这个顾客所有朋友的信息，如登记信息、行为、状态、Likes、关系圈等等，通过对这些信息的分析挖掘，为每一个朋友的生日都推荐相应的礼物。
而当你进入亚马逊的网站时，它会“猜测”你可能会喜欢什么样的产品，并在首页给你推荐。当你浏览京东或者淘宝网页上的某一产品时，类似的产品链接就在旁边方便你点击、比对。
北京邮电大学信息与通信工程学院副教授郝建军表示，这是因为平时，电商都在不知不觉中对消费者的消费行为和习惯有了记录。在电脑上，你什么时间浏览了什么网站，点击了哪些链接，网上购物时买了什么样的东西，花了多少钱，你中间点击了哪些、什么样、什么价格的产品，最后做出了什么样的选择都有迹可循。大型电商网站会基于这些数据，分析顾客习惯并优化自己的产品结构，变更网页，以达到促进、方便消费的目的。
集奥聚合首席营销官段培力对记者透露，现在百度和新浪微博也在进行基于大数据的分析和应用，比如百度了解你的信息查询需求，新浪微博了解你的朋友圈和你的爱好等等。
现在在美国，社交网站“脸谱”和视频网站“网飞”也是通过搜集、整理用户在网络上留下的“足迹”，分析用户偏好、兴趣和需求，然后向用户推荐联系人信息或者感兴趣的视频内容。
大数据应用可以保障我们的人身和财产安全
另外，大数据分析已经被用在刑事侦破领域，这为破获一些疑难杂案、保障老百姓的人身和财产安全提供了一种新的技术支持。其中，人脸识别技术的应用就是大数据挖掘的一个典型例子。
1989年，清华大学电子工程系教授苏光大课题组就承担了公安部“GA计算机人像组合系统”研究项目。这套人像组合系统的基本要件就是利用计算机进行画像，只要在计算机中建立储存有各种眼睛、鼻子、嘴巴、眉毛、脸型等信息的信息库，在受害人凭记忆描述犯罪嫌疑人的各种相貌特征时，操作人员在信息库调取与之相应的眼睛、鼻子、嘴巴……直到组合成一个与犯罪嫌疑人特征相像的人像。
近些年，通过计算机画像自动在目标人员数据库中搜索犯罪嫌疑人也成为公安机关在侦破案件时常常采用的手段。不过苏光大表示，人脸识别技术要高效发挥破案的作用，前提就是要建立有大级别的人像数据库系统。
根据公安部门提供的身份信息，2008年1月，苏光大课题组建立了国内首套千万级数据库的人脸识别系统，这也是目前中国最大的人脸识别系统。在进行一些案件侦破时，通过电脑画像，而后经识别系统和数据库的人像资料进行对比，就可以迅速查找犯罪嫌疑人的真实身份。
苏光大告诉记者，在未来随着大数据应用的深入，人脸识别所能够得到的原始人脸数据将会越来越丰富。另外，各个省、市、自治区也可以建立本地区的人脸识别系统，在遇到一些疑难案件时，该系统的数据挖掘和分析将会提供极大的帮助。
而目前，美国中央情报局甚至已经开始利用大数据技术追踪恐怖分子和监控社会情绪。就像可口可乐等消费公司借助数据分析掌握消费者习惯一样，中情局也通过大数据技术来寻找恐怖分子的踪迹。此外，大数据分析可以了解多少人和哪些人正在从温和立场变得更为激进，并“算出”谁可能会采取对某些人有害的行动。
大数据引发的安全问题
但是大数据分析也是一把双刃剑，如果应用不当就有可能给个人带来伤害。
《大数据时代》作者维克托·尔耶·舍恩伯格在书中表示，在大数据时代，我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。
“对我们而言，危险不再是隐私的泄露，而是被预知的可能性——这些能预测我们可能生病、拖欠还款和犯罪的算法会让我们无法购买保险、无法贷款、甚至在实施犯罪前就被预先逮捕。” 维克托·尔耶·舍恩伯格说。
大数据着眼于大规模研究
另外，一些基于个人踪迹的预测，可以让你每走一步之前都被设计好一个陷阱等着你，你这一步踩不到，下一步也总能踩到。以前的“飞天大盗”要实地勘察几个月甚至数年来分析某人或某机构的习惯规律以实施犯罪行为。以后，只需要一台电脑和简单的黑客手段就可以做到了。
时时刻刻都被数据的大网监视和洞察，将会让人变得无所适从。但是专家表示，如同所有科技一样，数字都是死的，关键在于运用它的人，大数据带来的是天堂还是地狱也取决于掌握它的人。
中国科学院心理研究所研究员尹文刚表示，未来个人也没有必要对大数据过于担忧。他表示，大数据主要关注的是群体性的研究，它着眼于大规模研究，其研究出来的也都是很宏观的数据和结论。在通常情况下，这种研究和开发的主旨都是从杂乱无章的海量数据中找出规律性的东西来。
“在我看来，大数据研究和开发，是可以过滤掉一些属于个人隐私的信息的。”尹文刚说。
当然，保护个人隐私，大数据行业的自律也十分重要。曾经在华为工作9年并有4年海外管理经验的集奥聚合首席运营官林佳婕表示，大数据行业必须要安全先行。因为在大数据时代会有越来越多的数据被开放，被交叉使用，在这个过程中，最需要考虑的问题是对于用户隐私的保护。 “尤其涉及公民个人自然信息和个人隐私的信息。这部分信息必须被每个从业人员认真对待：应该被存储在独立的数据库内，严格保护，只有被用户许可，用户隐私信息才能在有限范围内被使用。
大数据的短板和挑战
大数据拥有巨大的应用价值，但是专家表示，我国占有并用好这些重要资产也将面临诸多方面的挑战和困难。
1月19日，在由中国科学院虚拟经济与数据科学研究中心主办的“大数据背景下的计算机和经济发展高层论坛”上，该中心常务副主任石勇表示，战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在我国发展应用中不得不面对的困难。
尽管当前我国已经拥有异常丰富的大数据资源，但是石勇表示，我们所面临的一个现实是拥有数据的部门没有能力去分析，有分析能力的部门没有数据，各部门之间缺少协调合作，这在很大程度上影响了大数据的分析和应用。
而中国工程院院士、西安交通大学教授汪应洛认为，在大数据的发展中，数据质量也是一大障碍，大数据系统要产生出实际的价值，其必须要采集到真实可靠的原始数据，如果信息来源鱼目混珠，其数据分析的价值就要打上很大的折扣，在应用时就会出现很大的问题。
汪应洛表示，2011年，国际标准组织（ISO）专门制定了ISO8000数据质量标准。目前，已经有超过20个发达国家参与了ISO8000标准。但是我国在数据质量领域起步较晚，与发达国家的差距还很大，在ISO8000数据质量标准的制定等方面尚无话语权。
此外，尽管大数据意味着大机遇，但同时也意味着工程技术、管理政策、人才培养等方面的大挑战。只有解决了这些基础性的挑战问题，才能发掘出大数据的价值。
“如果从海量数据中不能开发出大数据价值，这些海量数据中有很多就只能是一大堆垃圾。” 北京邮电大学信息与通信工程学院副教授郝建军表示。
在另外一个方面，如何保障个人隐私也是进行大数据开发不得不面临的问题。据了解，美国国家安全局自2001年，也就是9·11事件发生前7个月起，就一直在不分类别地搜集和保存所有美国公民的详细电话通讯记录，5年内这一数量就多达1.9万亿条。由于涉嫌侵犯公民的隐私，这一情况直到2006年被《今日美国》披露后受到了广泛的质疑。
专家表示，在未来，大数据的分析和应用中，如何避免侵犯个人隐私将是一个国家、企业或者其他研究机构不得不考虑的问题。
2013年被认为是中国“大数据元年”，大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉。
2013年注定将成为中国的“大数据元年”，年初，不管是信息领域的专家学者还是一些嗅觉敏锐的媒体，都将焦点放到了大数据领域。
在很多普通人还不知道大数据究竟为何物的时候，它就猛然蹿到了我们的面前。
“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发…… ”2012年末刚刚出版的新书《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说。
而在太平洋的另一边，目前美国政府已将大数据视为“未来的新石油”，并将对大数据的研究上升为国家意志。在美国的推动下，未来大数据之战的脚步声也似乎越来越近。
数据驱动分析帮奥巴马竞选获胜
其实，很多人关注到大数据与奥巴马赢得美国第二任总统大选有关。
2012年11月6日，就在美国总统奥巴马成功击败对手罗姆尼、再次赢得美国总统选举的当天，《时代》杂志撰文描述了奥巴马总统获胜背后的秘密——通过大数据系统进行数据挖掘。
“数据是能够击败罗姆尼的最根本优势。”奥巴马竞选工作组发言人本·拉波特说。
在大选结果揭晓前夕，奥巴马的局势并不乐观。在大选前一周的一项民调中显示，55% 的被调查选民都认为罗姆尼比奥巴马更具有未来视野。但结果出乎意料，奥巴马笑到了最后。
美国不少分析人士认为，奥巴马团队能取得颠覆性的胜利，是因为他们做到了三个最根本的目标：让更多的人掏更多的钱，让更多的选民投票给奥巴马，让更多的人参与进来。而这些都缘于他们对选民的认知达到了“微观”层面，并赢得了大量草根阶层选民的支持和捐赠。而基于大数据分析的数据挖掘在背后起到了决定性的作用。
2008年，奥巴马就曾被誉为首位“网络总统”。而此次，奥巴马又借助超强的“大数据”能力成功连任，其背后几十人的数据分析与挖掘团队也浮出水面。这支团队在2008年就已存在并发挥作用。但是这次，他们更动用了5倍于上届的人员规模，且进行了更大规模与深入的数据挖掘，这种方式帮助奥巴马在获取有效选民、投放广告、募集资金方面起到了不可忽视的作用。
据了解，奥巴马的数据分析与挖掘团队在本次总统竞选的头18个月里建立了一个统一的、规模庞大的数据库，该数据库不仅会告诉竞选团队如何发现选民、得到他们的关注，它还允许数据分析人员进行实验，以预测何种类型的选民能够被某种呼吁手段所说服。
为了筹到 10 亿美元的竞选款，奥巴马的数据挖掘团队在过去两年搜集、存储和分析了大量数据。2012年春，通过数据挖掘奥巴马竞选团队注意到，影星乔治·克鲁尼对美国西海岸 40 岁至 49 岁的女性具有非常大的吸引力：她们无疑是最有可能为了在好莱坞与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的一个群体。此后克鲁尼在自家豪宅举办的筹款宴会上，果然为奥巴马筹集到数百万美元的竞选资金。
之后，当奥巴马团队决定在东海岸物色一位对于这个女性群体具有相同号召力的影星时，数据团队发现《欲望都市》的女主角莎拉·杰西卡·帕克的粉丝们非常喜欢竞赛、小型宴会和名人，于是，一个与奥巴马共进晚餐的“竞争”便诞生了，那就是争夺在杰西卡·帕克的纽约西部乡村豪宅与杰西卡·帕克、奥巴马共进美餐的机会。“克鲁尼效应”被成功地复制到了东海岸。
通过对粉丝们的信息分析，奥巴马团队成功地满足了她们与钟爱的明星共进晚餐的愿望，也成功地让她们争先恐后打开钱包。
美国《时代》周刊报道称，数据驱动的竞选决策是奥巴马竞选获胜的关键。《时代》最后断言，政治活动的大数据时代已经到来。
通过数据分析解析人的行为
北京集奥聚合公司首席技术官刘国清这些年来一直在进行大数据分析和应用的研究，他对记者表示，大数据是指大量、高速、复杂、变化不定的数据，需要用先进的方法和技术实现信息的收集、存储、分配、管理和分析，而体量大、类型多和速度快是大数据的显著特征。
尽管从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇，但是刘国清表示，大数据并不是当下才出现的时髦概念，它几乎与计算机技术的诞生与崛起相伴而行。
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。
“上个世纪80年代，我国在探讨计算机技术的发展和应用时，就已经谈到海量数据的管理、加工和应用问题，并且当时业界已经认识到，未来随着数据的规模越来越大，海量数据的加工和应用在信息技术中所占的权重将会越来越大。” 中国人民大学信息学院教授、经济信息管理系主任陈禹表示。
然而，当时由于计算机技术及网络技术的限制，大数据并没有向人们展现出它巨大的能量。
这些年，随着海量数据的不断攀升，大数据分析有了丰富的信息资源。美国互联网数据中心指出，目前世界上90%以上的数据是最近几年才产生的。如今，每秒钟地球上的人们要发送290万封邮件；每天每个家庭要使用375MB数据；每分钟人们在 Youtube 上传 20 小时的视频；每天Google处理24PB（1PB =1024TB）数据；每天Twitter上发布5000万条消息；每月人们在 Facebook 上浏览 7000 亿分钟；每秒Amazon要产生72.9笔订单……在未来一段时期内，互联网上的数据每年将增长50%，每两年便将翻一番。 这些庞大的、看似平常而又琐碎的数据已经形成了一种宝贵的资源，其中人的网络行为数据就是一个典型的例子。美国东北大学教授艾伯特·巴拉巴西经过十余年的数据分析发现，人类行为不是随机的，而是聚集之后的爆发。他认为，电子邮件、电子银行的支付记录、购物网站的消费记录、个人网页等互联网数据对于研究人类及人类社会具有重要价值。通过对这些数据进行计算和分析，原本不可捉摸的人类行为变得可被解析、描述和量化，甚至能够对其进行预测和控制。
大数据诞生巨大的价值
在现实中，我们有时会在短时间内发送大量邮件，而在接下来的很长一段时间无所作为，然后又在一个短时间内再次发出大量邮件。巴拉巴西认为这种“爆发”不是随机的，很多人类行为都遵循这一模式。他提出，从几毫秒到几小时的细胞活动，从几分钟到几周的人类活动，从几周到几年的疾病来袭等等，这些都不是随机的，而是具有在一定时间尺度内聚集爆发的特点。
“如果你知道一个人过去的所有社会数据，那么，预测其未来行为的准确性将达到93%。”巴拉巴西说。
“这些年计算机硬、软件技术的发展，网络功能的增强，也为大数据的分析和应用提供了现实的可能。”陈禹表示。
不久以前，美国权威研究机构——透明度市场研究最新发布报告《大数据市场：2012至2018年全球形势、发展趋势、产业分析、规模、份额和预测》显示，去年全球大数据市场产值为63亿美元，预计2018年该产值将达483亿美元，将增长近7倍。
中国工程院院士、西安交通大学教授汪应洛表示，大数据产业能改善已有组织的绩效，包括促进构建高效型政府、提供经济发展新动力、提高文化教育质量；大数据产业还可促进相关产业的发展与革新，比如促进软件和硬件的革新、推动科学技术创新、催生数据服务性企业；此外，大数据产业在社会管理、智慧城市、金融服务、医疗卫生、生产制造、商业零售、个人数字生活等方面都有巨大价值。
国际权威调查咨询机构麦肯锡2012年大数据报告中的一组数据也验证了汪应洛的观点。数据显示，大数据产业每年为美国医疗系统带来3000亿美元的收益；为欧洲公共管理部门带来2500亿欧元的收益；为零售业增加60%的净利润；为制造业减少50%的产品研发等成本；个人地理位置信息的利用，为服务商带来超过1000亿美元的收益，为用户带来超过7000亿美元的价值。
大数据的兴起也将让一种新型的职业全面崛起。麦肯锡全球研究所的一份报告说，美国需要150万精通数据的经理人员，以及14万至19万深度数据分析方面的专家。目前，已有美国大学专门开设了研究大数据技术的课程，培养下一代的“数据科学家”。
美国将大数据上升为国家战略
由于大数据可以带来惊人的财富及其他价值，因此它也成为了人们争相抢夺的目标。不少国外信息专家认为，若想把握未来，就一定不能放弃这个没有硝烟的新战场。
2011年，美国总统科技顾问委员会提出政策建议，指出大数据技术蕴含着重要的战略意义，联邦政府应当加大投资研发力度。作为对这一建议的回应，白宫科技政策办公室在2012年3月29日发布了《大数据研究和发展计划》，同时组建“大数据高级指导小组”，以协调政府在大数据领域的2亿多美元的投资。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技战略部署。美国媒体称，美国政府已将大数据视为“未来的新石油”。
根据这一计划，美国希望利用大数据技术在多个领域实现突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等，具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。
这些动举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，并将对大数据的研究上升为国家意志，形成了全体动员的格局。
《大数据：正在到来的数据革命》一书作者徐子沛在不久前的一次沙龙上透露，目前美国许多政界人士都十分重视社交网络，并希冀通过数据挖掘和数据分析从中获益，而数据创新给公民、政府、社会带来的种种挑战和变革，已经深入人心。
跨国巨头布局大数据
麦肯锡在研究报告中指出，如今数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
目前，一些跨国巨头都已意识到了“大数据”时代数据的重要意义。北京集奥聚合公司首席技术官刘国清表示，谷歌、微软之类的公司之所以强大，正是因为庞大用户数量带来的用户大数据让他们占尽了优势，其中谷歌尤为典型。对于个人用户而言，谷歌的所有应用几乎都是免费的。而用户在免费使用这些应用的同时，也把个人的行为轨迹告诉了谷歌。
心理学认为，人类的细微行为，可以暴露人类的内心想法，从用户的行为轨迹中，可以判断出用户的性格、兴趣、偏好等。用户和互联网之间的联系日益紧密，通过行为分析甚至能推断出用户的下一步计划。谷歌就是利用这一原理，对用户进行匿名的深度分析，然后以精准广告的方式作为主要收入。
逾14亿人口的庞大数据
2011年11月工信部发布的物联网“十二五”规划上，信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。
《大数据时代》的译者之一，电子科技大学教授周涛表示，2012年5月我国召开了第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会也随即分别成立了“大数据专家委员会”。
不少专家认为，在未来的大数据时代，我国逾14亿的庞大的人口规模已经成为一种巨大的信息优势。比如，在医疗行业中，我们国家是一个人口基数庞大的国家，因此病患也非常多，从医疗卫生的角度考虑，医疗、养老都是巨大的负担。但是，如果我们从医药、治疗的角度来讲，这些病患则是一笔巨大的财富，患者生病、治疗及用药产生的大量数据为我们进行医疗研究、药品研发提供了大量鲜活的样本。同理，大数据也为我国社会科学领域的迅速崛起提供了前所未有的机遇。 但是记者在采访中了解到，目前我国的绝大多数社会学者都还没有意识到大数据分析及应用对他们的意义，由于很少关注信息科技，部分专家学者甚至不知道大数据究竟是怎么一回事，认为和自己的工作并没有多大的关系。
有专家认为，大数据在社会科学中的应用是我国社会科学在世界上崛起的一次前所未有的重要机遇，如果在社会科学领域不被予以足够的重视，我国的社会科学发展不仅会丧失这次良好的机遇，甚至还会被世界其他发达国家甩得更远。
大数据改变我们的生活
随着计算机和互联网技术的迅速崛起与普及，我们已经离不开手机、电脑、智能电视等智能终端设备，日常生活基本上都可以数字化地表示。几点几分从家出门，坐什么车花了多长时间到了工作地点。这期间，无论是谁，每发一次微博和打一次电话，包括经纬度在内的精确地理位置信息都被记录在案，而通话记录在许多年之后仍可以被调阅查询。
总之，在互联网无孔不入的时代，我们的一举一动都产生了大量的数据。而在很多时候，这些原始数据就会成为大数据分析的材料。
“要不和大数据沾上边，除非你把自己完全绝缘起来。比如，不上网、不使用手机、不看电视等，总之不和任何信息设备发生关联，这样大数据使用者在进行数据挖掘时就找不到你的个人信息了。但是在如今这个信息时代，这已经是几乎不可能的了，况且国家对公民实施信息化管理及服务也已经成为一种潮流和趋势。”北京集奥聚合公司首席技术官刘国清说，现在我们千万不要以为自己和大数据没有任何关系，实际上如今我们很多人已经成了大数据关注和分析的对象。
虽然大数据分析基于各人习惯进行预测的准确度确实会因人而异，但总体上其准确度比我们想象的要高。由于人类从来没有像今天这样如此依赖网络和电子设备，因此，大数据时代产生如此多的电子踪迹让研究每个人、每个群体，甚至整个人类的习惯成为了可能。
利用大数据买到便宜机票
在大数据的应用中，尽管很多时候我们个人成了大数据分析和应用的对象，但是在将来，我们也可以利用大数据来为自己服务，其中利用大数据购买飞机票就是一个典型的例子。
目前在美国，很多人都知道利用大数据分析的结果购买飞机票可以给自己省钱，而这要归功于美国著名计算机专家奥伦·埃齐奥尼的贡献。
2003 年，奥伦·埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼，他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上，埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着时间的流逝而消失。
但是奥伦· 埃齐奥尼则在这次事件以后开始捉摸如何以合理的价格购买飞机票。他下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。
埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是分析从一个旅游网站上搜集来的所有特定航线机票的销售价格并确定票价与提前购买天数的关系，而后建立一个系统，预测当前的机票价格在未来一段时间内会上涨还是下降。不久，他就完成了这样一个预测系统，如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。
而后，埃齐奥尼的这个项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司，名为Farecast。通过预测机票价格的走势以及增降幅度，Farecast 票价预测工具能帮助消费者抓住最佳购买时机，而在此之前还没有其他网站能让消费者获得这些信息。如今，Farecast 已经拥有惊人的约2000 亿条飞行数据记录。利用这种方法，Farecast 为消费者节省了一大笔钱。
2008 年，埃齐奥尼计划将这项技术应用到其他领域，比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。但是在他实现计划之前，微软公司找上了他并以1.1 亿美元的价格收购了Farecast 公司。而后，这个系统被并入必应搜索引擎。
到2012 年为止，Farecast 系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价。据了解，Farecast 票价预测的准确度已经高达75％，使用Farecast 票价预测工具购买机票的旅客，平均每张机票可节省50 美元。
未来，在国内从事航空、宾馆预订等行业分析的大数据公司成熟以后，个人也可以购买他们的数据服务从而减轻自己的负担。
而在另外一个方面，为我们进行服务的单位则可以基于对你位置的实时定位和数据分享，在你进地库时就开始着车，进门前就亮灯，坐在位置前电脑就开启，咖啡就上桌，这些在技术上并不难实现。
“可以设想，在大数据时代，计算将像电力一样成为自由流动并被销售的能源，今天我们为5度电付费，明天我们会为来自云基地的‘10度’计算付费。”电子科技大学教授周涛表示。
我们已经在不知不觉中享受大数据服务
实际上，我们已经在不知不觉中享受大数据分析和应用提供的服务。
互联网上流传着这样一个例子：2012年初，美国的一名男子闯入了他家附近的 Target 店铺（Target：美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼道，“你们竟然给我 17 岁的女儿发婴儿尿片和童车的优惠券，她才 17 岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理并没有意识到，他们公司正在运行一套数据挖掘系统。
一个月后，这个愤怒的父亲打来电话道歉，因为 Target 发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。事实上，Target 创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target 在接下来的几年中会根据婴儿的生长情况定期给这些顾客推送相关产品，使这些客户形成长期的购买习惯。 刘国清说，利润仅次于沃尔玛的全球第二大零售商Tesco，从用户行为分析中获得了巨大的利益。据悉，从其会员卡的用户购买记录中，Tesco 可以了解一个用户是什么“类别”的客人，如速食者、单身、有上学孩子的家庭等等，这样的分类可以帮助 Tesco 设计个性化的服务，比如，通过邮件或信件寄给用户的促销广告可以变得十分个性化，店内的上架商品及促销也可以根据周围人群的喜好、消费的时段变得更有针对性，从而提高货品的流通。这样的做法为 Tesco 获得了丰厚的回报，仅在市场宣传一项，就能帮助 Tesco 每年节省 3.5 亿英镑的费用。
沃尔玛也同样重视与它的顾客进行个性化互动。2011年底，沃尔玛在Facebook上发布了一个名叫 ShoppyCat 的应用，这个应用的功能是帮助顾客解除为朋友挑选生日礼物的烦恼。当顾客将 ShoppyCat 加入她 / 他的 Facebook 中时，应用程序将访问这个顾客所有朋友的信息，如登记信息、行为、状态、Likes、关系圈等等，通过对这些信息的分析挖掘，为每一个朋友的生日都推荐相应的礼物。
而当你进入亚马逊的网站时，它会“猜测”你可能会喜欢什么样的产品，并在首页给你推荐。当你浏览京东或者淘宝网页上的某一产品时，类似的产品链接就在旁边方便你点击、比对。
北京邮电大学信息与通信工程学院副教授郝建军表示，这是因为平时，电商都在不知不觉中对消费者的消费行为和习惯有了记录。在电脑上，你什么时间浏览了什么网站，点击了哪些链接，网上购物时买了什么样的东西，花了多少钱，你中间点击了哪些、什么样、什么价格的产品，最后做出了什么样的选择都有迹可循。大型电商网站会基于这些数据，分析顾客习惯并优化自己的产品结构，变更网页，以达到促进、方便消费的目的。
集奥聚合首席营销官段培力对记者透露，现在百度和新浪微博也在进行基于大数据的分析和应用，比如百度了解你的信息查询需求，新浪微博了解你的朋友圈和你的爱好等等。
现在在美国，社交网站“脸谱”和视频网站“网飞”也是通过搜集、整理用户在网络上留下的“足迹”，分析用户偏好、兴趣和需求，然后向用户推荐联系人信息或者感兴趣的视频内容。
大数据应用可以保障我们的人身和财产安全
另外，大数据分析已经被用在刑事侦破领域，这为破获一些疑难杂案、保障老百姓的人身和财产安全提供了一种新的技术支持。其中，人脸识别技术的应用就是大数据挖掘的一个典型例子。
1989年，清华大学电子工程系教授苏光大课题组就承担了公安部“GA计算机人像组合系统”研究项目。这套人像组合系统的基本要件就是利用计算机进行画像，只要在计算机中建立储存有各种眼睛、鼻子、嘴巴、眉毛、脸型等信息的信息库，在受害人凭记忆描述犯罪嫌疑人的各种相貌特征时，操作人员在信息库调取与之相应的眼睛、鼻子、嘴巴……直到组合成一个与犯罪嫌疑人特征相像的人像。
近些年，通过计算机画像自动在目标人员数据库中搜索犯罪嫌疑人也成为公安机关在侦破案件时常常采用的手段。不过苏光大表示，人脸识别技术要高效发挥破案的作用，前提就是要建立有大级别的人像数据库系统。
根据公安部门提供的身份信息，2008年1月，苏光大课题组建立了国内首套千万级数据库的人脸识别系统，这也是目前中国最大的人脸识别系统。在进行一些案件侦破时，通过电脑画像，而后经识别系统和数据库的人像资料进行对比，就可以迅速查找犯罪嫌疑人的真实身份。
苏光大告诉记者，在未来随着大数据应用的深入，人脸识别所能够得到的原始人脸数据将会越来越丰富。另外，各个省、市、自治区也可以建立本地区的人脸识别系统，在遇到一些疑难案件时，该系统的数据挖掘和分析将会提供极大的帮助。
而目前，美国中央情报局甚至已经开始利用大数据技术追踪恐怖分子和监控社会情绪。就像可口可乐等消费公司借助数据分析掌握消费者习惯一样，中情局也通过大数据技术来寻找恐怖分子的踪迹。此外，大数据分析可以了解多少人和哪些人正在从温和立场变得更为激进，并“算出”谁可能会采取对某些人有害的行动。
大数据引发的安全问题
但是大数据分析也是一把双刃剑，如果应用不当就有可能给个人带来伤害。
《大数据时代》作者维克托·尔耶·舍恩伯格在书中表示，在大数据时代，我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。
“对我们而言，危险不再是隐私的泄露，而是被预知的可能性——这些能预测我们可能生病、拖欠还款和犯罪的算法会让我们无法购买保险、无法贷款、甚至在实施犯罪前就被预先逮捕。” 维克托·尔耶·舍恩伯格说。
大数据着眼于大规模研究
另外，一些基于个人踪迹的预测，可以让你每走一步之前都被设计好一个陷阱等着你，你这一步踩不到，下一步也总能踩到。以前的“飞天大盗”要实地勘察几个月甚至数年来分析某人或某机构的习惯规律以实施犯罪行为。以后，只需要一台电脑和简单的黑客手段就可以做到了。
时时刻刻都被数据的大网监视和洞察，将会让人变得无所适从。但是专家表示，如同所有科技一样，数字都是死的，关键在于运用它的人，大数据带来的是天堂还是地狱也取决于掌握它的人。
中国科学院心理研究所研究员尹文刚表示，未来个人也没有必要对大数据过于担忧。他表示，大数据主要关注的是群体性的研究，它着眼于大规模研究，其研究出来的也都是很宏观的数据和结论。在通常情况下，这种研究和开发的主旨都是从杂乱无章的海量数据中找出规律性的东西来。
“在我看来，大数据研究和开发，是可以过滤掉一些属于个人隐私的信息的。”尹文刚说。
当然，保护个人隐私，大数据行业的自律也十分重要。曾经在华为工作9年并有4年海外管理经验的集奥聚合首席运营官林佳婕表示，大数据行业必须要安全先行。因为在大数据时代会有越来越多的数据被开放，被交叉使用，在这个过程中，最需要考虑的问题是对于用户隐私的保护。 “尤其涉及公民个人自然信息和个人隐私的信息。这部分信息必须被每个从业人员认真对待：应该被存储在独立的数据库内，严格保护，只有被用户许可，用户隐私信息才能在有限范围内被使用。
大数据的短板和挑战
大数据拥有巨大的应用价值，但是专家表示，我国占有并用好这些重要资产也将面临诸多方面的挑战和困难。
1月19日，在由中国科学院虚拟经济与数据科学研究中心主办的“大数据背景下的计算机和经济发展高层论坛”上，该中心常务副主任石勇表示，战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在我国发展应用中不得不面对的困难。
尽管当前我国已经拥有异常丰富的大数据资源，但是石勇表示，我们所面临的一个现实是拥有数据的部门没有能力去分析，有分析能力的部门没有数据，各部门之间缺少协调合作，这在很大程度上影响了大数据的分析和应用。
而中国工程院院士、西安交通大学教授汪应洛认为，在大数据的发展中，数据质量也是一大障碍，大数据系统要产生出实际的价值，其必须要采集到真实可靠的原始数据，如果信息来源鱼目混珠，其数据分析的价值就要打上很大的折扣，在应用时就会出现很大的问题。
汪应洛表示，2011年，国际标准组织（ISO）专门制定了ISO8000数据质量标准。目前，已经有超过20个发达国家参与了ISO8000标准。但是我国在数据质量领域起步较晚，与发达国家的差距还很大，在ISO8000数据质量标准的制定等方面尚无话语权。
此外，尽管大数据意味着大机遇，但同时也意味着工程技术、管理政策、人才培养等方面的大挑战。只有解决了这些基础性的挑战问题，才能发掘出大数据的价值。
“如果从海量数据中不能开发出大数据价值，这些海量数据中有很多就只能是一大堆垃圾。” 北京邮电大学信息与通信工程学院副教授郝建军表示。
在另外一个方面，如何保障个人隐私也是进行大数据开发不得不面临的问题。据了解，美国国家安全局自2001年，也就是9·11事件发生前7个月起，就一直在不分类别地搜集和保存所有美国公民的详细电话通讯记录，5年内这一数量就多达1.9万亿条。由于涉嫌侵犯公民的隐私，这一情况直到2006年被《今日美国》披露后受到了广泛的质疑。
专家表示，在未来，大数据的分析和应用中，如何避免侵犯个人隐私将是一个国家、企业或者其他研究机构不得不考虑的问题。