实现数据库转型的8项技术

来源 :计算机世界 | 被引量 : 0次 | 上传用户:never03330
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  编译 杨勇
  数据库多年来一直是由行和列组成的表格,现在看来还会这样下去。
  什么是数据库?很久以前,这很简单。数据库是一个现代的Bob Cratchit(狄更斯笔下的人物),把数据放在由非常直的列组成的表格中,每一列的每一行都有一个输入。漫长而无尽的矩形显示的信息会一直延伸下去。
  关系型数据库已经成为现代计算的基础。绝大多数网站都只是涂抹在SQL之上的一堆CSS。能让我们感到有所不同的不过是在一张大表中又增加了一行。
  随着开发人员逐渐意识到并不是所有的东西都适合放到一张简单的表中,人们对大矩阵式表格的热情正在慢慢消退。而且开发人员非常聪明,热衷于为每一需求寻找解决方案,他们开始创建更好、更新的方式来存储信息。过去的几年里,我们存储数据的其他机制出现了爆炸式的增长。
  这些非常棒的新选择还是数据库吗?还是要把数据放到一些大的矩阵中才能成为数据库吗?有些人喜欢用“数据存储”这个词来区分现代机制,因为“数据库”这个词在我们的头脑中已经根深蒂固,认为它就是一种旧的表结构。让我们把这些留给哲学家们吧。我们只是输入数据,然后得到答案。
  这里介绍了以新形式和新表格重塑数据库的8种方法。
  GPU计算
  很久以前,开发了视频卡来为孩子们的游戏描绘出精美的场景,而现在所谓的图形处理单元能够进行大量的非图形处理任务。数据搜索只是这些处理单元能够胜任的非图形操作任务之一。挖掘大量的数据来寻找匹配,其本质上就是并行操作,包括了很多重复数百万次的基本的工作(测试等式)。因此,把工作交给GPU的数千个处理器,完成起来就会非常简单。
  最成功之处不是在于回答每一查询(显然要快很多倍),而是在准备工作中,因为几乎不需要预处理。很多数据库通过维护索引来节省时间,这实际上是针对每个可能搜索的预先计算结果。如果这个索引损坏了或者被破坏了,重建它可能需要几个小时、几天,甚至几个月的时间。不过,如果数据可以放在GPU的内存中,通常不需要索引就能够得到数据。如果数据变化很快,大部分索引从未使用过,那么跳过预处理就能够提高效率。
  非易失性存储器(NVRAM)
  程序员50年前小试牛刀的时候就很容易做到这一点。他们不必采用精心设计的协议来处理RAM和硬盘之间的数据,以确保一致性。这是因为当时的记忆体是铁芯,当电源关闭时数据并没有被清除。这些好时光可能很快又会回来,因为芯片制造商正在讨论用NVRAM,即非易失性存储器来取代RAM。
  对于数据库程序员来说,这极大的改变了游戏规则,因为他们最大的挑战(甚至是他们能继续工作下去的最大原因)正在消失。有些人建议,数据库可以更快一些,因为会话语义能更简单些。而有些人的想法则是在数据写入介质之后构建恢复日志,而不是在写入之前。
  没有人知道什么时候能尘埃落定。如果人们不再需要永久记录,他们还会使用数据库吗?还是因为需要搜索和索引而再次使用数据库?需要重新思考所有的算法和所有的架构。今后未来十年左右,我们会知道使用NVRAM的最好方式。
  扩展SQL
  当NoSQL开始大规模应用的时候,一个很大的特点是能够把您的数据存储扩展到多个节点上。像Cassandra和MongoDB这样的NoSQL数据库,看起来具有所有大规模存储的优点,意味着人们可能会放弃以前习惯了的SQL环境。
  在现实中,这也不需要付出什么代价。虽然前期很容易在大型数据库中进行一些试验——因为舍弃了SQL的所有负担,但却不能解释SQL为什么不能在大规模运行的多台机器上正常工作。事实上,Oracle这样的企业已经做了很多年。
  最新的大型數据库允许您运用所有SQL知识,方便地使用分布在大集群上的一组数据。例如,CockroachDB提供了一个标准的SQL查询引擎,可以访问多个节点上复制的数据,并能够保证ACID。是的,您需要为实现数据一致性的基本支持而付一些费用,但比您预期的少很多。
  地理空间数据库
  传统的数据库是建立在一维数据集上的,不支持含有地理信息的二维坐标。您可以进行模拟,使用标准数据库,参照地理坐标来完成基本任务。如果您一定要把经度和纬度放在不同的列中,那么并不难搜索由一系列经度和纬度定义的框架中的所有行。但是,一旦您想超越这个基本框架,标准SQL查询就无能为力了。
  地理空间数据库增加了一些额外的功能,简化了在二维空间中的搜索、排序和交叉。例如,空间索引一般通过在坐标空间上添加一个网格来进行工作,以便更快地搜索二维和三维环境中相邻的行。
  这些索引支持使用“包含”、“重叠”、甚至“触摸”等操作以及由多边形定义的集合来编写查询。所有这一切都使得对现实世界的推理更有效。
  图形数据库
  表是很多数据结构很好的存储库,但却不适合对一个巨大的、新兴的数据结构进行建模,这一数据结构推动了互联网网络过去10年的发展。当所谓的“社交图”爆发时,我们的计算机中有越来越多的节点,并在它们之间建立了链接。节点之间的链接通常比其中的数据更重要。当然,很容易在经典关系型数据库中存储和检索一对节点之间的链接,但却难以进行更复杂的查询。在一个友谊网络中,Bob经过两跳或者三跳就能到达Chris吗?Mary在和她的一个朋友约会吗?
  图形数据库更容易进行这样的查询。由于查询知道怎样查找链接指定的邻域,因此,不会没完没了的去查找表。Neo4J、OrientDB和DataStax等工具便是众多选择中的一些实例。它们也有自己的查询语言。
  云数据库
  最大的变化之一在于我们怎样购买数据库软件。过去,我们购买自己的机器,签署许可协议,在我们自己的机器上运行软件。而现在,云公司提供服务,把数据存储在我们看不见也摸不着的地方。他们只是说,当我们想要的时候,就会有数据。
其他文献
美德日等发达国家的工业革命信号给中国制造业敲响了警钟。发达国家“再工业化”与“工业4.0”,向我们展现了不同于传统流水线、集中化机器大生产的全新生产方式,生产要素、组织模式乃至市场供给与需求都将出现重大变化。这对我国进一步推进增长方式转型、实现可持续发展给予了重要启示。以“工业4.0”为代表的新一轮工业革命是发达国家反思过度“去工业化”、推动回归实体经济的发展战略。新一轮工业革命并非简单的制造业回
3年前的2011年,有400家企业捧场华为企业业务渠道大会,而今年3月24日在南京召开的“智汇阳光 共襄新程 改变未来 成就梦想”2014年华为中国合作伙伴大会上,到场的渠道商超过3000家,规模在中国ICT厂商中堪称最大。人来人往的展区,壮观的会场景象,证实了3年来华为企业业务“被集成”战略的辉煌。  快速发展的3年  “我们的路走得并非一帆风顺。”华为企业业务中国区总裁马悦感慨地说。过去20多
“我国3D人才缺口上千万,其中,制造业3D应用人才急缺800万人。”这是全国3D大赛秘书长、3D动力总裁鲁君尚去年接受笔者采访时披露的数字。前日,笔者巧遇鲁君尚,他更是语出惊人:“现在看来,3D人才短缺面有扩大的趋势。”  这不禁让笔者吃惊不小。要知道,全国3D大赛已经举办过5届,参赛高校已连续3年每年超过600所,参赛企业超过1000家,初赛参赛人数连续突破100万人。5年下来,“3D人才荒”应
近日,Wi-Fi Alliance(Wi-Fi联盟)宣布即将推出全新功能Wi-Fi Aware,帮助用户在建立Wi-Fi连接之前轻松发现周边设备、应用与信息。  Wi-Fi 联盟市场副总裁Kelly Davis-Felner介绍说,Wi-Fi Aware背后的“周边感知”技术能够在后台连续运行,发送极小量的消息,并帮助多种应用实现服务发现功能。Wi-Fi Aware认证设备能够在连接之前发现服务,
作为能源互联网发展的见证者和参与者,深耕电力信息化逾三十年的远光软件,在“电力体制新一轮改革,十三五 智慧能源行动计划、一带一路”的时代机遇下,快速掌握趋势,并取得了突出贡献,在2016年中国产业互联网大会上荣获“能源行业突出贡献奖”。  远光软件依托深厚的行业积累和敏锐洞察,布局云计算、移动互联、电力大数据、供应链智能化、物联网、智能管理设备等新兴领域,深化产学研合作,搭建起全面覆盖能源资源管理
智能化工业装备已经成为全球制造业升级转型的基础,发达国家不一而同地将制造业升级作为新一轮工业革命的首要任务。德国、美国、日本等世界各传统工业强国无不高度重视全面信息化对制造业已有和潜在的影响,思考及采取对策加速自身制造业的转型升级,以期占领未来国际较量的战略制高点。这其中尤以德国提出的“工业4.0”概念最为引人瞩目,被认为是德国吹响了新一轮工业革命的前进号角。  德国学术界和产业界普遍认为,“工业
现在,面对中国自主创新的整体环境,外企如何看待中国,又该如何拥抱中国?本土化,无疑成为他们的选择。  刚刚过去的反法西斯战争胜利70周年纪念日让2015年的这个夏天多了一抹红色。在IT领域,从初夏的5月紫光成为“新华三”控股股东,到盛夏的8月,IBM中国第三代土生土长的本土领导人被任命、阿尔卡特朗讯(以下简称“阿朗”)企业通信业务变身国资委实际控股,这些曾经的外企在中国未来发展的路上更添了一抹“红
用平台战略替换孤岛模式、用数据资源驱动政务创新、用云网端重构基础设施、用政务超市打造便民服务,才能实现传统政务转型升级。  当前全球各国政府面临着一系列共同的现实挑战,包括经济复苏缓慢、人口老龄化、自然环境污染、城市病、恐怖袭击等。针对这些新常态下的新问题,就中国而言,传统政务的调控治理愈发不能满足产业、民众的诉求。通过创新性手段解决实际问题是提升政务能力的有效手段,而这一创新手段正是“互联网 ”
“对于那些希望以大出货量带来高收入的企业而言,可穿戴设备将不是一个理想的市场,因为这个市场将呈现高度的碎片化,是一个高度碎片化的长尾市场。”Gartner技术和服务研究组首先分析师邓雅君告诉本报记者。邓雅君重点研究MCU、人机交互使能技术、显示器、触摸屏、可穿戴设备以及无线设备等。  邓雅君表示,尽管可穿戴设备市场整体看起来很大,但是它是由众多产品细分构成的,集合了多种可穿戴装置。来自Gartne
互联网金融很热,但还处于探索的路上。  先来看一组央行数据。央行征信系统里有8亿人,其中3亿人有银行信用卡和信贷记录,剩下5亿人的记录属于空白。头疼的是,由于很多模式都是固定的,现在银行、小贷公司、担保公司、P2P公司等,全部做的都是那3亿人的业务。玖富CEO孙雷意识到,不能依靠传统的信贷政策进行评估来做P2P,传统信贷政策评估效率慢,客户群受制约,对产品创新产生了影响。就在前不久全球最大P2P平