【摘 要】
：
随着物联网、移动互联网、社交网络等一系列新兴技术和应用方式的出现,人们对海量数据实时存储、处理的需求不断增加.分布式消息系统由于其解藕数据收集与处理系统、良好的性能和扩展性被广泛使用.基于对分布式消息系统的广泛需求,一大批消息系统被开发发布,其中包括LinkedIn 2011年推出的Kafka,Twitter 2016年5月开源的DistributedLog,Yahoo！2016年9月开源的的Pu
【机 构】
：
四川大学 成都 610065 中国科学技术大学 苏州 215123
【出 处】
：
第 23 届全国信息存储技术学术会议
论文部分内容阅读
随着物联网、移动互联网、社交网络等一系列新兴技术和应用方式的出现,人们对海量数据实时存储、处理的需求不断增加.分布式消息系统由于其解藕数据收集与处理系统、良好的性能和扩展性被广泛使用.基于对分布式消息系统的广泛需求,一大批消息系统被开发发布,其中包括LinkedIn 2011年推出的Kafka,Twitter 2016年5月开源的DistributedLog,Yahoo！2016年9月开源的的Pulsar和阿里巴巴2017年开源的RocketMQ等.对于各种分布式消息系统,虽然其开发初衷存在一定差异,但它们所支持的最基本功能和语义都是类似的,因而为了系统了解现存分布式消息系统的场景、问题和现有解决方案,以一个系统为研究实例是非常必要的,因此本文选择了其中最广泛使用、最成熟的Kafka.本文的主要贡献在于：1.从系统实现角度分析Kafka所采用的各种技术；2.从微观测试角度详细分析影响Kafka性能的各个因素,结合系统实现方式说明各项因素在整体性能中起到的作用；3.以最为常见的使用模式为实例,分析Kafka的性能和适用场景,为后续使用者提出了如下建议：1.在运行环境中监控Metrics,查看Kafka系统和客户端的状态负载,进而分析提出改进策略.2.由于Kafka的消息有序保证,只有在一个分区的情况下才能保证全局有序,且一个消费组中只能有一个消费者,那么此时消费者才能有序消费全部数据.但是Kafka并没有做严格的消息有序,这也是因为有大量不关注消息乱序的场景,而且做消息排序会会很大程度降低系统性能,另外可以通过消费者来做排序处理,比如每条消息记录一个用于排序的值,或者将需要有序处理的消息单独发往一个话题,根据具体业务场景做选择.3.由于网络等很多原因,都会存在消息发送失败,导致重发,重发就有可能会有消息重复.Kafka可以保证消息至少发一次的语义,即有可能出现重复的消息,目前Kafka也在做相关的改进工作,如果在消息系统内部实现消息重复消息判断,需要维护额外的信息,肯定会影响性能.所以可交给消费者来处理,对重复消息做幂等处理,或者为每条消息指定唯一ID创建去重表记录重复消息.4.由于Kafka高度依赖内存与PageCache,而对CPU的要求不高,因而集群的承载能力很强,实际环境中需要考虑磁盘、网络I/O瓶颈的影响.当内存耗尽后会影响性能表现,与此同时,在生产环境中,尽量保证消费者不能比生产者落后太多,以避免PageCache中不包含所需数据造成的性能下降.
其他文献
随着铁路涵洞病害的增多，现行铁路桥涵评定方法已不能满足涵洞评定的要求，亟需对既有涵洞评定方法进行改进。本文以宝成铁路绵阳工务段病害涵洞现场调研数据为基础，并结合相关规范对既有铁路涵洞评定方法进行了补充和改进。补充后的评定方法考虑了涵洞类型，且包含更多的劣化种类，能够对劣化状态进行评定。另外，改进后的评定方法引入了涵洞综合劣化指标，能够反映涵洞的整体劣化情况，可作为安排涵洞维修次序的依据。
针对空间缆索悬索桥体系转换过程中主缆会产生扭转，而扭转刚度为各因素影响的变量，数值模拟中难以准确考虑，从而无法精确计算主缆扭转角及确定索夹预偏角的难题。本文揭示了吊索张拉过程主缆的扭转机理，从理论上分析了钢丝层间摩擦力对主缆扭转刚度的影响，并将拉-扭耦合效应及钢丝层间摩擦力在数值模拟中加以考虑，有效提高了计算精度，并通过改变抗扭刚度系数、吊杆张拉力、索夹预偏角等参数，明确了主缆扭转特性与扭转效应，
为了减少施工时间，提高施工区域及其周围的安全性，针对既有桥梁工程的确定性体系，通过对黄河特大桥的施工方案的优化，探索黄河特大桥的施工工艺和施工组织方法，对各个施工阶段进行研究，以缩短工期为目标，最大程度提升工程综合效益。通过对黄河特大桥的混凝土简支箱梁快速施工方案研究，把节段预制胶接方案修改成了支架现浇方案，最大限度的缩短了施工占用的时间，减轻了对周围环境的影响，降低或避免了长时间高空作业，减少了
基于桥梁减隔震方法中支座功能分离的概念，提出一种由减震榫与普通橡胶支座组合而成的新型减震支座体系。本文首先基于等强度理论推导减震榫尺寸参数的设计方法；其次，对减震榫和普通橡胶支座组合而成的钢阻尼支座体系进行了全尺寸的拟静力加载试验，验证其滞回耗能性能，并通过钢阻尼支座的阻尼比和刚度退化曲线来评价钢阻尼支座系统的耗能能力和稳定性。研究结果表明：钢阻尼支座体系滞回曲线饱满，具有稳定的滞回性能和良好的塑
为了研究钢筋锈蚀下混凝土箱梁挠度和裂缝宽度的变化，基于梁截面平衡和变形协调，引入锈蚀钢筋混凝土梁非线性本构关系，建立了箱梁受弯挠度和裂缝宽度解析表达式.针对铁路简支箱梁算例，研究了混凝土性能退化和钢筋锈蚀对梁挠度和裂缝宽度的影响，并和铁路桥梁规范中挠度和裂缝宽度的规范值进行了对比分析.结果表明：混凝土性能的退化对梁挠度和裂缝宽度影响很小；锈蚀钢筋力学性能的退化和锈蚀黏结滑移对挠度和裂缝宽度具有较大
本文通过选取实际工程结构中的1X7结构钢绞线索进行断裂冲击试验，拟获得对应的索力时程曲线以及钢绞线索的断裂现象和失效机理，并为冲击响应谱的计算作铺垫。首先通过对无损钢绞线索进行动态拉伸，得到钢绞线索的断索情况以及对应的索力值，并计算出每根钢绞线索的失效时间，再将失效时间作为谱分析中的冲击持时，计算冲击响应谱。最终得到了五根钢绞线索的断裂过程以及相应的断索参数。结果表明钢绞线索的失效时间不随外在条件
为探讨分析桥梁横向拼接拓宽给既有预应力混凝土箱梁桥箱梁桥面板可能带来的结构病害，本文利用有限元方法分析了新旧箱梁之间产生的相互作用对既有箱梁结构应力状态的影响，考虑的作用包括新建混凝土桥梁的收缩徐变效应、新旧箱梁之间的不均匀沉降差、温度梯度以及车辆活载作用。研究结果表明，拓宽后既有箱梁的部分顶板和靠近新建箱梁的大部分内侧翼缘板顶面普遍处于较大的拉应力状态，其中新建桥梁混凝土收缩和徐变效应、新旧箱梁
根据波动理论，地震区起主要破坏作用的是震源发射的P波和S波。因此，本文推导了任意角度入射的平面P波和平面SV波在土体中应力的表达形式，并分析了地震波参数和土体参数对土体动应力路径的影响，比较了P波和SV波所产生的动应力路径间的差异。结果表明：当P波、SV波单独入射时，土体动应力路径均为椭圆，椭圆的形状随入射角、入射频率、波速、泊松比、深度等因素在一定范围内变化。
大数据技术的出现与发展使得存储系统面临巨大机遇与挑战。同时，作为传统内存介质的动态随机存储器(DRAM)，由于其工艺尺寸达到20 nm及以下，使得内存系统在稳定性、可靠性等方面出现问题，亟待新型存储器的替代。相变存储器(PCM)具有非易失性、抗辐射干扰、密度高等优点，是最有可能取代DRAM的非易失性存储器。然而，相变存储器面临写寿命有限、电阻漂移、永久性故障、软错误等可靠性问题。在天基系统中，对内
近年出现的一类新型非易失性存储器(Non-Volatile Memory,NVM)如相变存储器和RRAM等,表现出非易失、存储密度高、低延迟、低功耗、抗震性好、可按字节寻址等优点,使得NVM成为潜力巨大的新型存储设备.针对这类NVM,学术界和工业界已设计实现多个新型内存文件系统如PMFS、SIMFS和HiNFS等,充分发挥非易失性内存高访问速度和可按字节寻址等优点,实现高效的文件访问和可靠的一致性