论文部分内容阅读
摘要：随着大数据技术和其他相关技术的发展，我国诸多行业和领域开始引进了大数据技术，而一卡通业务也不例外，依托于大数据平台的一卡通业务有诸多的优势和特点，但是在平台的设计和建设上还存在一定的思路问题。由此，本文就针对一卡通大数据平台的建设思路为主题，首先分析了一卡通大数据平台的基本概况，其次阐述了一卡通大数据平台的平台设计和详细架构设计，最后总结了一卡通大数据平台的逻辑架构设计、网络拓扑和系统功能。
关键词：大数据;平台建设;数据分析
1.一卡通大数据平台的基本概况
一卡通大数据平台就是利用大数据技术和其他技术组合设计出的平台系统。该系统的主要作用就是收集公交线路、站点信息、交易信息等内容，然后将这些数据和信息制作成详细的表格，提供给企业和公司进行相关的数据分析、和运营决策，为城市公交的正常运转提供有力的主持。
一卡通大数据平台的发展是随着计算机技术、互联网技术、大数据技术、移动支付技术发展而发展的，特别是大数据技术和移动支付技术的发展和应用，很大程度上起到了支撑和辅助一卡通系统运作的功能，包括用户数据、实时信息、路况变化、天气情况等都可以通过大数据技术和其他相关技术进行实时记录和播报;而移动支付技术则很好地解决了资金问题，如果没有良好的移动支付功能，一卡通的支付、充值等功能就需要更多的人力和财力物力的投入。但是，当前的大数据平台的构件还是存在一定问题，最关键的一点在于现阶段数据过于庞大且来源较多，其本身很难产生较强的关联性和完善的利用价值，这也就造成了一定程度的资源浪费。
2.一卡通大數据平台的平台设计
一卡通大数据平台的的架构框架主要由图中部分组成，该平台在设计上利用Spark引擎技术作为开发框架。从图中我们可以看出，该平台的数据储存于分布式文件系统中;该平台的用户画像处理分析主要是通过Kettle、Hive等技术进行分析处理，方便运营方为不同的用户提供更加个性化的服务[1];Lambda是该大数据平台中的重要组成部分，该架构可以通过系统架构的三个层次，实现系统数据的快速且大量处理，Lambda计算框架的三个层次分别是批处理层、实时处理层、服务层，该计算框架对于数据的处理起到了很大的作用。
3.一卡通大数据平台的详细架构设计
一卡通大数据平台在设计的过程中，可以分为七个层次，这七个层次都有各自的特点和功能，我们从上往下依次分析。
第一层就是应用层，应用层就是为用户提供一个可视化的、便于操作的交互界面，该交互界面可以通过手机APP或网页的方式存在。第二层就是数据服务层，数据服务层的主要功能是提供一个良好的数据使用环境和数据服务体系。第三层就是引擎层，引擎层主要为应用层执行各种数据处理和服务工作。第四层就是计算层，计算层顾名思义是进行各种数据计算。第五层就是存储层，存储层就是对各种数据和信息进行存储，以便于系统的调用。第六层就是接口层，接口层的功能是对数据进行筛选，并将筛选后的数据传输到存储层进行存储。第七层就是数据源层，数据源层就是接收各类数据的接口。
4.一卡通大数据平台的逻辑架构设计
一卡通大数据平台的逻辑架构，在设计上可以分为三层，下面对这三层进行分别分析探究。首先是数据处理层，数据处理层主要作用是对系统中的无效数据和制定的数据进行清除、整合，以保障平台的流畅性。其次是数据服务层，数据服务层就是针对系统中的各项数据进行标签化和处理华，方便对数据的需求和使用。最后是数据应用层，数据应用层的重要功能就是对系统中的各项数据进行整合，以方便相关人员对一卡通系统进行相应的操作和开发。
5.一卡通大数据平台的网络拓扑
一卡通大数据平台的网络拓扑包含了多项内容，具体情况如图1所示。
6.一卡通大数据平台的系统功能
一卡通大数据平台的数据功能包含较多内容，以下为具体功能的概述和分析。
第一，数据抽取接口。数据抽取接口主要是对系统中的数据信息进行抽取和调用，并将相关数据打包汇总到关系数据库中，并将关系数据库中的数据调用并输送到分布式文件系统中，供系统的调用。第二，数据清洗接口，数据清洗接口就是对数据信息进行筛选，将无用的数据信息进行清除，保障数据的可用性和系统的流畅性。第三，数据整合接口。数据整合接口就是对数据进行整合，整合的主要目的就是为了保障数据在引用过程中的关联性。并且能够对因为实践改变而改变的数据进行重新判断和整合，以此确保数据能够长期处于有效关联状态。
第四，集群性能监控模块。该模块的主要作用就是进行有效的集群监控，包括系统中各项硬件的使用状况和健康状态;各项软件和系统的运行情况等都能进行监控，并且对于可能存在的故障还可以进行相应的预警。第五，平台任务调度模块。该模块的主要功能和作用，就是能对系统的任务进行合理的安排和调度，以此保障系统执行任务的流畅。第六，数据展示。数据展示的主要作用就是对相关用户的各项数据进行深度挖掘和分析，例如用户的年龄、性别、消费习惯、消费情况等，通过这一套的分析和研究，系统可以总结出一套方便快捷的可视化大数据，方便工作人员使用。
结语
综上所述，一卡通大数据平台的设计和构建需要设计到诸多方面，从系统到具体功能都要有良好的构思，但是一卡通大数据平台一旦设计构建完成，就可以成为企业和公司的优秀工作助手，在数据的收集、处理和分析上，能起到很大的作用。
参考文献
[1]李咏梅.企业大数据平台建设及应用探讨[J].风能，2020（06）：58-59.
江苏交通一卡通有限公司，江苏南京 210000
关键词：大数据;平台建设;数据分析
1.一卡通大数据平台的基本概况
一卡通大数据平台就是利用大数据技术和其他技术组合设计出的平台系统。该系统的主要作用就是收集公交线路、站点信息、交易信息等内容，然后将这些数据和信息制作成详细的表格，提供给企业和公司进行相关的数据分析、和运营决策，为城市公交的正常运转提供有力的主持。
一卡通大数据平台的发展是随着计算机技术、互联网技术、大数据技术、移动支付技术发展而发展的，特别是大数据技术和移动支付技术的发展和应用，很大程度上起到了支撑和辅助一卡通系统运作的功能，包括用户数据、实时信息、路况变化、天气情况等都可以通过大数据技术和其他相关技术进行实时记录和播报;而移动支付技术则很好地解决了资金问题，如果没有良好的移动支付功能，一卡通的支付、充值等功能就需要更多的人力和财力物力的投入。但是，当前的大数据平台的构件还是存在一定问题，最关键的一点在于现阶段数据过于庞大且来源较多，其本身很难产生较强的关联性和完善的利用价值，这也就造成了一定程度的资源浪费。
2.一卡通大數据平台的平台设计
一卡通大数据平台的的架构框架主要由图中部分组成，该平台在设计上利用Spark引擎技术作为开发框架。从图中我们可以看出，该平台的数据储存于分布式文件系统中;该平台的用户画像处理分析主要是通过Kettle、Hive等技术进行分析处理，方便运营方为不同的用户提供更加个性化的服务[1];Lambda是该大数据平台中的重要组成部分，该架构可以通过系统架构的三个层次，实现系统数据的快速且大量处理，Lambda计算框架的三个层次分别是批处理层、实时处理层、服务层，该计算框架对于数据的处理起到了很大的作用。
3.一卡通大数据平台的详细架构设计
一卡通大数据平台在设计的过程中，可以分为七个层次，这七个层次都有各自的特点和功能，我们从上往下依次分析。
第一层就是应用层，应用层就是为用户提供一个可视化的、便于操作的交互界面，该交互界面可以通过手机APP或网页的方式存在。第二层就是数据服务层，数据服务层的主要功能是提供一个良好的数据使用环境和数据服务体系。第三层就是引擎层，引擎层主要为应用层执行各种数据处理和服务工作。第四层就是计算层，计算层顾名思义是进行各种数据计算。第五层就是存储层，存储层就是对各种数据和信息进行存储，以便于系统的调用。第六层就是接口层，接口层的功能是对数据进行筛选，并将筛选后的数据传输到存储层进行存储。第七层就是数据源层，数据源层就是接收各类数据的接口。
4.一卡通大数据平台的逻辑架构设计
一卡通大数据平台的逻辑架构，在设计上可以分为三层，下面对这三层进行分别分析探究。首先是数据处理层，数据处理层主要作用是对系统中的无效数据和制定的数据进行清除、整合，以保障平台的流畅性。其次是数据服务层，数据服务层就是针对系统中的各项数据进行标签化和处理华，方便对数据的需求和使用。最后是数据应用层，数据应用层的重要功能就是对系统中的各项数据进行整合，以方便相关人员对一卡通系统进行相应的操作和开发。
5.一卡通大数据平台的网络拓扑
一卡通大数据平台的网络拓扑包含了多项内容，具体情况如图1所示。
6.一卡通大数据平台的系统功能
一卡通大数据平台的数据功能包含较多内容，以下为具体功能的概述和分析。
第一，数据抽取接口。数据抽取接口主要是对系统中的数据信息进行抽取和调用，并将相关数据打包汇总到关系数据库中，并将关系数据库中的数据调用并输送到分布式文件系统中，供系统的调用。第二，数据清洗接口，数据清洗接口就是对数据信息进行筛选，将无用的数据信息进行清除，保障数据的可用性和系统的流畅性。第三，数据整合接口。数据整合接口就是对数据进行整合，整合的主要目的就是为了保障数据在引用过程中的关联性。并且能够对因为实践改变而改变的数据进行重新判断和整合，以此确保数据能够长期处于有效关联状态。
第四，集群性能监控模块。该模块的主要作用就是进行有效的集群监控，包括系统中各项硬件的使用状况和健康状态;各项软件和系统的运行情况等都能进行监控，并且对于可能存在的故障还可以进行相应的预警。第五，平台任务调度模块。该模块的主要功能和作用，就是能对系统的任务进行合理的安排和调度，以此保障系统执行任务的流畅。第六，数据展示。数据展示的主要作用就是对相关用户的各项数据进行深度挖掘和分析，例如用户的年龄、性别、消费习惯、消费情况等，通过这一套的分析和研究，系统可以总结出一套方便快捷的可视化大数据，方便工作人员使用。
结语
综上所述，一卡通大数据平台的设计和构建需要设计到诸多方面，从系统到具体功能都要有良好的构思，但是一卡通大数据平台一旦设计构建完成，就可以成为企业和公司的优秀工作助手，在数据的收集、处理和分析上，能起到很大的作用。
参考文献
[1]李咏梅.企业大数据平台建设及应用探讨[J].风能，2020（06）：58-59.
江苏交通一卡通有限公司，江苏南京 210000