大型离线数据分析课程整体设计

来源 :科学与生活 | 被引量 : 0次 | 上传用户:uugoooo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:本文从课程性质与任务、课程教学目标设计、课程内容设计、课程考核等几个方面对大型离散数据分析课程进行了整体设计与研究,旨在培养学生分析问题和解决问题的能力、职业道德素养及可持续发展能力。
  关键词:Hive;课程设计;职业能力
  一、课程性质与任务
  课程在软件技术专业人才培养方案中处于职业能力类课,属于专业必修课。本课程基于开源Hadoop大数据生态圈的主流离线分析工具Hive和Pig,通过技术讲解和案例实战相结合的方式,介绍了海量数据离线分析的技术方法。主要包括Hive数据库表、基于HiveQL的常规操作、视图、索引和Pig等数据处理分析和基础工具知识,Hive函数、Pig Latin编程、ETL工具Sqoop和工作流引擎Oozie等相关高级技术,以及实际项目案例。
  通过本课程的学习和实训,主要使学生掌握大数据离线分析所需的主流技术,培养学生良好的职业道德,增强团队协作能力和沟通交流能力,培养学生的创新精神和实践能力,以适应现代生活的需要,适应未来职业的需要。
  二、课程教学目标设计
  1.总体目标
  本课程的目标是培养学生掌握大数据离线分析所需的主流技术,掌握Hive的基本操作以及Sqoop、Pig、Oozie等工具的使用方法,并具有一定大数据离线分析的能力。
  2.知识目标
  本课程的知识目标包括:
  (1)掌握大数据离线分析基础知识;
  (2)掌握Hive中表的基本操作;
  (3)掌握Hive中视图、索引和函数的创建和使用。
  (4)掌握pig的安装、运行以及语句的使用。
  (5)掌握Sqoop的安装以及应用。
  (6)掌握Oozie的安装以及应用。
  3.能力目标
  (1)能够在Hive中完成表的基本操作;
  (2)能够在Hive中创建视图、索引和函数;
  (3)能够完成pig的安装、运行以及应用。
  (4)能够完成Sqoop的安装以及应用。
  (5)能够完成Oozie的安装以及应用。
  4.素质目标
  本课程的职业素质目标包括:
  (1)具有良好的职业道德和身心素质以及创新能力;
  (2)具有工作中与他人的合作、交流与协商能力;
  (3)具有语言表达、社会交往和沟通能力;
  (4)具有劳动组织能力、团队协作能力;
  (5)具有按规范办事、批评与自我批评能力;
  (6)具有敬业、吃苦耐劳的精神。
  三、课程内容设计
  在课程设计中,体现了以工作过程为导向,以工学结合为人才培养模式,以工学交替、任务驱动、项目导向、顶岗实习为教学模式,以学生为主体,以教师为主导,以职业能力培养为重点,以促进学生综合职业能力发展为目标,校企合作,共建课程。
  课程设计从大数据分析员的职业岗位能力要求出发,根据学生认知规律精心组织课程内容,整体采用Project-driven training(項目驱动、项目实战)的思路,具体章节采用通俗易懂的语言和丰富多彩的实例;项目的设计由简单到复杂,理论知识采取循环式教学,使学生能够循序渐进地学习使用HIVE进行大数据离散数据分析的基础知识和相关技术。教学过程的实施采用“理实一体”的模式,在同一个教学环境中完成项目介绍→任务分析→理论知识→教师示范→学生操作→学生实践的完整过程。
  遵循由易到难、由简单到复杂的认知规律,序化教学内容,确定 4个教学情境,按照教学任务、教学内容以及教学要求安排教学学时,共计 48学时。
  四、课程考核
  课程评价的目的是全面考察学生的学习状况,激发学生的学习兴趣和自信心,促进学生的全面发展。而且,课程评价也是教师对教学活动的反思和改进的有利手段。应建立多元能力考核评价体系。
  (1)过程与目标结合评价,结合课堂提问、现场操作、课后作业、模块考核等手段,加强实践性教学环节的考核,并注重平时采分。
  (2)强调理论与实践一体化评价,注重引导学生进行学习方式的改变。
  (3)强调课程结束后综合评价,结合真实产品,充分发挥学生的主动性和创造力,注重考核学生所拥有的综合职业能力及水平。
  (4)建议在教学中分任务模块评分,课程结束时进行综合模块考核。
  (5)成绩比例计算:
  总评成绩=平时成绩(平时出勤(20%)+作业成绩(30%))+期末成绩(50%)
  五、结束语
  通过对课程性质和课程任务的分析、对教学内容的选取,结合真实生产系统设计整个教学环节,以培养大数据分析员为目标,本文提出的大型离散数据分析课程整体设计方案在实践中较为可行。
  参考文献
  [1]杨力. 大数据Hive离散计算开发实战[M].人民邮电出版社,2020.6.
  [2]肖睿,兰伟,廖春琼. Hadoop数据仓库实战[M].人民邮电出版社,2020.1.
  [3]王剑辉. Hive数据仓库案例教程[M].电子工业出版社,2021.8.
其他文献
目的 比较体外循环下冠状动脉搭桥(CCABG)与非体外循环下冠状动脉搭桥(OPCAB)两种手术方法及新技术的临床意义.方法 回顾性分析233例实施冠状动脉搭桥术患者的临床资料.应用CCABG 55例,OPCAB 178例,对术前合并症、手术情况及手术方法、主要并发症和围手术期治疗进行分析.结果 医院内死亡5例,其中CCABG 3例(术中死亡1例,术后死于呼吸衰竭1例,死于心力衰竭1例);OP-CA
目的 评价天麻素注射液治疗血管性头痛的疗效.方法 将104例血管性头痛患者随机分为天麻素注射液治疗组与对照组各52例,对照组采用常规药物治疗,治疗组给予天麻素注射液治疗.结果 天麻素注射液治疗组45例有效,有效率为86.54%;对照组40例有效,有效率为76.90%.结论 临床实践证明,天麻素注射液静脉滴注作用快,疗效肯定,是治疗血管性头痛理想药物。
摘要:蓝牙是一种低成本、短距离的无线通信技术,主要用途是为移动电话、掌上电脑、信息家电、计算机及外设提供连接,从而实现多媒体信息的无线传输。与最新出现的无线Wi-Fi、WiMAX和3G 等技术相比,蓝牙并非一项新的技术,但是利用Java 在MIDP 平台上开发蓝牙应用程序却是一项新技术。尤其,嵌入式蓝牙系统在功耗和芯片体积方面拥有优势。随着国内外专业人士对基于构件的开发CBD(Component-
目的 探讨原发性高血压(EH)患者颈动脉内-中膜厚度(IMT)与左心室质量指数(LVMI)的相关性.方法 93例EH患者(EH组)和32例健康对照者(对照组)行心脏及颈动脉超声检查,分别测量室间隔厚度(IVS)、左心室后壁厚度(LVPW)、左心室舒张末期容积(LVDd),计算LVMI,测量颈总动脉IMT、斑块以及两侧颈总动脉的血流动力学参数.EH组又分为LVMI正常组和LVMI增高组.结果 EH组
摘要:随着社会的发展,新媒体技术越来越多的被运用到少先队活动中,新媒体已成为少先队员了解社会、结交伙伴朋友、表达内心真实情感和表现自我价值的重要平台。学校少先队也应与时俱进,在大、中、小队活动中恰当地运用新媒体,让队员们在生动活泼、轻松自在的氛围中学习知识、开阔视野,提升认识、培养能力,升华感情、陶冶情操,让少先队活动变得更加有趣、生动,更有实效性。也为少先队工作提供了崭新的渠道和方式。  关键字
期刊
目的 研究介入手术股动脉穿刺术与下肢深静脉血栓形成之间的相关性.方法 对80例介入手术股动脉穿刺术后诊断为肺栓塞,并且术后下肢深静脉血栓形成的患者进行回顾性分析,分析介入手术导致下肢深静脉血栓形成的直接原因.结果 介入手术并发下肢深静脉血栓形成为本组患者常见危险因素,介入手术导致下肢深静脉血栓形成的首要原因是平卧时间长.结论 介入手术股动脉穿刺术与下肢深静脉血栓形成密切相关,介入手术术后应尽量减少
摘要:水是生命之源,人类社会的发展离不开水资源的支持,但是在人类社会不断发展的过程中,由于工业化程度的不断加深,环境污染问题日渐严峻。尤其是水环境,受到了不同程度的破坏,既影响着人类社会的可持续发展,又威肋着人们的生命安全,因此有必要加强水资源保护,实现生态型社会发展模式的转变。本研究以无线传感器网络技术为突破口,以环境监测理论、无线传感网络理论和Zigbee技术理论为支撑,在了解水环境监测需求以
期刊
1 病历摘要  3例患者系市立公园未婚青年女工,曾摘食本园用铁灭克(Temik)杀虫桃树上的鲜桃2~5个,食后约10 min,相继出现头痛、头晕、视物不清、恶心、呕吐、腹泻、极度乏力致行动困难.于1990年6月11日12:30来院就医,根据患者的病因及全血胆碱酯酶活力在50%~70%,诊断为农药中毒.经充分洗胃,给予阿托品等治疗,于6~8 h后治愈。
摘要:随着科技发展,社会进步,“互联网+”已经利用互联网平台将互联网与各个传统行业结合起来,形成了更广泛的以互联网为基础设施和工具的经济发展新时代。短短几年,互联网已在各行各业迅速发展。现阶段,打印已成为各行各业的刚需,尤其是对于中小型企业和学校来说,打印资料已是家常便饭。打印费昂贵、印刷质量差、人力资源浪费等问题层出不穷,而5G下的“互联网+打印”,可以整合打印设备和打印技术的优势利用互联网传输
目的 探讨磷酸化JNK(p-JNK)与磷酸化c-Jun(p-c-Jun)在多形性胶质母细胞瘤(GBM)中的表达及意义.方法 采用免疫组化S-P法检测p-JNK与p-c-Jun在47例GBM患者和10例正常人脑组织中的表达;高、低表达p-JNK与p-c-Jun的GBM患者术后生存期采用对数秩(Log-rank)检验,p-JNK与p-c-Jun的表达水平和术后生存期进行Spearman相关分析.结果