论文部分内容阅读
摘要：随着互联网技术的不断发展，传统教学模式已经无法满足人们的实际需求。在大数据背景下，人们对于个性化重视程度不断加深，可视化的数据更是在一定程度上帮助教师、学生更好地融入教与学的环境中。该文简要论述了大数据背景下新型约课系统在个性化课程推荐过程中出现的问题及解决对策，借助spark数据处理技术处理数据，构建基于课程的协同过滤算法的新型约课系统，为用户提供个性化辅导方案，以满足用户的学习需求，增强使用体验。
关键词：大数据;数据处理;数据可视化;个性化推荐
中图分类号：TP311.1 文献标识码：A
文章编号：1009-3044（2020）15-0115-02
1背景
近年来，大数据分析方兴未艾。现阶段，大数据在软件上的应用大多以购物、娱乐、理财、交通等软件为主，在学习平台的应用范围较小。我国大多数学生普遍使用的在线学习平台有M00C、网易云课堂等网站，这些平台可以为学生提供更加自主的学习服务，但是缺少个性化的课程推荐、学习数据的可视化分析。在当前大数据的背景下，本系统通过运用大数据技术收集用户的搜索记录，全面了解用户现阶段的学习需求，通过大数据分析，对于用户自身的学习特征、学习的实际规律以及当前最迫切的需求进行认知，从而有针对性地进行合适的学习方案设计，打造个性化学习方式，提供更好的学习体验。
2可行性探究
在如今的信息化时代，不断革新的数据处理技术对学习者提出了更高的要求。人们更加注重精准学习，通常是对某一独立概念的学习。但用户想要在短时间内获得适合自己的学习课程却有些困难。通常情况下，学员通常需要查阅大量相关的课程，经过多方面比较才能选择合适的相关课程。这种烦琐的学习模式，不仅耗费了许多不必要的时间和精力，还违背了系统设计的初心。而在大数据背景下，这样的问题可以得到解决。本系统借助spark数据处理技术对用户搜索记录、上架课程进行科学评估与精准分类，为用户提供适合自己的多元化选择。在个性化推荐方面，系统使用基于项目的协同推荐算法，计算出与学员兴趣相符的课程，做出推荐。
2.1数据可视化方面
数据可视化可以将最原始的数据处理后，以立体的图表展示，带给用户更好的理解。目前的应用中，学员对课程的评价无法直观地体现在搜索页面中。为了解决系列难题，本系统借助spark数据处理技术，将学员的评价信息进行加工处理，为学员提供课程的精准反馈。系统参考浏览量和评分系统，将搜索结果进行排序，优先获得最优质的课程。学员学习后的评价，是该系统数据集的重要部分。参考评分信息，系统可以及时地将质量不佳或者过时的学习资源淘汰或者展示位置后移。通过对数据库的更新，可以保持约课系统中知识的高质量与先进性。
2.2个性化服务方面
在约课系统，每个用户都会是一个数据库。学员的数据库包括其浏览信息、基本信息、所处位置，甚至是消费能力。但目前的学习软件未能充分利用好学员的数据。无法为学员快速、准确地提供符合其学习需求的课程。
通过对用户自身数据库的数据分析，可以得出一些相关学习课程的推荐，丰富学员的学习体验。通过协同过滤算法处理数据后，系统可以向学员推荐最合适的课程。同时，通过数据发掘，寻找出用户的潜在学习需求。根据学员的学习需求，推荐相关的课程。在顺应学员学习习惯的背景下，带给学员更多的学习机会。
3系统框架
3.1系统框架组成成分
为了解决上述问题，系统的框架分为了以下四部分，并进行详细的阐述：
1）数据资源层。数据资源层由学员的搜索需求数据、教员擅长科目数据、用户位置信息及课程评价信息等数据组成。该层的数据为未经相关处理的原始数据，需传至数据处理层进行数据分析。
2）数据处理层。借助spark数据处理技术将数据资源层的数据进行分类，处理。将杂乱的原始数据整合为分析需要的数据。
3）数据分析层。将数据处理层分析得到的数据，通过协同过滤算法处理后，根据学员的学习需求与课程评价得分，进行个性化推荐。
4）数据应用层。将数据分析层得到的个性化推荐数据在用户客户端体现出来。通过个性化推荐，提供学员更加系统的学习计划，满足学员更高的学习需求。学员可因此避免浪费不必要的时间，提高使用效率。
3.2系统实现原理
为了实现精确的个性化推荐，本文引人了协同过滤算法。协同过滤算法与普通推荐技术的明显区别是，它从学员的角度出发，比对学员和课程的关系，再将与学员需求相似的课程进行推荐。本系统采用基于课程的协同过滤算法，根据课程的历史评分数据分析计算，做出推荐。基于课程的协同过滤算法的基本假设是“能够引起用户兴趣的项目一定与其之前所评分高的项目是相似的”。具体的实现步骤如下：该矩阵为m×n的评分矩阵，表示m个学员对n个课程的评价。Amn表示學员m对课程n的评分。矩阵选用十分制作为评分的数字等级。
1）收集数据处理层数据
收集数据处理层处理得到的数据。将学员的评分信息输人学员一课程评分矩阵。根据评分信息，得出不同课程的相似度。
2）产生推荐的课程
在上一步得到不同课程的相似度后，以相似度和评分信息为基础，计算得到课程推荐值。将课程推荐值按高低进行排序，得到课程推荐序列。越多的学员使用系统，课程相似度会随之更加准确。从而，课程推荐的准确度也会提高。
4结束语
大数据时代的到来，为个性化学习提供了新的解决方案，约课学习也要顺应技术发展转型。本文以基于课程的协同推荐算法，搭建了约课系统。系统借助协同推荐算法，构建以spark为主的四层数据架构，对用户数据进行整理、分类、分析，为学员提供一套专属的个性化课程。与一般数据处理采用的方式相比，结果表明本文的优化方法可以有效提供学习个性化辅导方案，弥补了当前主流软件的不足。
关键词：大数据;数据处理;数据可视化;个性化推荐
中图分类号：TP311.1 文献标识码：A
文章编号：1009-3044（2020）15-0115-02
1背景
近年来，大数据分析方兴未艾。现阶段，大数据在软件上的应用大多以购物、娱乐、理财、交通等软件为主，在学习平台的应用范围较小。我国大多数学生普遍使用的在线学习平台有M00C、网易云课堂等网站，这些平台可以为学生提供更加自主的学习服务，但是缺少个性化的课程推荐、学习数据的可视化分析。在当前大数据的背景下，本系统通过运用大数据技术收集用户的搜索记录，全面了解用户现阶段的学习需求，通过大数据分析，对于用户自身的学习特征、学习的实际规律以及当前最迫切的需求进行认知，从而有针对性地进行合适的学习方案设计，打造个性化学习方式，提供更好的学习体验。
2可行性探究
在如今的信息化时代，不断革新的数据处理技术对学习者提出了更高的要求。人们更加注重精准学习，通常是对某一独立概念的学习。但用户想要在短时间内获得适合自己的学习课程却有些困难。通常情况下，学员通常需要查阅大量相关的课程，经过多方面比较才能选择合适的相关课程。这种烦琐的学习模式，不仅耗费了许多不必要的时间和精力，还违背了系统设计的初心。而在大数据背景下，这样的问题可以得到解决。本系统借助spark数据处理技术对用户搜索记录、上架课程进行科学评估与精准分类，为用户提供适合自己的多元化选择。在个性化推荐方面，系统使用基于项目的协同推荐算法，计算出与学员兴趣相符的课程，做出推荐。
2.1数据可视化方面
数据可视化可以将最原始的数据处理后，以立体的图表展示，带给用户更好的理解。目前的应用中，学员对课程的评价无法直观地体现在搜索页面中。为了解决系列难题，本系统借助spark数据处理技术，将学员的评价信息进行加工处理，为学员提供课程的精准反馈。系统参考浏览量和评分系统，将搜索结果进行排序，优先获得最优质的课程。学员学习后的评价，是该系统数据集的重要部分。参考评分信息，系统可以及时地将质量不佳或者过时的学习资源淘汰或者展示位置后移。通过对数据库的更新，可以保持约课系统中知识的高质量与先进性。
2.2个性化服务方面
在约课系统，每个用户都会是一个数据库。学员的数据库包括其浏览信息、基本信息、所处位置，甚至是消费能力。但目前的学习软件未能充分利用好学员的数据。无法为学员快速、准确地提供符合其学习需求的课程。
通过对用户自身数据库的数据分析，可以得出一些相关学习课程的推荐，丰富学员的学习体验。通过协同过滤算法处理数据后，系统可以向学员推荐最合适的课程。同时，通过数据发掘，寻找出用户的潜在学习需求。根据学员的学习需求，推荐相关的课程。在顺应学员学习习惯的背景下，带给学员更多的学习机会。
3系统框架
3.1系统框架组成成分
为了解决上述问题，系统的框架分为了以下四部分，并进行详细的阐述：
1）数据资源层。数据资源层由学员的搜索需求数据、教员擅长科目数据、用户位置信息及课程评价信息等数据组成。该层的数据为未经相关处理的原始数据，需传至数据处理层进行数据分析。
2）数据处理层。借助spark数据处理技术将数据资源层的数据进行分类，处理。将杂乱的原始数据整合为分析需要的数据。
3）数据分析层。将数据处理层分析得到的数据，通过协同过滤算法处理后，根据学员的学习需求与课程评价得分，进行个性化推荐。
4）数据应用层。将数据分析层得到的个性化推荐数据在用户客户端体现出来。通过个性化推荐，提供学员更加系统的学习计划，满足学员更高的学习需求。学员可因此避免浪费不必要的时间，提高使用效率。
3.2系统实现原理
为了实现精确的个性化推荐，本文引人了协同过滤算法。协同过滤算法与普通推荐技术的明显区别是，它从学员的角度出发，比对学员和课程的关系，再将与学员需求相似的课程进行推荐。本系统采用基于课程的协同过滤算法，根据课程的历史评分数据分析计算，做出推荐。基于课程的协同过滤算法的基本假设是“能够引起用户兴趣的项目一定与其之前所评分高的项目是相似的”。具体的实现步骤如下：该矩阵为m×n的评分矩阵，表示m个学员对n个课程的评价。Amn表示學员m对课程n的评分。矩阵选用十分制作为评分的数字等级。
1）收集数据处理层数据
收集数据处理层处理得到的数据。将学员的评分信息输人学员一课程评分矩阵。根据评分信息，得出不同课程的相似度。
2）产生推荐的课程
在上一步得到不同课程的相似度后，以相似度和评分信息为基础，计算得到课程推荐值。将课程推荐值按高低进行排序，得到课程推荐序列。越多的学员使用系统，课程相似度会随之更加准确。从而，课程推荐的准确度也会提高。
4结束语
大数据时代的到来，为个性化学习提供了新的解决方案，约课学习也要顺应技术发展转型。本文以基于课程的协同推荐算法，搭建了约课系统。系统借助协同推荐算法，构建以spark为主的四层数据架构，对用户数据进行整理、分类、分析，为学员提供一套专属的个性化课程。与一般数据处理采用的方式相比，结果表明本文的优化方法可以有效提供学习个性化辅导方案，弥补了当前主流软件的不足。