论文部分内容阅读
摘 要：爬取国内外招聘网的大数据岗位招聘信息并进行分析，了解该类人才技能需求。采用文本挖掘，构建技能词典，对招聘信息进行分词，从而获得高频的技能需求及岗位与需求的相关程度。发现国内外大数据岗位技能需求侧重点存在差异，整体上趋同，对我国数据科学与大数据技术专业的培养提供有效的建议。
关键词：文本挖掘 数据科技与大数据技术 技能需求
一、引言
2013年云计算的成熟助推大数据兴起，我国各地纷纷开展大数据产业发展工作，比如国家大数据（贵州）综合试验区、上海国家大数据综合试验区、京津冀大数据综合试验区等。十九大习主席讲话中强调大力发展大数据技术与产业，成为数据驱动强国，帮助我国产业转型升级。近年来各大科技型企业运用大数据技术实现商业创新，谷歌对用户搜索、邮件等大数据进行总结分析，实现了在线广告的精准投放，亚纳逊利用Kindle大数据分析用户阅读习惯，向用戶推荐可能购买的书籍，淘宝根据买家之前的购买记录，推测消费者购买偏好与消费行为。由此大数据类人才将成为企业的热门需求。
为响应社会需求2017年我国高校开始开设数据科学与大数据技术专业，共有248所高校申请获批，占新增专业申请的高校数超过1/3。
二、研究方法
本文研究首先网络爬取国内外的大数据岗位招聘信息2500条，其次运用文本挖掘技术、IBM中文分词平台等对文本数据进行分词、预处理等，然后构建专业技能需求词典，对大数据类岗位进行人才需求特征提取[1]，最后通过大数据可视化技术展示数据科学与大数据技术专业企业需求特征分布及岗位与技能间的相关程度。
三、数据科学与大数据技术专业的人才需求分析
（一）基本需求分析
首先是岗位需求量分析，从招聘量看，我国大数据类岗位需求量较高，与国外同类岗位趋同。其次是地域分析，我国大数据类岗位主要分布在沿海一带，主要城市有北京、上海、深圳、杭州等，这些大城市互联网发达、技术前沿，更适合大数据技术的发展同时也是大型科技企业的总部及研发中心；而国外主分布在纽约、芝加哥、夏洛特等地区，而这些地区都是商业、科技中心，主要是金融、贸易等行业。然后是薪资分析，从招聘信息看，大数据类岗位起薪普高，集中在“20k-25k”之间，而国外倾向于面谈，在实际招聘信息中未标明薪资。再则是学历分析，无论是国内还是国外，大数据类岗位基本上以本科为主，因为大数据类岗位涉及专业技术知识与行业背景知识，理论性与实践性都强，所以本科以上学历更能接触并传授大数据相关知识。最后是经验分析，国内数据显示，主要分布在“3-5年”占50%左右，而国外主要集中在“3-5年”、“5-10年”，说明大数据类岗位更倾向于具有一定经验的人才，其培养人才的周期更长。
（二）技能整体需求分析
数据显示，我国大数据专业技能中“编程语言”与“大数据技术”的一级指标对应的招聘信息为1453条、1276条，在一级技能指标中排在前几名的技能是大数据技术、设计、编程语言，超过45%的招聘信息都有要求。分析原因，上述一级技能是技术技能，是大数据类型岗位开展工作所需要的解决问题的基本素质及技能。在专业技术技能中，二级指标编程语言与大数据技术占比都远高于其他指标，且需求量较大。在综合技能维度中，二级技能占比高，需要我们拥有更加全面的综合能力去解决当前的问。而国外招聘信息中，”分析”、“设计”及“管理”的一级指标对应的招聘信息为1243条、1145条、875条，占总量的52.31%、49%、35%，其中1243条招聘信息中的岗位要求提到的分析、设计等技能关键词占总招聘信息的48%左右。在一级技能指标中排在前几名的技能是“分析”、“设计”、“人际”，超过42%的招聘信息都有要求。分析原因，上述前两个一级技能属于综合技能与商务技能，是该类岗位开展工作所需要的基本素质。进一步分析二级技能指标中排名前5位分别是分析、SQL Server、Python、计划、Oracle，在这些指标当中有核心技术指标与综合指标。关于商务技能指标，二级指标中管理指标占比高于其他指标，因此管理能力是从事大数据领域的基本商务技能。
（三）具体岗位与技能的相关分析
相关度表示岗位与核心技能之间的关系，相关度较高的是大数据可视化工程师对应Canvas、ECharts、HTML等技能。而数据挖掘岗位要求的是决策树、Pyhton、Hadoop、Scala等技能，大数据架构师特要求的是NoSQL、Java、Kafka等技能，Hadoop及数据仓库等岗位要求的是Java、HDFS、ETL等技能，大数据算法工程师要求的是机器学习相关算法、算法设计、数学基础等技能，数据分析师则要求的是R、SPSS、SAS等统计分析技能。国外大数据岗位与技能相关度较高的是Hadoop对应Flume、HDFS、HBase，大数据架构师要求的是Oracle、Kafka、NoSQL等技能，数据分析师要求Statistics、Access等相关技能，数据处理等岗位要求的是SQL Server、Linux等技能，数据挖掘要求的是Java、建模等技能，数据算法工程师特别要求的是算法设计、Python、各类算法等技能，大数据可视化要求的是Tableau等技能。
四、结论
通过上述内容研究分析，发现我国大数据类岗位正处于起步发展阶段与国外相当，地域分布主要集中在沿海等发达城市，薪资起步高同时学历知识工作经验等要求也高。与此同时我们对职位描述进行深入研究，发现数据科学与大数据技术专业的核心技能及各岗位有所侧重，这为我国高校该专业建设例如人才培养定位与课程体系设置等提供了有效建议。
参考文献：
[1]詹川.基于文本挖掘的专业人才技能需求分析_以电子商务专业为例[J].图书馆论坛，2017（01）：1-9
作者简介：陈谣（1994-），女，汉，重庆人，硕士生，研究方向：电子商务与大数据分析。
创新项目：2018年度重庆工商大学研究生创新型科研项目“基于Web文本挖掘的数据科学与大数据技术专业人才技能需求分析”（yjscxx2018-060-28）
关键词：文本挖掘 数据科技与大数据技术 技能需求
一、引言
2013年云计算的成熟助推大数据兴起，我国各地纷纷开展大数据产业发展工作，比如国家大数据（贵州）综合试验区、上海国家大数据综合试验区、京津冀大数据综合试验区等。十九大习主席讲话中强调大力发展大数据技术与产业，成为数据驱动强国，帮助我国产业转型升级。近年来各大科技型企业运用大数据技术实现商业创新，谷歌对用户搜索、邮件等大数据进行总结分析，实现了在线广告的精准投放，亚纳逊利用Kindle大数据分析用户阅读习惯，向用戶推荐可能购买的书籍，淘宝根据买家之前的购买记录，推测消费者购买偏好与消费行为。由此大数据类人才将成为企业的热门需求。
为响应社会需求2017年我国高校开始开设数据科学与大数据技术专业，共有248所高校申请获批，占新增专业申请的高校数超过1/3。
二、研究方法
本文研究首先网络爬取国内外的大数据岗位招聘信息2500条，其次运用文本挖掘技术、IBM中文分词平台等对文本数据进行分词、预处理等，然后构建专业技能需求词典，对大数据类岗位进行人才需求特征提取[1]，最后通过大数据可视化技术展示数据科学与大数据技术专业企业需求特征分布及岗位与技能间的相关程度。
三、数据科学与大数据技术专业的人才需求分析
（一）基本需求分析
首先是岗位需求量分析，从招聘量看，我国大数据类岗位需求量较高，与国外同类岗位趋同。其次是地域分析，我国大数据类岗位主要分布在沿海一带，主要城市有北京、上海、深圳、杭州等，这些大城市互联网发达、技术前沿，更适合大数据技术的发展同时也是大型科技企业的总部及研发中心；而国外主分布在纽约、芝加哥、夏洛特等地区，而这些地区都是商业、科技中心，主要是金融、贸易等行业。然后是薪资分析，从招聘信息看，大数据类岗位起薪普高，集中在“20k-25k”之间，而国外倾向于面谈，在实际招聘信息中未标明薪资。再则是学历分析，无论是国内还是国外，大数据类岗位基本上以本科为主，因为大数据类岗位涉及专业技术知识与行业背景知识，理论性与实践性都强，所以本科以上学历更能接触并传授大数据相关知识。最后是经验分析，国内数据显示，主要分布在“3-5年”占50%左右，而国外主要集中在“3-5年”、“5-10年”，说明大数据类岗位更倾向于具有一定经验的人才，其培养人才的周期更长。
（二）技能整体需求分析
数据显示，我国大数据专业技能中“编程语言”与“大数据技术”的一级指标对应的招聘信息为1453条、1276条，在一级技能指标中排在前几名的技能是大数据技术、设计、编程语言，超过45%的招聘信息都有要求。分析原因，上述一级技能是技术技能，是大数据类型岗位开展工作所需要的解决问题的基本素质及技能。在专业技术技能中，二级指标编程语言与大数据技术占比都远高于其他指标，且需求量较大。在综合技能维度中，二级技能占比高，需要我们拥有更加全面的综合能力去解决当前的问。而国外招聘信息中，”分析”、“设计”及“管理”的一级指标对应的招聘信息为1243条、1145条、875条，占总量的52.31%、49%、35%，其中1243条招聘信息中的岗位要求提到的分析、设计等技能关键词占总招聘信息的48%左右。在一级技能指标中排在前几名的技能是“分析”、“设计”、“人际”，超过42%的招聘信息都有要求。分析原因，上述前两个一级技能属于综合技能与商务技能，是该类岗位开展工作所需要的基本素质。进一步分析二级技能指标中排名前5位分别是分析、SQL Server、Python、计划、Oracle，在这些指标当中有核心技术指标与综合指标。关于商务技能指标，二级指标中管理指标占比高于其他指标，因此管理能力是从事大数据领域的基本商务技能。
（三）具体岗位与技能的相关分析
相关度表示岗位与核心技能之间的关系，相关度较高的是大数据可视化工程师对应Canvas、ECharts、HTML等技能。而数据挖掘岗位要求的是决策树、Pyhton、Hadoop、Scala等技能，大数据架构师特要求的是NoSQL、Java、Kafka等技能，Hadoop及数据仓库等岗位要求的是Java、HDFS、ETL等技能，大数据算法工程师要求的是机器学习相关算法、算法设计、数学基础等技能，数据分析师则要求的是R、SPSS、SAS等统计分析技能。国外大数据岗位与技能相关度较高的是Hadoop对应Flume、HDFS、HBase，大数据架构师要求的是Oracle、Kafka、NoSQL等技能，数据分析师要求Statistics、Access等相关技能，数据处理等岗位要求的是SQL Server、Linux等技能，数据挖掘要求的是Java、建模等技能，数据算法工程师特别要求的是算法设计、Python、各类算法等技能，大数据可视化要求的是Tableau等技能。
四、结论
通过上述内容研究分析，发现我国大数据类岗位正处于起步发展阶段与国外相当，地域分布主要集中在沿海等发达城市，薪资起步高同时学历知识工作经验等要求也高。与此同时我们对职位描述进行深入研究，发现数据科学与大数据技术专业的核心技能及各岗位有所侧重，这为我国高校该专业建设例如人才培养定位与课程体系设置等提供了有效建议。
参考文献：
[1]詹川.基于文本挖掘的专业人才技能需求分析_以电子商务专业为例[J].图书馆论坛，2017（01）：1-9
作者简介：陈谣（1994-），女，汉，重庆人，硕士生，研究方向：电子商务与大数据分析。
创新项目：2018年度重庆工商大学研究生创新型科研项目“基于Web文本挖掘的数据科学与大数据技术专业人才技能需求分析”（yjscxx2018-060-28）