海量网络数据环境下的元数据管理及应用

• 作 者: 常思源
• 出 处: 北京邮电大学
• 发表日期: 2017年01期
• 关键词: 海量网络数据 元数据 元数据管理 流量分析

元数据是描述数据的数据。这个名词起源于1969年,是由Jack E.Myers提出的。它第一次正式出现是在美国国家宇航局1987年发布的《目录交换格式》文档中,至今已经有近三十年的发展。近年来,大数据处理技术和数据分析技术不断发展,分析过程所依赖的元数据直接关系数据分析结果的准确性,越来越受到人们的重视。海量网络数据环境促使元数据使用场景爆发式地增长,同时也带来了元数据种类激增、量级增大、不同种类元数据间耦合性增强、元数据实效性和一致性难以保证等诸多问题和挑战。本文运用JavaEE、JPA、JDBC等技术,设计和实现了海量网络数据环境下的元数据管理系统的系统架构、软件架构、数据库、REST API等。本文设计和实现的元数据管理系统为用户提供统一的、一致的操作界面和平台,为元数据平台的管理者提供完整的版本管理策略,并具有一定的容灾能力。此外,本文设计和实现的元数据管理系统支持分层的权限管理,支持日志查询,使元数据管理更加高效、便捷。IP和域名是很重要的元数据。在现有的IP资源库中,并没有准确存储IP和域名两者的关联信息。本文首先对现有的IP资源库进行了数据覆盖率、数据重合率、数据可信度等多个维度的对比分析,并且设计和实现了基于元数据管理系统的IP资源库。然后本文对IP和域名的对应关系的存储加以研究,通过对比分析和研究编辑距离、LCS算法、GST算法、字符串汉明距离和相邻度等算法,确定了域名相似度的计算方法,并重点阐述了 IP和域名数据在入库过程中的数据产生算法和数据插入算法。最后,本文对IP和域名这两种重要的元数据从流量、访问用户数、综合访问量、平均用户流量、省份和地市特征等多个角度进行分析与研究,并通过聚类的方式研究和分析了几种常见的用户兴趣模式。