论文部分内容阅读
全民关注的薄熙来庭审中有哪些玄机？零售数据分析研究者黄成明对于薄熙来案全部庭审记录进行了逐一分析。
如此量化的庭审记录是如何得来的呢？黄成明介绍，他使用了分词、搜索、排行的方法。首先要将庭审记录汇总起来，进行分词。所谓分词，就是将庭审记录的重要词汇挑出来。比如一些能提供信息量的名词、形容词，在庭审中一些没有信息量的，如动词或一些口头语挑出去。分词是一个最庞大的工程。
但把庭审记录变成一堆庞大的词汇的时候，就要在原文中对于每个词进行搜索，来确定高频词汇。像一些只出现一次或者两次的词汇就要排除，重复次数较多的就要留下来。
接下来就是对每个高频词汇进行排行。排行以后要将有关联性的整合在一起。例如“我不清楚”和“钱”都属于高频词汇，但不在同一范畴，所以要分开搁置。
当然15.4万字如果以一人之力进行词频分析显然是个浩大的工程。据黄成明介绍，一些网上的词频统计软件对于这项工作有着很大的帮助。一些软件能够直接查找Word甚至普通文本进行词频分析，还有一些高级的能够对多个文档进行批处理。当然，这些软件的精度和智能化跟人是无法相比的，一些特殊的词汇、断句还需要人自己来分析。
所谓词频分析，在电脑语言中叫做TF-IDF（term frequency–inverse document frequency），它是一种用于情报检索与文本挖掘的常用技术，用以评估一个词对于一个文件或者一个语料库中的一个领域文件集的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
据黄成明介绍，词的频率，近些年来在各个领域中越来越引起人们的重视。在文字、机器翻译、汉字编码中固然少不了词频的统计，在情报学和图书馆学中对它的研究也逐渐兴起。特别是科技、政治以及社会热点事件中，词频统计逐渐出现。例如习近平总书记在十八大讲话的词频分析，“人民”“改革”最多，公众就会更加明白今后施政方针仍然是以人为本、改革开放。如果没有词频统计，在大篇幅的报告中，这种结论是很难得到的。再比如，对于《国家中长期科学和技术发展规划纲要》的词频统计，就能够清楚“自主创新”会是未来重点方向，“生物制药”“汽车制造”等会是重点发展的产业。
至于薄熙来庭审统计表的意义，在黄成明看来，它至少能将庞杂的庭审记录形成数字化，让公众相对清晰地了解庭审内容。而其中一些高频词汇的出现，也能表现出庭审围绕的核心问题，以及薄熙来在整个庭审过程中所主要表现的态度。■
如此量化的庭审记录是如何得来的呢？黄成明介绍，他使用了分词、搜索、排行的方法。首先要将庭审记录汇总起来，进行分词。所谓分词，就是将庭审记录的重要词汇挑出来。比如一些能提供信息量的名词、形容词，在庭审中一些没有信息量的，如动词或一些口头语挑出去。分词是一个最庞大的工程。
但把庭审记录变成一堆庞大的词汇的时候，就要在原文中对于每个词进行搜索，来确定高频词汇。像一些只出现一次或者两次的词汇就要排除，重复次数较多的就要留下来。
接下来就是对每个高频词汇进行排行。排行以后要将有关联性的整合在一起。例如“我不清楚”和“钱”都属于高频词汇，但不在同一范畴，所以要分开搁置。
当然15.4万字如果以一人之力进行词频分析显然是个浩大的工程。据黄成明介绍，一些网上的词频统计软件对于这项工作有着很大的帮助。一些软件能够直接查找Word甚至普通文本进行词频分析，还有一些高级的能够对多个文档进行批处理。当然，这些软件的精度和智能化跟人是无法相比的，一些特殊的词汇、断句还需要人自己来分析。
所谓词频分析，在电脑语言中叫做TF-IDF（term frequency–inverse document frequency），它是一种用于情报检索与文本挖掘的常用技术，用以评估一个词对于一个文件或者一个语料库中的一个领域文件集的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
据黄成明介绍，词的频率，近些年来在各个领域中越来越引起人们的重视。在文字、机器翻译、汉字编码中固然少不了词频的统计，在情报学和图书馆学中对它的研究也逐渐兴起。特别是科技、政治以及社会热点事件中，词频统计逐渐出现。例如习近平总书记在十八大讲话的词频分析，“人民”“改革”最多，公众就会更加明白今后施政方针仍然是以人为本、改革开放。如果没有词频统计，在大篇幅的报告中，这种结论是很难得到的。再比如，对于《国家中长期科学和技术发展规划纲要》的词频统计，就能够清楚“自主创新”会是未来重点方向，“生物制药”“汽车制造”等会是重点发展的产业。
至于薄熙来庭审统计表的意义，在黄成明看来，它至少能将庞杂的庭审记录形成数字化，让公众相对清晰地了解庭审内容。而其中一些高频词汇的出现，也能表现出庭审围绕的核心问题，以及薄熙来在整个庭审过程中所主要表现的态度。■