文章摘要
基于Spark的大规模文本KNN并行分类算法
  
DOI:
中文关键词: KNN  并行化  文本分类  Spark  RDD  MapReduce
英文关键词: 
基金项目:安徽省自然科学基金资助面上项目(1408085MF126)
作者单位
李宏志1,2*,李苋兰 2,赵生慧1 1.滁州学院 信息学院,安徽 滁州239000
2.福建师范大学 光电与信息工程学院,福建 福州 350000 
摘要点击次数: 309
全文下载次数: 146
中文摘要:
      在使用KNN算法进行大规模文本分类,需要处理频繁的迭代运算,针对现有Hadoop平台迭代运算效率较低的问题,本文提出一种基于Spark平台的并行优化KNN算法.主要从3个方面对算法进行优化,首先,对于训练数据集通过剪枝算法控制有效数据的规模,从而减少迭代运算的次数;其次,针对高维数据集采用ID3算法利用信息熵进行属性降维,减少文本相似度的运算量;最后,使用Spark并行计算平台,引入内存计算最大限度地减少了迭代运算的I/O次数,提高处理速度.通过实验,与常用的KNN算法相比,基于Spark的KNN文本并行分类算法在加速比、扩展性等主要性能指标上表现较优,能够较好地满足大规模文本分类的需求.
英文摘要:
      
查看全文   查看/发表评论  下载PDF阅读器
关闭