1、题 目 k-最 近 邻 算 法 实 现学 生 姓 名学 生 学 号专 业 班 级指 导 教 师2015-1-2实验二 k-最近邻算法实现一、 实验目的1. 加强对 k-最近邻算法的理解；2. 锻炼分析问题、解决问题并动手实践的能力。二、 实验要求使用一种你熟悉的程序设计语言，如 C+或 Java，给定最近邻数 k 和描述每个元组的属性数 n，实现 k-最近邻分类算法，至少在两种不同的数据集上比较算法的性能。三、 实验环境Win7 旗舰版 + Visual Studio 2010语言：C+四、 算法描述KNN(k Nearest Neighbors)算法又叫 k 最临近方法。假设每一个类包含多个
2、样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪一个分类， KNN 就是计算每个样本数据到待分类数据的距离。如果一个样本在特征空间中的 k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN 方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。因此，采用这种方法可以较好地避免样本的不平衡问题。另外，由于 KNN 方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN
3、方法较其他方法更为适合。该方法的不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的 K 个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。1、 算法思路K-最临近分类方法存放所有的训练样本，在接受待分类的新样本之前不需构造模型，并且直到新的（未标记的）样本需要分类时才建立分类。K-最临近分类基于类比学习，其训练样本由 N 维数值属性描述，每个样本代表 N 维空间的一个点。这样，所有训练样本都存放在 N 维模式空间中。
4、给定一个未知样本，k-最临近分类法搜索模式空间，找出最接近未知样本的 K 个训练样本。这 K 个训练样本是未知样本的 K 个“近邻” 。 “临近性”又称为相异度（ Dissimilarity） ，由欧几里德距离定义，其中两个点 X（x1,x2,xn）和 Y（y1,y2,yn）的欧几里德距离是： 22221 )()()(),( nyxyxyxyxD 未知样本被分配到 K 个最临近者中最公共的类。在最简单的情况下，也就是当 K=1 时，未知样本被指定到模式空间中与之最临近的训练样本的类。2、 算法步骤step.1-初始化距离为最大值；step.2-计算未知样本和每个训练样本的距离 dist；ste
5、p.3-得到目前 K 个最临近样本中的最大距离 maxdist；step.4-如果 dist 小于 maxdist，则将该训练样本作为 K-最近邻样本；step.5-重复步骤 2、3、4，直到未知样本和所有训练样本的距离都算完；step.6-统计 K-最近邻样本中每个类标号出现的次数；step.7-选择出现频率最大的类标号作为未知样本的类标号。3、 算法伪代码搜索 k 个近邻的算法：kNN(An,k)输入：An为 N 个训练样本在空间中的坐标（通过文件输入） ，k 为近邻数输出：x 所属的类别取 A1Ak作为 x 的初始近邻，计算与测试样本 x 间的欧式距离 d（x,Ai）,i=1,2,.,k
6、；按 d（x，Ai）升序排序，计算最远样本与 x 间的距离 D型，记录测试点到各点的距离；map_label_freq：map型，记录 k 个邻居类，各类的个数。六、 程序截图七、 实验总结八、 附件1. 程序源码 kNN1.cpp#include#include#include#include#includeusing namespace std;typedef char tLabel;typedef double tData;typedef pair PAIR;const int colLen = 2;const int rowLen = 10;ifstream fin;class KNN
7、private:tData dataSetrowLencolLen;tLabel labelsrowLen;int k;map map_index_dis;map map_label_freq;double get_distance(tData *d1,tData *d2);public:KNN(int k);void get_all_distance(tData * testData);void get_max_freq_label();struct CmpByValuebool operator() (const PAIRfin.open(“data.txt“);if(!fin)coutd
8、ataSetij;finlabelsi;/* calculate the distance between test data and dataSeti*/double KNN: get_distance(tData *d1,tData *d2)double sum = 0;for(int i=0;i = map_index_disi = distance;/traverse the map to print the index and distancemap:const_iterator it = map_index_dis.begin();while(it!=map_index_dis.e
9、nd()coutfirstsecond vec_index_dis( map_index_dis.begin(),map_index_dis.end() );/sort the vec_index_dis by distance from low to high to get the nearest datasort(vec_index_dis.begin(),vec_index_dis.end(),CmpByValue();for(int i=0;i:const_iterator map_it = map_label_freq.begin();tLabel label;int max_freq = 0;/find the most frequent labelwhile( map_it != map_label_freq.end() )if( map_it-second max_freq )max_freq = map_it-second;label = map_it-first;map_it+;coutk;KNN knn(k);couttestDatai;knn.get_all_distance(testData);knn.get_max_freq_label();system(“pause“); return 0;2. 数据集 data.txt
