项目1:基于sklearn的数据分类挖掘
一、项目任务
①熟悉sklearn数据挖掘的基本功能。
②进行用朴素贝叶斯、KNN、决策树C4.5、SVM算法进行数据分类分析。
二、项目环境及条件
? sklearn-0.18.0 ? python-2.7.13
? numpy-1.11.3+mkl-cp27-cp27m-win_amd64 ? scipy-0.19.0-cp27-cp27m-win_amd64 ? matplotlib-1.5.3-cp27-cp27m-win_amd64
三、实验数据
Iris数据集
Iris数据集是常用的分类实验数据集,由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集,是一类多重变量分析的数据集。数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性。可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类。
Digits数据集
美国著名数据集NIST的子集,模式识别常用实验数据集,图像属于灰度图像。分辨率为8x8
四、项目内容及过程
1.读取数据集
从sklearn中读取iris和digits数据集并测试打印 from sklearn import datasets iris = datasets.load_iris() digits = datasets.load_digits() print 'iris:',iris.data,'\\ndigits:',digits.data 打印的数据集存在numpy.ndarray中,ndarray会自动省略较长矩阵的中间部分。 Iris数据集的样本数据为其花瓣的各项属性 Digits数据集的样本数据为手写数字图像的像素值
2.划分数据集
引入sklearn的model_selection使用train_test_split划分digits数据集,训练集和测试集比例为8:2
from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test=train_test_split(digits.data,digits.target,test_size=0.2) print 'x_train:',x_train,'\\nx_test:',x_test,'\\ny_train:',y_train,'\\ny_test:',y_test
3.使用KNN和SVM对digits测试集分类
引用sklearn的svm.SVC和neighbors.KNeighborsClassifier模块调用算法,使用classification_report查看预测结果的准确率和召回率 from sklearn.metrics import classification_report from sklearn import neighbors clf = neighbors.KNeighborsClassifier() clf.fit(x_train,y_train) y_pred=clf.predict(x_test) print classification_report(y_test, y_pred) from sklearn.svm import SVC clf = SVC() clf.fit(x_train,y_train) y_pred=clf.predict(x_test) print classification_report(y_test, y_pred)