Машинное обучение от Octave\Matlab к Python
Решил я познакомится с такой интересной для меня областью, как Machine learning. После непродолжительных поисков я обнаружил достаточно популярный курс Стэнфордского университета Machine learning. В нем рассказываются основы и дается широкое представление о machine learning, datamining, and statistical pattern recognition. Был для меня в этом курсе небольшой минус как Python программиста- домашние задания надо было выполнять на Octave\Matlab. В итоге я не пожалел, что получил представления о новом языке программирования, но как учебный пример для более тесного знакомства с соответствующими библиотеками решил переписать домашние задания на Python. То что получилось лежит на GitHub тут.
if __name__ == '__main__':
data = sio.loadmat('ex6data1.mat')
y = data['y'].astype(np.float64)
X = data['X']
visualize_boundary_linear(X, y, None)
C = 1
model = svm_train(X, y, C, linear_kernel, 0.001, 20)
visualize_boundary_linear(X, y, model)
C = 100
model = svm_train(X, y, C, linear_kernel, 0.001, 20)
visualize_boundary_linear(X, y, model)
x1 = np.array([1, 2, 1], dtype=np.float64)
x2 = np.array([0, 4, -1], dtype=np.float64)
sigma = 2.0
sim = gaussian_kernel(x1, x2, sigma);
print('Gaussian Kernel between x1 = [1; 2; 1], x2 = [0; 4; -1], sigma = 0.5 : (this value should be about 0.324652)')
print('Actual = {}'.format(sim))
data = sio.loadmat('ex6data2.mat')
y = data['y'].astype(np.float64)
X = data['X']
visualize_data(X, y).show()
C = 1.0
sigma = 0.1
partialGaussianKernel = partial(gaussian_kernel, sigma=sigma)
partialGaussianKernel.__name__ = gaussian_kernel.__name__
model= svm_train(X, y, C, partialGaussianKernel)
visualize_boundary(X, y, model)
data = sio.loadmat('ex6data3.mat')
y = data['y'].astype(np.float64)
X = data['X']
Xval = data['Xval']
yval = data['yval'].astype(np.float64)
visualize_data(X, y).show()
best_C = 0
best_sigma = 0
best_error = len(yval)
best_model = None
for C in [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]:
for sigma in [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]:
partialGaussianKernel = partial(gaussian_kernel, sigma=sigma)
partialGaussianKernel.__name__ = gaussian_kernel.__name__
model= svm_train(X, y, C, partialGaussianKernel)
ypred = svm_predict(model, Xval)
error = np.mean(ypred != yval.ravel())
if error < best_error:
best_error = error
best_C = C
best_sigma = sigma
best_model = model
visualize_boundary(X, y, best_model)
Но так как Python есть своя популярная библиотека для этих целей scikit-learn, я попытался переписать некоторые задания с использованием этой возможности (соответствующие файлы с суффиксом sklearn). Как и требовалось ожидать код с библиотекой работает быстрые и выглядит компактнее и понятнее (с моей точки зрения).
if __name__ == '__main__':
data = sio.loadmat('ex6data1.mat')
y = data['y'].astype(np.float64).ravel()
X = data['X']
visualize_boundary(X, y, None)
C = 1
lsvc = LinearSVC(C=C, tol=0.001)
lsvc.fit(X, y)
svc = SVC(C=C, tol=0.001, kernel='linear')
svc.fit(X, y)
visualize_boundary(X, y, {'SVM(linear kernel) C = {}'.format(C): svc,
'LinearSVC C = {}'.format(C): lsvc})
C = 100
lsvc = LinearSVC(C=C, tol=0.001)
lsvc.fit(X, y)
svc = SVC(C=C, tol=0.001, kernel='linear')
svc.fit(X, y)
visualize_boundary(X, y, {'SVM(linear kernel) C = {}'.format(C): svc,
'LinearSVC C = {}'.format(C): lsvc})
data = sio.loadmat('ex6data2.mat')
y = data['y'].astype(np.float64).ravel()
X = data['X']
visualize_boundary(X, y)
C = 1.0
sigma = 0.1
gamma = sigma_to_gamma(sigma)
svc = SVC(C=C, tol=0.001, kernel='rbf', gamma=gamma)
svc.fit(X, y)
visualize_boundary(X, y, {'SVM(rbf kernel) C = {}'.format(C): svc})
data = sio.loadmat('ex6data3.mat')
y = data['y'].astype(np.float64).ravel()
X = data['X']
Xval = data['Xval']
yval = data['yval'].astype(np.float64).ravel()
visualize_boundary(X, y)
C_coefs = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]
sigma_coefs = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]
svcs = (SVC(C=C, gamma=sigma_to_gamma(sigma), tol=0.001, kernel='rbf') for C in C_coefs for sigma in sigma_coefs)
best_model = max(svcs, key=lambda svc: svc.fit(X, y).score(Xval, yval))
visualize_boundary(X, y, {'Best model(C={}, gamma={})'.format(best_model.C, best_model.gamma): best_model})
#Let's do the similar thing but using sklearn feature
X_all = np.vstack((X, Xval))
y_all = np.concatenate((y, yval))
parameters = {'C':C_coefs, 'gamma': map(sigma_to_gamma, sigma_coefs)}
svr = SVC(tol=0.001, kernel='rbf')
clf = GridSearchCV(svr, parameters, cv=2)
clf.fit(X_all, y_all)
visualize_boundary(X, y, {'Best model(C={}, gamma={})'.format(clf.best_params_['C'], clf.best_params_['gamma']): clf})
P.S.
Для тех кому интересна библиотека Sklearn я бы посоветовал:
Курс на udacity
Видео 1 с pycon
Видео 2 с pycon
P.P. S
Для разработки и запуска примеров я использовал дистрибутив Anaconda
