Решение задачи классификации. Логистическая регрессия

Пусть , тогда вероятность принадлежности -го объекта к каждому из классов:(8)Это выражение может быть записано через функцию softmax, которая является прямым обобщением функции :(9)Таким образом, общее количество параметров равно . Классификация по модели проводится аналогично модели бинарной классификации – выбирается класс с наибольшим значением функции softmax. При этом в некоторых задачах полезным будет вывести несколько классов с наибольшей вероятностью и дать пользователю выбрать из них наилучший экспертной оценкой. Пример решения классификации с 3 классами с помощью модели мультиклассовой логистической регрессии представлен на рисунке 3.Рисунок 3. Решение задачи классификации с 3 классами.Практическая частьЗаключениеВ ходе выполнения работы была изучена важная проблема машинного обучения – задача классификации объектов. Подробно разобран один из наиболее популярных подходов – модель логистической регрессии. Было разобрано вероятностное обоснование модели, способы борьбы с переобучением и рассмотрен обобщенный случай логистической регрессии для задачи с несколькими классами. На языке python с помощью библиотеки sklearn были реализовано обучение моделей для классификации объектов.Список литературыИнтернет ресурс scikit-learnURL: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html(дата обращения 17.02.2023).Bishop, Christopher M. Pattern Recognition and Machine Learning. New York :Springer, 2006.Интернет ресурс habr.com URL: https://habr.com/ru/company/io/blog/265007/(дата обращения 17.02.2023).К.В. Воронцов Курс “Машинное обучение” 2019, URL: https://www.youtube.com/watch?v=VBmfuf11N-M(дата обращения 17.02.2023)Приложение 1.Листинг программы 1.import matplotlib.pyplot as pltimport numpy as npfrom scipy.special import expitfrom sklearn.linear_model import LinearRegression, LogisticRegressionxmin, xmax = -5, 5n_samples = 100np.random.seed(0)X = np.random.normal(size=n_samples)y = (X > 0).astype(float)X[X > 0] *= 4X += 0.3 * np.random.normal(size=n_samples)X = X[:, np.newaxis]clf = LogisticRegression(C=1e5)clf.fit(X, y)plt.figure(1, figsize=(4, 3))plt.clf()plt.scatter(X.ravel(), y, label="example data", color="black", zorder=20)X_test = np.linspace(-5, 10, 300)loss = expit(X_test * clf.coef_ + clf.intercept_).ravel()plt.plot(X_test, loss, label="Logistic Regression Model", color="red", linewidth=3)ols = LinearRegression()ols.fit(X, y)plt.plot( X_test, ols.coef_ * X_test + ols.intercept_, label="Linear Regression Model", linewidth=1,)plt.axhline(0.5, color=".5")plt.ylabel("y")plt.xlabel("X")plt.xticks(range(-5, 10))plt.yticks([0, 0.5, 1])plt.ylim(-0.25, 1.25)plt.xlim(-4, 10)plt.legend( loc="lower right", fontsize="small",)plt.tight_layout()plt.show()Приложение 2.Листингпрограммы 2.from sklearn import datasets, neighbors, linear_modelX_digits, y_digits = datasets.load_digits(return_X_y=True)X_digits = X_digits / X_digits.max()n_samples = len(X_digits)X_train = X_digits[: int(0.9 * n_samples)]y_train = y_digits[: int(0.9 * n_samples)]X_test = X_digits[int(0.9 * n_samples) :]y_test = y_digits[int(0.9 * n_samples) :]knn = neighbors.KNeighborsClassifier()logistic = linear_model.LogisticRegression(max_iter=1000)print("KNN score: %f" % knn.fit(X_train, y_train).score(X_test, y_test))print( "LogisticRegression score: %f" % logistic.fit(X_train, y_train).score(X_test, y_test))Приложение 3.Листингпрограммы 3import matplotlib.pyplot as pltfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.inspection import DecisionBoundaryDisplayiris = datasets.load_iris()X = iris.data[:, :2] Y = iris.targetlogreg = LogisticRegression(C=1e5)logreg.fit(X, Y)_, ax = plt.subplots(figsize=(4, 3))DecisionBoundaryDisplay.from_estimator( logreg, X, cmap=plt.cm.Paired, ax=ax, response_method="predict", plot_method="pcolormesh", shading="auto", xlabel="Sepal length", ylabel="Sepal width", eps=0.5,)plt.scatter(X[:, 0], X[:, 1], c=Y, edgecolors="k", cmap=plt.cm.Paired)plt.xticks(())plt.yticks(())plt.show()