«Методы выбора предикторов в логистической модели»

Был построен график, который по результатам работы модели показал точность каждого метода выбора признаков (Рис.3).Рисунок 3 – Точность разных методов отбора признаковСудя по графику, можно отметить, что почти все методы (кроме обёртки) дали неплохую точность. Однако, лучший результат у метода фильтрации и гибридного метода.Кроме того, для некоторых методов выбора признаков были представлены уравнения логистической регрессии, которые позволяют оценить влияние каждого предиктора на вероятность принадлежности к классу "1" (банкротство). Стоит отметить, что для методов обёртки уравнений нет, из-за отсутствия выбранный признаков.Например, для метода Filter, уравнение логистической регрессии выглядит следующим образом:ЛогРег: y = 1 / (1 + exp(-(-7.2270 -0.2005 * Attr3 + -0.4787 * Attr16 + -0.3997 * Attr26 + 0.1091 * Attr35 + 0.3644 * Attr51 + 10.5197 * class)))Это уравнение показывает, что вероятность банкротства (вероятность принадлежности к классу "1") зависит от значений предикторов Attr3, Attr16, Attr26, Attr35, Attr51 и значения целевой переменной (class).В итоге стоит отметить, что были обработаны и проанализированы данные, содержащие сведения о банкротстве компаний. Информация в датасетах была проанализирована, а также проведена предварительная обработка (удаление пропущенных значений) данных. С помощью различных методов (фильтрации, обёртки, на основании лесов, гибридного) были выбраны признаки для моделирования. После обучения и предсказании логистической регрессии на выбранных признаках можно сделать вывод, что что наиболее информативные предикторы для логистической регрессии в данной задаче - 'Attr16', 'Attr26', 'Attr35', так как они демонстрируют наивысшие значения AUC-ROC и KS-статистики. Имея высокую способность разделять классы, эти предикторы могут сильно влиять на прогноз банкротства компаний. При этом видно, что ни один из методов не дал правильного результата отбора предикторов для логистической регрессии. Методы фильтрации и гибридный метод использовали целевую переменную как предиктор, что недопустимо в данном контексте. Метод обертки отобрал некоторые предикторы, но их качество пока недостаточно хорошо для построения точной модели. При этом, метод фильтрации и гибридный показали лучшую точность.ЗАКЛЮЧЕНИЕВ результате проведённой работы по определению методов выбора предикторов для логистической регрессии, можно сделать выводы.Логистическая регрессия имеет множество преимуществ, таких как простота реализации, хорошая интерпретируемость и способность обрабатывать категориальные и числовые признаки. Однако она может быть менее эффективной в задачах с нелинейными зависимостями между предикторами и целевой переменной. В таких случаях, другие методы, такие как деревья решений или нейронные сети, могут быть более подходящими.Анализ и выбор наиболее значимых предикторов позволяет построить более эффективные и интерпретируемые модели, которые способны намного точнее прогнозировать кредитный риск на основе финансовых показателей. Таким образом, это помогает принимать более обоснованные и основанные на данных решения в финансовой сфере.Отбор признаков (предикторов) в логистической модели является важным этапом в анализе данных и моделировании. Он выполняется с целью выбрать наиболее информативные и значимые предикторы, которые будут использоваться для построения модели прогнозирования или классификации. Отбор признаков позволяет улучить производство модели, снизить её сложность, экономить ресурсы, устранять мультиколлинарность, улучшать интерпретируемость.В ходе практической части работа были обработаны и проанализированы данные, содержащие сведения о банкротстве компаний. Информация в датасетах была проанализирована, а также проведена предварительная обработка (удаление пропущенных значений) данных.С помощью различных методов (фильтрации, обёртки, на основании лесов, гибридного) были выбраны признаки для моделирования. После обучения и предсказании логистической регрессии на выбранных признаках можно сделать вывод, что что наиболее информативные предикторы для логистической регрессии в данной задаче - 'Attr16', 'Attr26', 'Attr35', так как они демонстрируют наивысшие значения AUC-ROC и KS-статистики. Имея высокую способность разделять классы, эти предикторы могут сильно влиять на прогноз банкротства компаний. При этом видно, что ни один из методов не дал правильного результата отбора предикторов для логистической регрессии. Методы фильтрации и гибридный метод использовали целевую переменную как предиктор, что недопустимо в данном контексте. Метод обертки отобрал некоторые предикторы, но их качество пока недостаточно хорошо для построения точной модели.СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫАндрей Андреевич Жуков, Егор Дмитриевич Никулин, Данил Андреевич Щучкин Факторы риска банкротства российских компаний // Финансы: теория и практика. 2022. №6. URL: https://cyberleninka.ru/article/n/faktory-riska-bankrotstva-rossiyskih-kompaniy (дата обращения: 30.06.2023).Беляев А. М., Михнин А. Е., Рогачев М. В. ROC-анализ и логистическая регрессия в MedCalc: учебное пособие для врачей и обучающихся в системе высшего и дополнительного профессионального образования. – Санкт-Пе- тербург: НМИЦ онкологии им. Н.Н. Петрова, 2023 – 36 с.Григорьев С.Г., Лобзин Ю.В., Скрипниченко Н.В. Роль и место логистической регрессии и ROC-анализа в решении медицинских диагностических задач // Журнал инфектологии. – 2016 – T.8, № 4 – С. 36-43.Гринева Н.В., Михайлова С.С. Применение машинного обучения для моделирования дефолта заемщика // Инновации и инвестиции. 2023. №4. URL: https://cyberleninka.ru/article/n/primenenie-mashinnogo-obucheniya-dlya-modelirovaniya-defolta-zaemschika (дата обращения: 30.06.2023).Груздев А.В. Метод случайного леса в скоринге. Риск-менеджмент в кредитной организации. 2014;(1):28– 43.Демешев Б.Б., Тихонова А.С. Прогнозирование банкротства российских компаний: межотраслевое сравнение. Экономический журнал Высшей школы экономики. 2014;18(3):359–386.Жданов В.Ю., Афанасьева О.А. Модель диагностики риска банкротства предприятий авиационно-промышленного комплекса. Корпоративные финансы. 2011;5(4):77–89. DOI: 10.17323/j.jcfr.2073– 0438.5.4.2011.77–89Ильиных М.В. Обзор подходов к моделированию кредитных рейтингов // Инновации и инвестиции. 2019. №7. URL: https://cyberleninka.ru/article/n/obzor-podhodov-k-modelirovaniyu-kreditnyh-reytingov (дата обращения: 30.06.2023).Исаев Денис Вадимович Стратегия поиска эффективного алгоритма машинного обучения на примере кредитного скоринга // Проблемы экономики и юридической практики. 2020. №6. URL: https://cyberleninka.ru/article/n/strategiya-poiska-effektivnogo-algoritma-mashinnogo-obucheniya-na-primere-kreditnogo-skoringa (дата обращения: 30.06.2023).Казаков А.В., Колышкин А.В. Разработка моделей прогнозирования банкротства в современных российских условиях. Вестник Санкт-Петербургского университета. Экономика. 2018;34(2):241–266. DOI: 10.21638/11701/spbu05.2018.203Каримов Р.Н. Статистика для врачей, биологов и не только. – в 2 ч. / Р.Н. Каримов, Ю.Г. Шварц. – Саратов: Сарат. гос. мед. ун-т, 2007 – Ч.1. – 200 с.; 2010 – Ч.2. – 204 с.Макеева Е.Ю., Аршавский И.В. Применение нейронных сетей и семантического анализа для прогнозирования банкротства. Корпоративные финансы. 2014;8(4):130–141. DOI: 10.17323/j.jcfr.2073– 0438.8.4.2014.130–141Руководство по кредитному скорингу [Текст] / под. ред. Элизабет Мэйз ; пер. с англ. И. М. Тикота ; науч. ред. Д. И. Вороненко. – Минск: ГревцовПаблишер, 2008. – 464 с. – ISBN 978-985-6569-34-3Сорокин Александр Сергеевич К вопросу валидации модели логистической регрессии в кредитном скоринге // Вестник евразийской науки. 2014. №2 (21). URL: https://cyberleninka.ru/article/n/k-voprosu-validatsii-modeli-logisticheskoy-regressii-v-kreditnom-skoringe (дата обращения: 30.06.2023).Тырсин Александр Николаевич, Костин Кирилл Константинович. Оценивание логистической регрессии как экстремальная задача // Вестн. Том. гос. ун-та. Управление, вычислительная техника и информатика. 2017. №40. URL: https://cyberleninka.ru/article/n/otsenivanie-logisticheskoy-regressii-kak-ekstremalnaya-zadacha (дата обращения: 30.06.2023).Altman E.I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy. The Journal of Finance. 1968;23(4):589–609. DOI: 10.1111/J.1540–6261.1968.TB 00843.XAltman E.I., Iwanicz-Drozdowska M., Laitinen E., Suvas A. Distressed firm and bankruptcy prediction in an international context: A review and empirical analysis of Altman’s Z-score model. SSRN Electronic Journal. 2014. DOI: 10.2139/ssrn.2536340Harrell, Frank. (2001). Regression modeling strategies. [Text] – NY: Springer. – 608p. – ISBN 0387952322, 9780387952321 Hosmer D.W. Applied Logistic Regression. – 2-nd ed. / D.W. Hosmer, S. Lemeshow. – N.-Y.: Wiley, 2000 – 375 с.Li Y., Wang Y. Machine learning methods of bankruptcy prediction using accounting ratios. Open Journal of Business and Management. 2018;6(1):1–20. DOI: 10.4236/ojbm.2018.61001Molina C.A. Are firms underleveraged? An examination of the effect of leverage on default probabilities. The Journal of Finance. 2005;60(3):1427–1459. DOI: 10.1111/j.1540–6261.2005.00766.Naeem S. (2006). Credit risk scorecards: developing and implementing intelligent credit scoring. [Text] – NewJersey: JohnWileyandSons. – 208 p. – ISBN: 9780471754510 ПРИЛОЖЕНИЕ 1Программный код## Загрузкафайлов!unzip '/content/drive/MyDrive/polish+companies+bankruptcy+data.zip' -d /content/ #Извлечемфайлыизархива## Установкабиблиотек!pip install arff!pipinstallshap## Импорт необходимых библиотекimportnumpyasnpimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsfrom scipy.io.arff import loadarffimport shapfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import roc_auc_score, roc_curve, auc, confusion_matrix, accuracy_score## Загрузка и объединение таблицdata = []for i in range(1, 6): filename = f"/content/{i}year.arff"raw_data = loadarff(filename)df_data = pd.DataFrame(raw_data[0])data.append(df_data)# Объединение данных в один DataFramedf = pd.concat(data)# Просмотр таблицы с даннымиdf.head()## Оценка данныхdf.info()## Определение процента пропущенных значенийdf.isna().mean()*100## Изменение типа целевой переменнойdf['class'] = df['class'].astype(int)df.head()## Удаление пропущенных значенийdf=df.dropna()df.isna().mean()*100## Одномерный анализ данных# Сводная статистикаdf.describe()# Распределение классовdf['class'].value_counts()## Многомерный анализ данных# Матрицакорреляцииcorrelation_matrix = df.corr()pd.options.display.max_rows = Nonecorrelation_matrix# Построение "тепловой карты"plt.figure(figsize=(14, 10))sns.heatmap(correlation_matrix, cmap='coolwarm', annot=False, fmt=".2f", linewidths=0.5)plt.title('Матрицакорреляции')plt.show()## Методы выбора предикторов### Фильтр метод# Метод фильтрации (корреляция)correlation_matrix = df.corr()correlation_with_target = correlation_matrix['class'].abs()selected_predictors_filter = correlation_with_target[correlation_with_target > 0.07].index.tolist()selected_predictors_filter### Оберткаметод# Удаляем RIF метод и оставляем только LR, Scoretest и Wald# Создаем список для хранения выбранных предикторов из каждого методаselected_predictors_lr = []selected_predictors_score_test = []selected_predictors_wald_test = []# Проходимсяпокаждомупредикторуfor predictor in X.columns:X_selected = df[[predictor]]X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.2, random_state=0)# Обучаем модель с использованием логистической регрессииmodel_lr = LogisticRegression()model_lr.fit(X_train, y_train)y_pred_lr = model_lr.predict(X_test)auc_roc_lr = roc_auc_score(y_test, y_pred_lr)# Вычисляем AUC-ROC для модели с использованием Scoretestmodel_score_test = LogisticRegression(solver='liblinear')model_score_test.fit(X_train, y_train)y_pred_score_test = model_score_test.predict(X_test)auc_roc_score_test = roc_auc_score(y_test, y_pred_score_test)# Вычисляем AUC-ROC для модели с использованием Waldtestmodel_wald_test = LogisticRegression(solver='lbfgs', max_iter=1000)model_wald_test.fit(X_train, y_train)y_pred_wald_test = model_wald_test.predict(X_test)auc_roc_wald_test = roc_auc_score(y_test, y_pred_wald_test)# Выбираем предикторы, у которых AUC-ROC больше 0.5if auc_roc_lr > 0.5:selected_predictors_lr.append(predictor) if auc_roc_score_test > 0.5:selected_predictors_score_test.append(predictor) if auc_roc_wald_test > 0.5:selected_predictors_wald_test.append(predictor)# Создаемтаблицурезультатовresult_table = pd.DataFrame(columns=['Method', 'Selected_Predictors', 'AUC-ROC'])# Записываемрезультаты в таблицуresult_table = result_table.append({'Method': 'LR', 'Selected_Predictors': selected_predictors_lr, 'AUC-ROC': auc_roc_lr}, ignore_index=True)result_table = result_table.append({'Method': 'Score Test', 'Selected_Predictors': selected_predictors_score_test, 'AUC-ROC': auc_roc_score_test}, ignore_index=True)result_table = result_table.append({'Method': 'Wald Test', 'Selected_Predictors': selected_predictors_wald_test, 'AUC-ROC': auc_roc_wald_test}, ignore_index=True)# Выводим таблицу результатовprint(result_table)## Рекурсивное исключение признаков (RFE)X = df.drop('class', axis=1)y = df['class']model = LogisticRegression()model.fit(X, y)from sklearn.feature_selection import RFErfe = RFE(model, n_features_to_select=5)rfe.fit(X, y)selected_predictors_wrapper = X.columns[rfe.support_].tolist()selected_predictors_wrapper### Методы на основе деревьев (важность признаков в случайном лесе)from sklearn.ensemble import RandomForestClassifierforest = RandomForestClassifier()forest.fit(X, y)importance = forest.feature_importances_selected_predictors_tree = X.columns[importance > 0.025].tolist()selected_predictors_tree## ShapX = df.drop('class', axis=1)y = df['class']# Разделение данных на обучающую и тестовую выборкиX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)# Обучениемоделиmodel = LogisticRegression()model.fit(X_train, y_train)# Инициализация объекта SHAPexplainer для логистической регрессииexplainer = shap.LinearExplainer(model, X)# Вычисление значений SHAP для всех наблюденийshap_values = explainer(X)# Выбор наиболее значимых предикторов на основе значений SHAPselected_predictors_shap = X.columns[np.abs(shap_values.values).mean(0) > 0.1].tolist()# Вывод результатовprint("Выбранные предикторы на основе SHAP:")print(selected_predictors_shap)###Гибридный метод (объединение предикторов из фильтрации и метода на основе деревьев)selected_predictors_hybrid = list(set(selected_predictors_filter + selected_predictors_tree+selected_predictors_shap))selected_predictors_hybrid## Построение моделей для каждого предиктора и сравнительный анализ результатовselected_predictors = selected_predictors_filter + selected_predictors_wrapper + selected_predictors_tree +selected_predictors_shap+selected_predictors_hybridresult_df = pd.DataFrame(columns=['Predictor', 'AUC-ROC', 'KS-статистика'])for predictor in selected_predictors:X_selected = df[[predictor]]X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.2, random_state=0) model = LogisticRegression()model.fit(X_train, y_train) probs = model.predict_proba(X_test)[:, 1]fpr, tpr, thresholds = roc_curve(y_test, probs)roc_auc = auc(fpr, tpr)ks_statistic = max(tpr - fpr)result_df = result_df.append({'Predictor': predictor, 'AUC-ROC': roc_auc, 'KS-статистика': ks_statistic}, ignore_index=True)# Вывод результатовprint(result_df)## Выделение количества значимых признаков для модели# Определение списка предикторовpredictors = df.columns.drop('class')# Список для хранения точности для каждого количества предикторовaccuracy_list = []# Разбиваем данные на обучающую и тестовую выборкиX_train, X_test, y_train, y_test = train_test_split(df[predictors], df['class'], test_size=0.2, random_state=0)# Цикл для последовательного увеличения количества предикторов и обучения моделиfor num_predictors in range(1, len(predictors) + 1):selected_predictors = predictors[:num_predictors] #Выбираемпервыеnum_predictorsпредикторовX_train_selected = X_train[selected_predictors]X_test_selected = X_test[selected_predictors] # Обучениемодели model = LogisticRegression()model.fit(X_train_selected, y_train) # Прогнознатестовойвыборкеy_pred = model.predict(X_test_selected)# Вычисление точности и добавление в списокaccuracy = accuracy_score(y_test, y_pred)accuracy_list.append(accuracy)# Построениеграфикаplt.figure(figsize=(10, 6))plt.plot(range(1, len(predictors) + 1), accuracy_list, marker='o')plt.axvline(x=7, color='r', linestyle='--', label='Максимальная точность при 7 показателях')plt.xlabel('Количество предикторов')plt.ylabel('Точность модели')plt.title('Зависимость точности модели от количества предикторов')plt.legend()plt.grid(True)plt.show()## Итоги# Создание списка методов и их выбранных предикторовmethods = ['Filter', 'LR', 'Score Test', 'Wald Test', 'Hybrid', 'SHAP', 'RFE', 'Tree']selected_predictors_list = [selected_predictors_filter, selected_predictors_lr, selected_predictors_score_test, selected_predictors_wald_test, selected_predictors_hybrid, selected_predictors_shap,selected_predictors_wrapper, selected_predictors_tree]# Создание списка для хранения точности и уравнений для каждого методаaccuracy_list = []equation_list = []# Циклдлякаждогометодаfor method, selected_predictors in zip(methods, selected_predictors_list): if len(selected_predictors) == 0:accuracy_list.append(0.0)equation_list.append('N/A') continueX_selected = df[selected_predictors] y = df['class'] # Move y outside the loopX_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.2, random_state=0) model = LogisticRegression()model.fit(X_train, y_train)y_pred = model.predict(X_test) accuracy = accuracy_score(y_test, y_pred) accuracy_list.append(accuracy) # Получение коэффициентов модели и их интерпретация в виде уравнения логистической регрессииcoef = model.coef_[0] intercept = model.intercept_[0] equation = f"ЛогРег: y = 1 / (1 + exp(-({intercept:.4f} {' + '.join([f'{c:.4f} * {p}' for c, p in zip(coef, selected_predictors)])})))"equation_list.append(equation)# Построениеграфикаplt.figure(figsize=(12, 6))plt.bar(methods, accuracy_list)plt.xlabel('Методы')plt.ylabel('Точностьмодели')plt.title('Сравнение точности каждого метода')plt.grid(True)plt.show()# Выводуравненийлогистическойрегрессииfor method, equation in zip(methods, equation_list):print(f"Метод: {method}")print(f"Точностьмодели: {accuracy:.4f}")print(f"Уравнение логистической регрессии: {equation}")print("=" * 50)