Методы обучения нейронных сетей без учителя: самоорганизация, обучение с подкреплением.

Процесс обучения построению оптимального маршрута БПЛА с помощью табличного алгоритма 0-обучения представлен линейными графиками на рис. 2.Рисунок 8 – Длина траектории полета БПЛА по тренировочным эпизодам.По сравнению с традиционным алгоритмом построения маршрута БПЛА с использованием генератора случайных векторов направления табличное О-обучение является более интеллектуальным. Вектор движения БПЛА получается согласно политике, генератор случайных чисел не используется. Однако при таком подходе агент может найти не самую эффективную траекторию, и из-за детерминированной стратегии агент следует по ней.Глубокое обучение с подкреплением(DRL) является сегодня одним из самых многообещающих алгоритмов для осуществления политики управления системы, которая приобретенапутем обучения, а затем соответствующим образом обновлена, поскольку он нетребует заранее определенного набора обучающих данных, что идеально подходит для выполнения задачроботизированного управления. Подход с использованием обученияс подкреплением может использовать входные данные из эксперимента с роботом манипулятором с различными последовательностями движений или из имитационных моделей. Любой тип динамически генерируемых эмпирических данных может быть собран и использован для обучения глубинной нейронной сети (DNN) путем интерактивного обновления определенных параметров политики сети политикиуправления[11].При помощи процесса обучения нейронных сетей без учителя с подкреплением агент может сделать выбор действия, базируясь на основании их внутренней ценности в различных состояниях. Этот общий принцип применим ко всем формам обучения с подкреплением в биологических системах. Примером в таком случае могут быть эксперименты с обучением мышей прохождению лабиринтов дляполучения вознаграждения. Это зависит от того, какая именно будет последовательность всех действий, а не только от самого последнего из них.Как только вознаграждение заработано, синаптические веса в мозге мыши перестраиваются согласно тем, как именно необходимо применятьсенсорные входы для принятия будущих решений относительно передвиженияв лабиринте. Внешний вид схемы таких отношений между агентом и окружением показан на рис. 9.Рисунок9 – Внешний видобщей схемы обучения с подкреплениемВ таком случае следуетобратить внимание на параметр s, который является состоянием до выполнения действия аt а выполнение действия аt приводит к вознаграждению rt и переходу в состояние s1+i.Применение такого соглашенияпро временные меткипроисходитв большинстве случаев практического применения такого метода. В бесконечных марковскихпроцессах нетэпизодов конечной длины, в результате чего они получили названиенеэпизодических.ЗаключениеВ процессе написания работы определено, что процедура, связанная с обучением ИНС с учителем, нуждается в большом количестве примеров, согласно которым происходит ее настройка. Для применения методов обучения ИНС без учителя не нужно большое количество ресурсов, но в то же время процесс оптимизации весовых коэффициентов занимает значительно больше времени. Следовательно, у обоих методовесть как положительные, так и отрицательные стороны, но с практической точки зрения необходимо учитывать поставленные задачи и только после этого следует решать, какие именно методы необходимо применять. практика показывает, что актуальность применения методов обучения нейронныхсетей без учителя имеет место на сегодняшний день, и для решения определенных задач при помощи конкретных математических моделей без них не обойтись.Цель и задачи, которые были сформулированы в начале работы, все достигнуты и решены. Этот реферат удалось написать с использованием современной литературы и международной сети Интернет. Отмечена важность данной тематики, поскольку без ее применения в соответствующих направлениях невозможно полноценное развитие государства в целом. Поэтому важно постоянно модернизировать методы исследований тематики, изложенной в данной работе, что позволит вывести РФ на новый уровень развития.Список использованной литературыУорр К. Надежность нейронных сетей. Укрепляем устойчивость ИИ к обману. Спб.: Питер, 2021 — 272 с.Bondarev, A. S. Useofneuralnetworksinprocessingeconomicdata / A. S. Bondarev, K. I. Lobanov, I. V. Kauts // Молодые ученые в решении актуальных проблем науки : сборник материалов Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых (с Международным участием), Красноярск, 21–22 апреля 2022 года. – Красноярск: Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева", 2022. – P. 1001-1003.Аггарвал Чару. Нейронные сети и глубокое обучение: учебный курс. Пер. с англ. — СПб.: Диалектика, 2020. — 752 с.Campbell Alex. Data Visualization Guide: Big and Complete Guide to Data Mining and Visualization. Independentlypublished, 2021. — 364 p.Феофилов, Д. С. Сравнительный анализ методов обучения искусственных нейронных сетей / Д. С. Феофилов // Техника XXI века глазами молодых ученых и специалистов. – 2022. – № 20. – С. 382-385.Борхани Реза, КатсаггелосАггелос, Уатт Джереми. Машинное обучение: Основы, алгоритмы и практика применения. Пер. с англ. А. Логунов. — СПб.: БХВ-Петербург, 2022. — 640 с. (без учителя)Дмитриев К.В. Методы машинного обучения в анализе изображений и временных рядов. М.: Изд. МГУ им. М.В.ЛомоносоваTeach-in, 2022. — 173 с. (Нейронные сети в задачах обучения без учителя)Haykin S. Neural Networks. A Comprehensive Foundation. Prentice Hall, 1999. — 864 p. (Self-Organizing Maps)Елизаров, А. А. Метод адаптивной классификации изображений с использованием обучения с подкреплением / А. А. Елизаров // Программные продукты и системы. – 2022. – № 1. – С. 028-036. – DOI 10.15827/0236-235X.137.028-036.Intellectual Ways of Solving the Problem of Constructing the Optimal Route of an Unmanned Aerial Vehicle in the Conditions of Counteraction / I. N. Ischuk, B. K. Telnykh, V. N. Tyapkin, N. S. Kremez // Journal of Siberian Federal Universit. Mathematics and Physics. – 2022. – Vol. 15. – No 4. – P. 431-443. – DOI 10.17516/1997-1397-2022-15-4-431-443.Серебряков, М. Ю. Глубокое обучение с подкреплением в управлении манипуляционными роботами / М. Ю. Серебряков, С. В. Колесова, А. А. Зинченко // Известия Тульского государственного университета. Технические науки. – 2022. – № 9. – С. 265-268. – DOI 10.24412/2071-6168-2022-9-265-268.Аггарвал Чару. Нейронные сети и глубокое обучение: учебный курс. Пер. с англ. — СПб.: Диалектика, 2020. — 752 с. Приложение 1 Варианты архитектуры нейронной сети агента