Разработка и исследование модели управления перекрестком с использованием обучения с подкреплением

Строящийся мост располагается параллельно существующему Центральному мосту. Длина моста составит 122 метра, участка строительства – 481 метр. Центральный мост будет реконструирован, и в итоге будут два односторонних моста с тремя полосами движения на каждом и тротуарами. Введение в строй нового моста позволит разгрузить Центральный мост и устранить регулярно возникающие заторы.«Узким местом» проекта является проектируемая развязка в центральной части города (перекресток улицы Карла Маркса и проспекта Ленина). В настоящее время данный перекресток оборудован системой «интеллектуальный перекресток», позволяющей фиксировать нарушения ПДД и оценивать потоки движения ТС, однако, система функционирует в тестовом режиме, что объясняется соображениями безопасности движения. В данной работе предлагается одна из возможных модель реализации развязки после реализации проектов строительства и реконструкции. Рассмотрена модель перекрестка в системе Anylogic с использованием средств искусственного интеллекта.В модели существует четыре потока: a, g, с, e. Для обозначения направлений движения используются пары букв (например, ab, af). В каждом потоке три полосы, движения автомобилей. Каждая полоса предназначена для движения в одном направлении. Кругами обозначены задержки автомобилей перед перекрестком в каждом из направлений. Движением на перекрестке управляют четыре светофора (модели совокупности реальных светофоров). Каждый светофор имеет номер, пять секций и управляет одним потоком. Например, светофор 3 управляет потоком «e», светофор 2 управляет потоком «а». Каждая секция имеет два состояния (светится / не светится). Секция 1 светится красным цветом, секция 2 – желтым, секции 4, 3, 5 – зеленым. Светофор имеет набор состояний. Каждое состояние светофора задается набором состояний секций, разрешающих или запрещающих движение в различных направлениях. Например, зеленые секции 3, 4, 5 светофора 2 разрешают потоку «а» движение во всех направлениях (af, ab, ah). Считается, что светофор имеет 8 состояний. В таблице 3.1 представлена карта состояний светофора. Единица означает свечение соответствующей секции. При построении имитационной модели реального перекрестка набор реальных светофоров на перекрестке приводится к моделям светофоров концептуальной модели. Таблица 3.1 – Карта состояния светофораСостояние светофораСекция 1Секция 2Секция 3Секция 4Секция 5110000201000300100400010500001600110700101800111 Алгоритм перехода светофоров в разные состояния задается системой управления светофорами (СУС). В модели различаются неадаптивные (детерминированные) и адаптивные СУС. Неадаптивные СУС (НСУС) переключают состояния светофоров через заранее заданное время. Адаптивные СУС (АСУС) переключают состояния светофоров с учетом текущей ситуации на перекрестке (например, с учетом длин очередей в различных направлениях).На перекрестке в каждом направлении существует очередь, управляемая светофорами. В моделях на уровне классических систем массового обслуживания тонкости управления светофорами обычно не учитываются. В предлагаемой модели очереди зависят не только от задержек и интенсивностей потока транспортных средств, но и от используемой системы управления.Также будем считать, что интенсивность поступления транспортных средств на перекресток в каждом из направлений зависит от предыдущей задержки (предыдущий светофор, переход).Модель направления движенияВ каждом направлении движения происходят задержки, величины которых зависят от состояний светофоров и очередей автомобилей перед перекрестком. В модели представлены 12 направлений движения. Например, движение в направлении «ab» разрешено в том случае, когда светофор с номером 2 находится в состоянии 8. Движение в направлении «ah» разрешено при нахождении светофора с номером 2 в состоянии 8, либо в состоянии 5. В таблице 3.2 приведены состояния светофоров, разрешающих движение для каждого из направлений.Реализована следующая схема имитации прохождения автомобилей в каждом из 12 направлений.Генерация потока транспортных средств.Постановка автомобиля в очередь перед перекрестком.Ожидание освобождения первого места перед перекрестком (Т1).Постановка автомобиля на первое место перед перекрестком.Ожидание сигнала светофора, разрешающего движение (T2).Проезд первого места перед светофором (Т3).Освобождение первого места перед светофором.Выход из очереди перед перекрестком.Пересечение перекрестка (Т4). Таблица 3.2 – Направления движения и состояния светофора№НаправлениеСветофорНомер основного состояния светофора, разрешающего проездНомер вспомогательного состояния светофора, разрешающего проезд1ab2802ah2853af2804cf4855cd4806ch4807ed3808ef3809eb38510gd18511gh18012gb180 На первом этапе для направления задается закон распределения времени между поступлением транспортных средств на перекресток. В каждом конкретном случае интенсивность поступления автомобилей зависит от типа предыдущей задержки (светофор, переход, перекресток), от времени суток и времени года. Поступающие к перекрестку автомобили становятся в очередь. Считается, что в каждом направлении образуется очередь автомобилей, независимая от других направлений (перестроения между полосами движения не учитываются). Если первое место перед перекрестком занято, автомобиль ожидает его освобождения в течение времени Т1 (этап 3). При освобождении первого места ближайший к нему автомобиль становится первым перед перекрестком (этап 4). Если нет разрешающего сигнала светофора, автомобиль ожидает его в течение времени Т2 (этап 5).При получении разрешающего сигнала светофора автомобиль проезжает первое место за время Т3 (этап 6) и освобождает первое место для следующего за ним автомобиля (этап 7). Считается, что после этого автомобиль выходит из очереди перед перекрестком (этап 8). Таким образом, время нахождения автомобиля в очереди перед перекрестком Tq равно сумме Т1, Т2 и Т3. Затем автомобиль пересекает перекресток за время Т4 и транспортное средство, выполнившее движение, удаляется из модели. Общее время задержки при прохождении автомобилем перекрестка равно сумме Tq и Т4.Модель статической (неадаптивной) системы управления светофорами (НСУС). В имитационной модели (ИМ) реализуется описанная концептуальная модель перекрестка. Таблица 3.3 – Состояния неадаптивной системы управленияНомер состоянияS1S2S3S4CледующеесостояниеПоток 1Поток 2158112ab, ah, afgd211583cf, cd, chab315814ed, ef, ebah481151gd, gh, gbcf Модель НСУСимеет ряд состояний, управляющих состояниями светофоров. Набор состояний системы управления и последовательность переходов между состояниями зависит от заданных характеристик конкретного перекрестка. Алгоритм функционирования НСУС, используемый в ИМ приведен в табл. 3.Модель динамической (адаптивной) системы управления светофорами (АСУС). Адаптивная АСУС учитывает текущее состояние перекрестка. Существует множествореализаций алгоритмов для АСУС. В рассматриваемой имитационной модели реализована простейшая модификация НСУС, которую при современных средствах видеонаблюдения технически нетрудно реализовать. АСУС переходит в следующее состояние либо при отсутствии автомобилей во всех открытых направлениях, либо по истечении заданного времени нахождения в состоянии для НСУС.Описанная модель позволит исследовать различные характеристики транспортных систем для решения проблем анализа и оптимизации транспортных потоков. В рамках пакета ANYLOGIC возможно выполнение оптимизации модели, т.е. получение оптимальных значений каких-либо параметров модели при заданном критерии оптимизации. В модели транспортной системы при оптимизации можно изменять параметры и/или функциональность объектов транспортной системы. Критерии оптимизации могут не совпадать для различных элементов системы, цели оптимизации также могут быть противоположны. Поэтому, следует строить сложные критерии оптимизации с использованием весовых функций.Время создания модели транспортной сети зависит от её объема. Построение транспортных сетей и проведение несложных экспериментов с ними может быть выполнено даже не имеющим специальной подготовки пользователем.Предлагаемая модель перекрестка может быть использована в различных работах по оценке простоя автомобилей в очередях. Преимуществами данного подхода к моделированию и исследованию транспортных сетей в пакете ANYLOGIC является простота и наглядность построения сети, возможность расширения и усовершенствования модели пользователем.Такое исследование можно проводить в нескольких направлениях:Анализ конкретных ситуаций, когда моделируется реальная ситуация (например, авария, уборочные работы), в которой анализируются такие характеристики системы, как средняя скорость движения ТС, время ожидания в очередях (задержки в пути) и т. п.Поиск оптимального решения некоторых задач управления движением, для чего необходимо выбрать изменяемые параметры (например, времена переключения светофоров, количество полос движения и др.) и определить целевую функцию (оптимизируемое значение). Такой функцией может быть, например, средняя скорость на анализируемом участке транспортной сети, время ожидания на перекрестках и т.д.Прогнозирование влияния изменения топологии транспортной сети (строительство объездных дорог, введение датчиков наличия ТС на перекрестке, изменение типов перекрестков и т.д.) на важные характеристики транспортного потока.Борьба с пробками на дорогах. Данная задача решается уменьшением интенсивности движения в заданном направлении, например, перенаправлением транспортного потока на прилегающие дороги.К сожалению, ряд функций, использованных в модели, доступен только в профессиональной версии Anylogic, что не позволило реализовать модель в данной работе.ЗаключениеВ работе показаны возможности использования средств имитационного моделирования для анализа и прогнозов, выработки управленческих решений на самом различном уровне. Одним из эффективных средств управления дорожным движением также является применение имитационного моделирования для анализа ситуации и оперативного реагирования для улучшения пропускной способности магистралей.Сравнительный анализ средств и программных продуктов определил выбор среды Anylogic для моделирования и оптимизации управления дорожным движением на одном из перекрестков города.Была создана модель процесса движения по перекрестку средствами графической оболочки Anylogic. Проведенный модельный эксперимент позволил наблюдать процесс движения автотранспорта по перекрестку, собрать статистическую информацию.Была произведена работа по улучшению планирования движения ТС на перекрестке, а также произвелись замеры и сравнения работы перекрестка при разных нагрузках на транспортную сеть. В результате в процессе имитации конфликты не наблюдаются и движению машин ничего не мешает.Описанная модель позволит исследовать различные характеристики транспортных систем для решения проблем анализа и оптимизации транспортных потоков. В рамках пакета ANYLOGIC возможно выполнение оптимизации модели, т.е. получение оптимальных значений каких-либо параметров модели при заданном критерии оптимизации. В модели транспортной системы при оптимизации можно изменять параметры и/или функциональность объектов транспортной системы. Критерии оптимизации могут не совпадать для различных элементов системы, цели оптимизации также могут быть противоположны. Список использованной литературы1. «Обзор существующих программных средств имитационного моделирования при исследовании механизмов функционирования и управления производственными системами,» 2009. [В Интернете]. Available: http://cyberleninka.ru/journal/n/izvestiya-altayskogo-gosudarstvennogo-universiteta. [Дата обращения: 03 04 2020].2. Боев В.Д. Компьютерное моделирование: Пособие для практических занятий, курсового и дипломного проектирования в AnyLogic7, С-Петербург: ВАС, 2014.3. Игнатов Г. Anylogic за три дня. Практическое пособие по имитационному моделированию, С-Петербург: Anylogic, 2017.4. Боев В.Д. Моделирование в AnyLogic. Пособие для практических занятий, С-Петербург: ВАС, 2016.5. Евдокимов А.О., Горохов А.В., Лугов Д.Я. ИМИТАЦИОННАЯ МОДЕЛЬ ПЕРЕКРЕСТКА С СИСТЕМОЙ ИНТЕЛЛЕКТУАЛЬНОГО УПРАВЛЕНИЯ. Международный научно-исследовательский журнал. Страницы: 55-60 Выпуск: №5 (36) Часть 2.