Градиентные методы оптимизации
Заказать уникальный реферат- 12 12 страниц
- 8 + 8 источников
- Добавлена 20.04.2017
- Содержание
- Часть работы
- Список литературы
- Вопросы/Ответы
1. Метод наискорейшего спуска 4
1.1 Классический метод найскорейшего пуска – Метод Коши 4
1.2 Метод покоординатного спуска Гаусса — Зейделя 5
2. Метод сопряжённых градиентов 7
3. Метод Франка-Вульфа 9
Заключение 11
Список использованных источников 12
В качестве такого решения можно использовать любой набор значений Х1 и Х2, удовлетворяющий системе ограничений. Начальное допустимое решение можно найти, например, следующим образом: исключить из целевой функции все нелинейные элементы и решить симплекс-методом полученную задачу линейного программирования. Для рассматриваемого примера такая задача будет следующей:
Решив эту задачу, получим начальное допустимое решение: X1(0)=6,923, Х2(0)=0. То есть, значение целевой функции для этого решения:
Задание требуемой точности для решения задачи также очень необходимо. Зададим ее равной 500 денежных единиц. Таким образом, считаем, что решение найдено, если переход к новому приведет к увеличению целевой функции не более чем на 500 денежных единиц. Поскольку в данной задаче целевая функция выражается в тысячах денежных единиц, поэтому значение точности будет равным 0,5.
Заключение
В настоящее время общепринятым средством решения канонических задач высокой размерности являются методы сопряженных градиентов. Однако их заведомо низкая скорость сходимости в условиях невыпуклости минимизируемых функционалов не позволяет считать вопрос решенным.
О методе Франка-Вульфа также нельзя сказать, что он подходит для широкого круга решения задач. Он предназначен для решения задач с линейной системой ограничений и нелинейной целевой функцией. Да, в действительности он поможет решить задачи с квадратичной целевой функцией, возможно его применение и для решения задач с целевыми функциями немного другого вида, но метод наискорейшего спуска способен обеспечить более высокую надежность в сравнении со всеми остальными градиентными методами оптимизации, применяемых в различных отраслях деятельности человека. Одним из главных преимуществ этой методики связано прежде всего с его устойчивостью.
Необходимо также отметить, что выбор правильной математической модели для проектирования любого процесса, который возможно прогнозировать в той или иной степени, обеспечит не только скорейшее его выполнение, но и экономию ресурсов, грамотное их применение, а также поможет избежать несчастных случаев на производстве и человеческих жертв.
Список использованных источников
Градиентные методы – Википедия [Электронный ресурс]. – Режим доступа : https://ru.wikipedia.org/wiki/Градиентные_методы, свободный. – Загл. с экрана.
Акулич И.Л. Математическое программирование в примерах и задачах: Учеб. пособие для студентов эконом. спец. вузов. — М.: Высш. шк., 1986, 423 с.
Харчистов Б.Ф. Методы оптимизации: Учебное пособие. - Таганрог: Изд-во ТРТУ, 2004. - 140с.
Н. Ш. Кремер, Б. А. Путко, И. М. Тришин, М. Н. Фридман ; под ред. Н. Ш. Кремера. Исследование операций в экономике — 3-е изд., перераб. и доп. — М. : Издательство Юрайт ; ИД Юрайт, 2013. — 438 с.
Реутов, А.А. Методы оптимизации в инженерных расчетах: учеб. пособие. - Брянск: БГТУ, 2004. - 112 с.
Алексеева Е. В., Кутненко О. А., Плясунов А. В. Численные методы оптимизации: Учеб. пособие / Новосиб. ун-т. Новосибирск, 2008. 128 с.
Черпоруцкий И. Г.Методы принятия решений. — СПб.: БХВ-Петербург, 2005. —416 с.
Оптимизация решений на основе методов и моделей мат. программирования: Учеб. пособие по курсу “Системный анализ и исследование операций” для студ. спец. “Автоматизированные системы обработки информации” дневной и дистанционной форм обучения / С.С. Смородинский, Н.В. Батин. - Мн.: БГУИР, 2003.- 136 с.
12
2 Акулич И.Л. Математическое программирование в примерах и задачах: Учеб. пособие для студентов эконом. спец. вузов. — М.: Высш. шк., 1986, 423 с.
3 Харчистов Б.Ф. Методы оптимизации: Учебное пособие. - Таганрог: Изд-во ТРТУ, 2004. - 140с.
4 Н. Ш. Кремер, Б. А. Путко, И. М. Тришин, М. Н. Фридман ; под ред. Н. Ш. Кремера. Исследование операций в экономике — 3-е изд., перераб. и доп. — М. : Издательство Юрайт ; ИД Юрайт, 2013. — 438 с.
5 Реутов, А.А. Методы оптимизации в инженерных расчетах: учеб. пособие. - Брянск: БГТУ, 2004. - 112 с.
6 Алексеева Е. В., Кутненко О. А., Плясунов А. В. Численные методы оптимизации: Учеб. пособие / Новосиб. ун-т. Новосибирск, 2008. 128 с.
7 Черпоруцкий И. Г.Методы принятия решений. — СПб.: БХВ-Петербург, 2005. —416 с.
8 Оптимизация решений на основе методов и моделей мат. программирования: Учеб. пособие по курсу “Системный анализ и исследование операций” для студ. спец. “Автоматизирован¬ные системы обработки информации” дневной и дистанционной форм обучения / С.С. Смородинский, Н.В. Батин. - Мн.: БГУИР, 2003.- 136 с.
Вопрос-ответ:
Какие методы оптимизации градиентного спуска существуют?
Существуют различные методы оптимизации градиентного спуска, включая методы наискорейшего спуска, метод Коши, метод покоординатного спуска Гаусса-Зейделя, метод сопряженных градиентов, метод Франка-Вульфа и другие.
Что представляет собой метод наискорейшего спуска?
Метод наискорейшего спуска - это метод оптимизации, в котором на каждой итерации выбирается направление поиска, совпадающее с антиградиентом целевой функции в текущей точке. Затем оптимизируется функция одной переменной вдоль выбранного направления, чтобы получить новую точку для следующей итерации.
Как работает метод покоординатного спуска Гаусса-Зейделя?
Метод покоординатного спуска Гаусса-Зейделя - это метод оптимизации, в котором на каждой итерации оптимизируется только одна переменная из набора переменных целевой функции. Оптимизация происходит путем минимизации функции одной переменной со всеми остальными переменными, зафиксированными на значении из предыдущей итерации.
Как работает метод сопряженных градиентов?
Метод сопряженных градиентов - это метод оптимизации, который используется для решения задач оптимизации безусловной минимизации функции. Он комбинирует направления градиента и предыдущие направления для поиска оптимального решения. Метод сопряженных градиентов позволяет сократить число итераций, необходимых для достижения точки минимума.
Что такое метод Франка-Вульфа?
Метод Франка-Вульфа - это метод численной оптимизации, который используется для решения задачи условной минимизации функции. Он комбинирует метод градиентного спуска с линейным поиском вдоль направления антиградиента и метод проекции на множество ограничений, чтобы найти оптимальное решение, удовлетворяющее ограничениям.
Какие есть методы оптимизации градиентного спуска?
Существует несколько методов оптимизации градиентного спуска, включая метод наискорейшего спуска, метод Коши, метод покоординатного спуска Гаусса-Зейделя, метод сопряженных градиентов и метод Франка-Вульфа.
Что такое метод наискорейшего спуска?
Метод наискорейшего спуска - это метод оптимизации, в котором на каждой итерации поискается точка, в которой функция достигает минимального значения по направлению антиградиента.
Как работает метод Коши в градиентном спуске?
Метод Коши в градиентном спуске - это модификация метода наискорейшего спуска, в котором шаг оптимизации выбирается таким образом, что он минимизирует функцию только в направлении антиградиента, при этом используется постоянный шаг.
Чем отличается метод покоординатного спуска Гаусса-Зейделя от других методов?
Метод покоординатного спуска Гаусса-Зейделя - это метод, в котором оптимизация выполняется последовательно по координатам переменных, а не по всем переменным одновременно. Это позволяет улучшить сходимость метода и сократить количество итераций.