Adam [1] — это адаптивный алгоритм оптимизации скорости обучения, разработанный специально для обучения глубоких нейронных сетей. Впервые опубликованный в 2014 году, Адам был представлен на очень престижной конференции для практиков глубокого обучения — ICLR 2015. В документе содержались некоторые очень многообещающие диаграммы, демонстрирующие огромный прирост производительности с точки зрения скорости обучения. Однако через некоторое время люди начали замечать, что в некоторых случаях Адам действительно находит худшее решение, чем стохастический градиентный спуск.Много исследований было сделано для решения проблем Адама.

Алгоритмы используют возможности методов адаптивных скоростей обучения, чтобы найти индивидуальные скорости обучения для каждого параметра. Он также имеет преимущества Adagrad [10], который действительно хорошо работает в условиях с редкими градиентами, но борется за невыпуклую оптимизацию нейронных сетей, и RMSprop [11], который решает некоторые проблемы Adagrad и работает действительно ну в настройках он-лайн. Популярность Адама растет в геометрической прогрессии, согласно статье Андрея Карпати «Взгляд на тенденции в машинном обучении».

В этой статье я сначала представлю алгоритм Адама, представленный в оригинальной статье, а затем пройдусь по последним исследованиям, которые демонстрируют некоторые потенциальные причины, по которым алгоритмы работают хуже, чем классический SGD в некоторых областях, и предоставляют несколько решений, которые сужают разрыв между SGD и Адамом.

Адама можно рассматривать как комбинацию RMSprop и Stochastic Gradient Descent с импульсом. Он использует квадратные градиенты для масштабирования скорости обучения, как RMSprop, и использует преимущество импульса, используя скользящее среднее значение градиента, а не сам градиент, как SGD с импульсом.Давайте подробнее рассмотрим, как это работает.

Адам — ​​это метод адаптивной скорости обучения, то есть он рассчитывает индивидуальные скорости обучения для различных параметров. Его название происходит от адаптивной оценки моментов, и причина, по которой он назван, заключается в том, что Адам использует оценки первого и второго моментов градиента, чтобы адаптировать скорость обучения для каждого веса нейронной сети. Теперь, что такое момент? N-й момент случайной величины определяется как ожидаемое значение этой переменной в степени n.Более формально:

Впервые может быть довольно сложно понять эту идею, поэтому, если вы не поймете ее полностью, вам все равно придется продолжать, вы все равно сможете понять, как работают алгоритмы. Обратите внимание, что градиент функции стоимости нейронной сети можно считать случайной величиной, поскольку он обычно оценивается на некотором небольшом случайном пакете данных. Первый момент — среднее значение, а второй момент — нецентрированная дисперсия (то есть мы не вычитаем среднее значение при расчете дисперсии).Позже мы увидим, как мы используем эти значения, сейчас мы должны решить, как их получить. Для оценки моментов Адам использует экспоненциально скользящие средние, вычисленные по градиенту, оцененному в текущей мини-партии:

Где m и v — скользящие средние, g — градиент текущей мини-партии, а бетас — новые введенные гиперпараметры алгоритма. Они имеют действительно хорошие значения по умолчанию 0,9 и 0,999 соответственно. Почти никто никогда не меняет эти значения.Векторы скользящих средних инициализируются нулями на первой итерации.

Чтобы увидеть, как эти значения соотносятся с моментом, определенным как в первом уравнении, давайте посмотрим на ожидаемые значения наших скользящих средних. Так как m и v являются оценками первого и второго моментов, мы хотим иметь следующее свойство:

Ожидаемые значения оценщиков должны равняться параметру, который мы пытаемся оценить, как это бывает, параметр в нашем случае также является ожидаемое значение.Если бы эти свойства сохранялись, это означало бы, что у нас есть объективных оценок . (Чтобы узнать больше о статистических свойствах различных оценщиков, обратитесь к книге глубокого обучения Яна Гудфеллоу, глава 5 «Основы машинного обучения»). Теперь мы увидим, что это не относится к нашим скользящим средним. Поскольку мы инициализируем средние значения нулями, оценки смещены к нулю. Докажем, что для m (доказательство для v было бы аналогичным). Чтобы доказать, что нам нужно сформулировать m до самого первого градиента.Давайте попробуем развернуть пару значений m, чтобы увидеть шаблон, который мы будем использовать:

Как вы можете видеть, чем дальше мы расширяем значение m, тем меньше первых значений градиентов вносят вклад в общее значение , поскольку они умножаются на все меньше и меньше бета. Получив этот шаблон, мы можем переписать формулу для нашего скользящего среднего:

Теперь давайте посмотрим на ожидаемое значение m, чтобы увидеть, как оно соотносится с истинным первым моментом, поэтому мы можем исправить несоответствие двух :

В первом ряду мы используем нашу новую формулу для скользящего среднего, чтобы расширить m.Далее мы приближаем g [i] с помощью g [t]. Теперь мы можем вывести его из суммы, поскольку теперь оно не зависит от меня. Поскольку приближение имеет место, ошибка C появляется в формуле. В последней строке мы просто используем формулу для суммы конечного геометрического ряда. Из этого уравнения следует отметить две вещи.

1. У нас есть предвзятая оценка. Это относится не только к Адаму, но и к алгоритмам, использующим скользящие средние (SGD с импульсом, RMSprop и т. Д.).
2. Это не будет иметь большого эффекта, если это не начало обучения, потому что значение бета в силу t быстро стремится к нулю.

Теперь нам нужно исправить оценщик, чтобы ожидаемое значение было тем, которое нам нужно. Этот шаг обычно называют коррекцией смещения. Окончательные формулы для нашей оценки будут следующими:

Осталось только использовать эти скользящие средние для индивидуального масштабирования скорости обучения для каждого параметра. То, как это делается в Adam, очень просто, чтобы выполнить обновление веса, мы делаем следующее:

Где w — вес модели, eta (похоже на букву n) — размер шага (он может зависеть от итерации).И это все, это правило обновления для Адама. Некоторым людям легче понять такие концепции в коде, поэтому вот возможная реализация Адама на python:

Есть два небольших варианта Адама, которых я не вижу на практике, но они реализованы в основном глубоко рамки обучения, поэтому стоит кратко их упомянуть.

Первый, называемый Adamax , был представлен авторами Адама в той же статье. Идея Adamax состоит в том, чтобы рассматривать значение v как норму L2 отдельных текущих и прошлых градиентов.Мы можем обобщить его до правила обновления Lp, но оно становится довольно нестабильным при больших значениях p. Но если мы используем специальный случай нормы L-бесконечности, это приводит к удивительно стабильному и хорошо работающему алгоритму. Вот как реализовать Adamax с помощью python:

Второй немного сложнее понять, он называется Надам [6]. Надам был опубликован Тимоти Дозатом в газете «Включение Нестерова Импульса в Адама». Как следует из названия, идея состоит в том, чтобы использовать термин импульса Нестерова для первых скользящих средних.Давайте рассмотрим правило обновления SGD с импульсом:

Как показано выше, правило обновления эквивалентно выполнению шага в направлении вектора импульса и затем шагу в направлении градиента. Однако шаг импульса не зависит от текущего градиента, поэтому мы можем получить более качественное направление шага градиента, обновив параметры с шагом импульса перед вычислением градиента. Для этого мы модифицируем обновление следующим образом:

Итак, с ускоренным импульсом Нестерова мы сначала делаем большой прыжок в направлении предыдущего накопленного градиента, а затем измеряем градиент, в котором мы оказались, чтобы сделать коррекцию. В лекционных заметках cs231n есть отличная визуализация:

Тот же метод можно включить в Адама, изменив первое скользящее среднее на ускоренный импульс Нестерова. Здесь можно применить одну вычислительную хитрость: вместо обновления параметров, чтобы сделать шаг импульса и изменить обратно, мы можем достичь того же эффекта, применяя шаг импульса временного шага t + 1 только один раз, во время обновления предыдущего временного шага. т вместо т + 1.Используя этот трюк, реализация Надама может выглядеть следующим образом:

Здесь я перечислю некоторые свойства Адама, для доказательства того, что они истинны, обратитесь к статье.

1. Фактический размер шага, принятый Адамом в каждой итерации, приблизительно ограничен гиперпараметром размера шага. Это свойство добавляет интуитивное понимание к предыдущему гиперпараметру скорости неинтуитивного обучения.
2. Размер шага правила обновления Адама не зависит от величины градиента, что очень помогает при прохождении областей с крошечными градиентами (такими как седловые точки или овраги).В этих областях SGD пытается быстро перемещаться по ним.
3. Adam был разработан, чтобы объединить преимущества Adagrad, который хорошо работает с разреженными градиентами, и RMSprop, который хорошо работает в онлайн-настройках. Наличие обоих из них позволяет нам использовать Адама для более широкого круга задач. Адама также можно рассматривать как комбинацию RMSprop и SGD с импульсом.

Когда Адам был впервые представлен, люди были очень взволнованы его силой. Бумага содержала несколько очень оптимистичных диаграмм, показывающих огромный прирост производительности с точки зрения скорости обучения:

Затем бумага Надама представила диаграммы, которые показали еще лучшие результаты:

Однако через некоторое время люди начали отмечая, что, несмотря на превосходное время обучения, Адам в некоторых областях не сходится к оптимальному решению, поэтому для некоторых задач (таких как классификация изображений в популярных наборах данных CIFAR) современные результаты все еще достигаются только при применении SGD с импульсом ,Более того, Wilson et. [9] показали в своей статье «Предельное значение адаптивных градиентных методов в машинном обучении», что адаптивные методы (такие как Адам или Ададелта) не обобщают так же, как SGD с импульсом при тестировании на разнообразном наборе задач глубокого обучения, отговаривать людей использовать популярные алгоритмы оптимизации. С тех пор было проведено много исследований, чтобы проанализировать плохое обобщение Адама, пытающегося заставить его сократить разрыв с SGD.

Нитиш Шириш Кескар и Ричард Сошер в своей статье «Повышение производительности обобщения путем переключения с Адама на SGD» [5] также показали, что, переключаясь на SGD во время обучения, они смогли получить лучшую мощность обобщения, чем при использовании одного Адама. ,Они предложили простое исправление, которое использует очень простую идею. Они заметили, что на более ранних этапах обучения Адам все еще опережает SGD, но позже обучение насыщается. Они предложили простую стратегию, которую они назвали SWATS , в которой они начинают обучать глубокую нейронную сеть с Адамом, но затем переключаются на SGD, когда достигаются определенные критерии. Им удалось достичь результатов, сопоставимых с SGD с импульсом.

Одна важная вещь при выяснении того, что не так с Адамом, заключалась в анализе его конвергенции.Авторы доказали, что Адам сходится к глобальному минимуму в выпуклых настройках в их оригинальной статье, однако, несколько статей позже обнаружили, что их доказательство содержало несколько ошибок. Block et. Я [7] утверждал, что они обнаружили ошибки в исходном анализе сходимости, но все же доказал, что алгоритм сходится и предоставил доказательства в своей статье. Еще одна недавняя статья от сотрудников Google была представлена ​​на ICLR 2018 и даже получила награду за лучшую статью. Чтобы углубиться в их работу, я должен сначала описать структуру, используемую авторами Адама для доказательства того, что она сходится для выпуклых функций.

В 2003 году Мартин Зинкевич представил задачу онлайн-выпуклого программирования [8]. В представленных настройках мы имеем последовательность выпуклых функций c1, c2 и т. Д. (Функция потери выполняется в i-й мини-партии в случае глубокой оптимизации обучения). Алгоритм, решающий проблему (Адам) в каждой временной метке t, выбирает точку x [t] (параметры модели) и затем получает функцию потерь c для текущей временной метки. Этот параметр приводит к множеству реальных проблем, например, читайте введение в статью.Чтобы понять, насколько хорошо работает алгоритм, значение сожаления алгоритма после T раундов определяется следующим образом:

, где R — сожаление, c — функция потерь в t-й мини-партии, w — вектор параметров модели (весов), а w star — оптимальное значение вектора весов. Наша цель — доказать, что сожаление об алгоритме R (T) = O (T) или меньше, что означает, что в среднем модель сходится к оптимальному решению. Мартин Зинкевич в своей работе доказал, что градиентный спуск сходится к оптимальным решениям в этой постановке, используя свойство выпуклых функций:

Тот же подход и структура использовали авторов Адама, чтобы доказать, что их алгоритм сходится к оптимальным решениям. Редди и соавт. [3] обнаружили несколько ошибок в своем доказательстве, главная из которых заключается в значении, которое отражено в работах Адама и Совершенствования Адама, подтверждающих сходимость:

Где V определяется как абстрактная функция, которая масштабирует скорость обучения для параметров, которые различаются для каждый отдельный алгоритм. Для Адама это скользящие средние градиентов прошлого квадрата, для Адаграда это сумма всех градиентов прошлого и текущего, для SGD — всего 1.Авторы обнаружили, что для того, чтобы доказательство сработало, это значение должно быть положительным. Легко видеть, что для SGD и Адаграда это всегда положительно, однако для Адама (или RMSprop) значение V может действовать неожиданно. Они также представили пример, в котором Адам не может сходиться:

Для этой последовательности легко увидеть, что оптимальное решение — x = -1, однако, как показывают авторы, Адам сходится к крайне неоптимальному значение x = 1. Алгоритм получает большой градиент C один раз каждые 3 шага, и в то время как другие 2 шага он наблюдает градиент -1, который перемещает алгоритм в неправильном направлении.Поскольку значения размера шага часто уменьшаются с течением времени, они предложили фиксировать максимальное значение V и использовать его вместо скользящего среднего для обновления параметров. Полученный алгоритм называется Amsgrad. Мы можем подтвердить их эксперимент с этой короткой записной книжкой, которую я создал, в которой показано, что различные алгоритмы сходятся в последовательности функций, определенной выше.

Насколько это помогает на практике с реальными данными? К сожалению, я не видел ни одного случая, когда это помогло бы получить лучшие результаты, чем Адам.Филип Корзенёвский в своем посте описывает эксперименты с Амсградом, которые показывают результаты, аналогичные Адаму. Сильвен Гуггер и Джереми Ховард в своем посте показывают, что в своих экспериментах Амстердам на самом деле работает даже хуже, чем Адам. Некоторые рецензенты статьи также указали, что проблема может заключаться не в самом Адаме, а в структуре, которую я описал выше, для анализа сходимости, который не допускает значительной настройки гиперпараметров.

Илья Лощилов и Фрэнк Хаттер [4] предложили Адаму статью «Исправление регуляризации снижения веса в Адаме» [4].Эта статья содержит много вкладов и понимания Адама и снижения веса. Во-первых, они показывают, что, несмотря на распространенное мнение, регуляризация L2 не совпадает с затуханием веса, хотя она эквивалентна стохастическому градиентному спуску. Способ снижения веса был введен еще в 1988 году:

Где лямбда — гиперпараметр снижения веса для настройки. Я немного изменил обозначения, чтобы соответствовать остальной части поста. Как определено выше, снижение веса применяется на последнем этапе, при обновлении веса, штрафуя большие веса.Традиционно для SGD он реализуется через регуляризацию L2, в которой мы модифицируем функцию стоимости, чтобы она содержала норму L2 вектора весов:

Исторически методы стохастического градиентного спуска унаследовали этот способ реализации регуляризации спада веса, как и Адам , Однако регуляризация L2 не эквивалентна снижению веса для Адама. При использовании регуляризации L2 штраф, который мы используем для больших весов, масштабируется с помощью скользящего среднего от прошлого и текущего квадратов градиентов, и поэтому веса с большой типичной величиной градиента регулируются на меньшую относительную величину, чем другие веса.Напротив, снижение веса регулирует все веса одним и тем же фактором. Чтобы использовать снижение веса с Адамом, нам нужно изменить правило обновления следующим образом:

Показав, что эти типы регуляризации отличаются для Адама, авторы продолжают показывать, насколько хорошо оно работает с ними обоими. Разница в результатах очень хорошо показана на диаграмме из статьи:

На этих диаграммах показана связь между скоростью обучения и методом регуляризации.Цвет представляет высокий уровень, ошибка теста для этой пары гиперпараметров. Как мы видим выше, не только Адам с уменьшением веса получает гораздо меньшую погрешность теста, но на самом деле помогает разделить скорость обучения и гиперпараметр регуляризации. На левой картинке мы можем видеть, что если мы изменим параметры, скажем, скорость обучения, то для того, чтобы снова достичь оптимальной точки, нам также потребуется изменить коэффициент L2, показывая, что эти два параметра взаимозависимы. Эта зависимость способствует тому, что настройка гиперпараметров иногда является очень сложной задачей.На правом рисунке мы видим, что, пока мы находимся в некотором диапазоне оптимальных значений для одного параметра, мы можем изменить другой независимо.

Другой вклад автора статьи показывает, что оптимальное значение, используемое для снижения веса, на самом деле зависит от количества итераций во время тренировки. Чтобы справиться с этим фактом, они предложили простую адаптивную формулу для настройки снижения веса:

, где b — размер партии, B — общее количество тренировочных точек за эпоху, а T — общее количество эпох.Это заменяет лямбда-гиперпараметр лямбда новым лямбда-нормализованным.

Авторы даже не остановились на этом, после исправления снижения веса, они попытались применить график скорости обучения с теплыми перезапусками с новой версией Адама. Тепловые перезапуски очень помогли при стохастическом градиентном спуске, я больше об этом говорю в своем посте «Улучшение нашей работы со скоростью обучения». Но ранее Адам сильно отставал от SGD. С новым снижением веса Адам получил намного лучшие результаты с перезапусками, но он все еще не так хорош, как SGDR.

Еще одна попытка исправить Адама, которую я практически не видел на практике, предложена Zhang et. в своей работе «Нормализованный Адам, сохраняющий направление» [2]. В статье отмечены две проблемы с Адамом, которые могут вызвать худшее обобщение:

1. Обновления SGD лежат в диапазоне исторических градиентов, тогда как для Адама это не так. Это различие также наблюдалось в уже упомянутой работе [9].
2. Во-вторых, хотя величины обновлений параметров Адама не зависят от удаления накипи градиента, влияние обновлений на одну и ту же общую сетевую функцию все еще зависит от величин параметров.

Для решения этих проблем авторы предлагают алгоритм, который они называют Нормализованным сохраняющим направление Адамом. Алгоритмы настраивают Адама следующими способами. Во-первых, вместо оценки средней величины градиента для каждого отдельного параметра он оценивает среднеквадратическую норму L2 вектора градиента. Поскольку теперь V является скалярным значением, а M является вектором в том же направлении, что и W, направление обновления является отрицательным направлением m и, следовательно, находится в диапазоне исторических градиентов w.Для второго алгоритмы перед использованием градиента проецируют его на единичную сферу, а затем после обновления веса нормализуются по их норме. Для более подробной информации следуйте их статье.

Адам, безусловно, является одним из лучших алгоритмов оптимизации для глубокого обучения, и его популярность очень быстро растет. В то время как люди заметили некоторые проблемы с использованием Адама в определенных областях, исследования продолжают работать над решениями, чтобы привести результаты Адама в соответствие с SGD с импульсом.

1. Дидерик П.Кингма и Джимми Лей Ба. Адам: метод стохастической оптимизации. 2014. arXiv: 1412.6980v9
2. Zijun Zhang et al. Нормализованный сохраняющий направление Адам. 2017. arXiv: 1709.04546v2
3. Сашанк Дж. Редди, Сатьен Кале, Санджив Кумар. О сближении Адама и не только. 2018.
4. Илья Лощилов, Фрэнк Хаттер. Фиксирование регуляции распада веса в Адаме. 2017. arXiv: 1711.05101v2
5. Нитиш Шириш Кескар, Ричард Сошер. Повышение производительности генерализации путем переключения с Адама на SGD.2017 arXiv: 1712.07628v1
6. Тимоти Дозат. Включение Нестерова импульса в Адама. 2016.
7. Себастьян Бок, Йозеф Гоппольд, Мартин Вайс. Улучшение доказательства сходимости ADAM-оптимизатора. 2018. arXiv: 1804.10587в1
8. Мартин Зинкевич. Выпуклое онлайн-программирование и обобщенный бесконечно малый градиентный подъем. 2003.
9. Ашиа Уилсон, Ребекка Рулофс, Митчелл Стерн, Натан Сребро, Бенджамин Рехт. Предельная ценность адаптивных градиентных методов в машинном обучении.2017. arXiv: 1705.08292v2
10. Джон Дючи, Эльад Хазан и Йорам Сингер. Адаптивные субградиентные методы для онлайн-обучения и стохастической оптимизации. Journal of Machine Learning Research, 12: 2121–2159, 2011.
11. Тиджмен Тилеман и Джеффри Хинтон. Лекция 6.5-rmsprop: разделите градиент на скользящее среднее его недавней величины. COURSERA: нейронные сети для машинного обучения, 4 (2): 26–31, 2012.