Обязательно учите!

• • Назад
  • Бухгалтерский учет
  • Алгоритмы
  • Android
  • Блокчейн
  • Business Analyst
  • Веб-сайт сборки
  • CCNA
  • Облачные вычисления
  0005
  • COBOL 9000 Compiler
    0005
    9000 Встроенный COBOL 9000 Дизайн 9000
    • Ethical Hacking
    • Учебные пособия по Excel
    • Программирование на Go
    • IoT
    • ITIL
    • Jenkins
    • MIS
    • Сетевые подключения
    • Операционная система
    • Назад
    Управление проектами Обзоры
    • Salesforce
    • SEO
    • Разработка программного обеспечения
    • VBA

  • Big Data

    • • Назад
      • AWS
      • BigData
      • Cassandra
      • Cognos
      • Хранилище данных
      0005
      • MicroStrategy
  .

  Нейронные сети I: Обозначения и строительные блоки | автор: Пабло Руис

  

  Эта серия сообщений о нейронных сетях является частью коллекции заметок во время Facebook PyTorch Challenge, предшествующего программе Deep Learning Nanodegree в Udacity.

  1. Нейроны
  2. Соединения
  3. Слои — нейроны и соединения

  3.1 Слои нейронов

  3.2. Слои соединений — Пример PyTorch

  4.Неоднозначность обозначений: Y = X · W vs Wt · X

  Нейроны являются строительными блоками в нейронных сетях.

  В конце концов, нейронные сети — это просто агрегация нейронов, работающих вместе для достижения одной и той же цели, которая обычно заключается в выполнении заданной задачи с минимально возможной ошибкой.

  Из-за представления графа, которое мы используем для нейронных сетей, как показано на рисунке 1, нейроны также получают имена узлов, поскольку каждый из них соответствует одному уникальному узлу в представлении графа.Представление графа используется не только для того, чтобы иметь простой способ взглянуть на эти сети, но также является фундаментальным аспектом того, как мы вычисляем операции, которые происходят на практике. Это рассматривается в более продвинутом разделе «Графический подход» и выходит за рамки этого раздела.

  Рисунок 1. Графическое представление нейронной сети

  Просто взглянув на рисунок 1, мы можем интуитивно догадаться о следующем разделе, наблюдая, что нейроны, кажется, организованы в слои, которые располагаются один за другим.Однако сначала давайте подробно рассмотрим одну сеть и оценим, насколько они близки к реальным биологическим нейронам.

  На рисунке 2 мы просто случайным образом выбрали один нейрон из сети и смотрим на различные части, из которых он состоит. Этот нейрон, на который указывает увеличительное стекло, будет соответствовать второй сети в биологическом представлении поверх нее.

  Какие части мы наблюдаем?

  Коллектор

  Я назвал его коллектором, так как его функция — агрегировать входящие соединения из других сетей.В биологических терминах это известно как синаптические связи. Обратите внимание, что математическим эквивалентом агрегирования является суммирование. Мы увидим, что это суммирование не просто суммирование всех соединений, но они будут взвешены, что означает, что каждое соединение будет иметь различную «важность» для коллектора.

  Активатор

  Активация полученного сигнала, агрегированного в коллекторе, — это процесс, происходящий внутри тела сети. Пока неясно, как лучше представить этот процесс, и в глубоком обучении он моделируется так называемой функцией активации .Эти функции могут различаться по форме, но они просто применяют функцию к сигналу, передаваемому сборщиком. Эти функции являются нелинейными, поскольку активатор — единственная часть нейрона (или сети), где мы могли бы ввести возможность изучения нелинейных отображений, которые требуются для подавляющего большинства реальных сценариев.

  Дистрибьютор

  После своего имени распределитель просто собирает сигнал после активатора и отправляет его с равной интенсивностью остальным нейронам, к которым подключен нейрон, которому он принадлежит.В графическом представлении нейронных сетей это означает для каждого отдельного нейрона следующего слоя сложенных нейронов.

  Рисунок 2. Биологический нейрон и искусственный нейрон

  Связи между разными нейронами представлены ребром, соединяющим два узла в графическом представлении искусственной нейронной сети. Они называются весов и обычно представлены как wij . Веса в нейронной сети — это частный случай параметров любой параметрической модели.

  Как показано на рисунке 3, мы можем дать номер каждому нейрону, составляющему каждый слой. Субиндекс весов показывает, какие нейроны связаны. Следовательно, wij означает соединение, установленное между нейроном i в предыдущем слое, с нейроном j в заднем слое.

  Более эффективный математический способ представить все связи между двумя уровнями — собрать их в матрицу весов , W .Эта матрица будет иметь вид:

  Где l представляют индекс слоя для этих весов. N — это количество нейронов в предыдущем слое, а M — количество нейронов в следующем слое. Следовательно, количество строк определяется количеством нейронов первых слоев, тогда как количество столбцов определяется количеством нейронов во втором слое, которое, конечно, не обязательно должно быть одинаковым. Для простоты индекс -1 на рисунке 3 опущен.

  Рисунок 3. Связи нейронов между 2 слоями

  Чтобы иметь более четкое представление о матрице весов, давайте дадим имя входам в сеть и посмотрим, что представляют собой строки и столбцы матрицы.

  Входные данные на рис. 4 можно представить как, например, количество часов, потраченных на изучение теории, и количество часов, потраченных на выполнение упражнений. Результатом модели может быть вероятность сдать экзамен. Следовательно, мы должны ввести переменные x1 и x2 , которые можно упростить как вектор ввода X .

  Рис. 4. Вычисление выходных данных слоя

  Путем матричного умножения мы видим, как входные данные умножаются на каждый из весов для получения выходных данных H (после скрытого), количество измерений которого соответствует количеству нейронов этого скрытого слоя (подробнее о слоях мы поговорим в следующем разделе). В данном случае h2 , h3 , h4 .

  Рисунок 5. Матрица весов

  Давайте более внимательно рассмотрим матрицу весов.На рисунке 5 мы могли видеть, что каждый столбец на самом деле представляет собой коллектор каждого из нейронов более позднего слоя. Следовательно, каждая строка представляет собой распределителя каждого нейрона в предыдущем слое.

  Мы уже рассказали, как искусственные нейроны группируются в слои. Каждый нейрон определенного слоя получает сигнал для каждого отдельного нейрона слоя перед слоем, которому он принадлежит, и посылает сигнал каждому нейрону на следующий уровень.

  Слои нейронов

  Рисунок 6.Слои искусственной нейронной сети

  Слой слов в глубоком обучении затем используется для вызова каждого из сложенных агрегатов нейронов. После рисунка 6 первый уровень обычно называется входным. Это связано с тем, что это уровень, который вводит входы в сеть для инициализации прямого прохода, как показано на рисунке 4. Последний уровень получает имя выходного уровня. Интуитивно он предоставит результат всех вычислений, выполненных каждым из нейронов на входах.Все промежуточные слои между входным и выходным слоями называются скрытыми слоями. Эти слои выполняют так называемое репрезентативное обучение, создавая иерархическое представление характеристик данных. Термин глубокое обучение появился после использования множества скрытых слоев, уступая место более глубоким сетям с точки зрения большого количества этих уровней.

  Уровни соединений

  В некоторых случаях слово «слой» также используется для обозначения уровня весов сети.Следовательно, мы могли бы иметь два представления сложенных объектов в сети, как показано на рисунке 7.

  Левая часть представляет собой классические слои нейронов. Правая сторона представляет уровни соединений, где каждый представляет матрицу весов, которая инкапсулирует параметры этого конкретного уровня.

  Было бы полезно иметь это в виду, поскольку, когда мы реализуем наши сети, например, в PyTorch, мы обычно определяем количество скрытых единиц, которые подключаются между двумя слоями нейронов.Таким образом, мы даем размеры весовой матрицы и следуем представлению правой части. В этом случае нейронная сеть с глубокой прямой связью в PyTorch реализована как:

  Рисунок 7. Слои нейрона в сравнении со слоями весов

  На рисунке 8 представлены выходные данные вышеупомянутой сети, использованной на рисунках, реализованных в PyTorch . Мы просто передали входные и выходные размеры и список, где каждая запись — это количество нейронов в каждом из скрытых слоев (2, 2, [3,3]) .

  Рисунок 8. Реализация сети

  в PyTorch Обратите внимание, что когда мы просто вызываем сеть по network , PyTorch печатает представление, которое понимает слои как уровни соединений! Как показано в правой части рисунка 7. Количество скрытых слоев согласно PyTorch равно 1, что соответствует W2 , вместо 2 слоев по 3 нейрона, что соответствует Hidden Layer 1, и Hidden Layer. 2 .

  Очень распространенная двусмысленная нотация в глубоком обучении заключается в том, как математически представить произведение между входными данными и весами для получения выходных данных или скрытого представления на любом конкретном уровне.

  Прежде всего, независимо от того, в каком виде вывод будет одинаковым, если они используются правильно. Разница между ними заключается в том, как понимаются переменные (векторы), между горизонтальным вектором или вертикальным вектором.

  4.1. Y = Wt * X

  В тех случаях, когда мы видим транспонирование матрицы весов перед входным вектором, это означает, что векторы представлены как векторы-столбцы. Причина, по которой это обозначение так часто встречается, особенно в контексте, когда нейронные сети рассматриваются исключительно как статистические модели черного ящика, заключается в том, чтобы следовать обозначениям остальных моделей в литературе.

  В конце концов, нейронные сети — всего лишь еще один инструмент для так называемой аппроксимации кривой . Это означает, что мы пытаемся найти модель, которая лучше соответствует распределению данных, и, конечно же, нейронные сети не были первыми моделями, использованными для решения этой задачи. Модель линейной регрессии — это простейшая форма этого упражнения, как показано на рисунке 9 для случая двухмерных входов, как в сети, показанной на рисунке 7.

  Рисунок 9. Аппроксимация кривой для 2D входного пространства

  Выражение для поиска этого Surface будет начинаться с некоторых неизвестных коэффициентов, которые «взвешивают» входные значения:

  Для простоты мы опускаем собственный член смещения b .

  Суть в том, что коэффициенты обычно помещаются перед переменной, к которой они привязаны.

  Звучит знакомо, правда? Мы могли бы представить это уравнение с помощью очень простой нейронной сети, как на рисунке 10.

  Рисунок 10. Подгонка поверхности 2D NN

  Мы также опускаем второй подиндекс весов, поскольку существует только один коллектор.

  Теперь, если мы понимаем входные данные как вектор-столбец из двух записей, компоненты этих сетей будут:

  Таким образом, результирующее уравнение для вычисления выходных данных будет:

  Чтобы продолжить более сложный пример, для нашего сети на рисунке 7 скрытые значения после первого скрытого слоя (без каких-либо смещений и активаций) будут:

  4.2. Y = X * W

  Другая возможность найти прямой проход нейронных сетей в литературе — с входными переменными, предшествующими весовой матрице без какого-либо транспонирования.

  Естественно, это противоположный способ понимания переменных. На этот раз в виде вектора-строки, и поэтому:

  На мой взгляд, такой способ выглядит более естественным.

  Как люди, мы очень привыкли к табличным данным, где мы обычно придаем столбцам значение измерений и значение различных записей (или наблюдений) для строк.Таким образом, аналогия представления табличной информации, показанная на рисунке 11, очень проста.

  Рисунок 11. Табличные данные в векторном представлении строк

  На рисунке 11 каждый столбец представляет реальную вещь в реальном мире. x1 могут быть часы, потраченные на изучение теории к экзамену, а x2 — часы, потраченные на выполнение упражнений. Эта модель может попытаться предсказать оценку, которую получит ученик. Знак # — это не столбец, а индекс и просто означает, что каждый студент спрашивает, как он распределяет свои учебные часы.

  Более подробно в этих постах мы поговорим подробнее о размере партии. Пакет просто означает, что вместо того, чтобы выбирать по одному студенту за раз, мы выбираем больше для выполнения того же прямого прохода в сетях. Зеленая рамка представляет размер партии 1.

  .

  Установить обозначение

  Различные способы записи или определения набора называются нотацией набора. Однако что такое набор? Начнем с определения множества.

  По сути, все, что связано с коллекцией объектов, является набором. Вот пример набора, состоящего из нечетных и четных целых чисел меньше 10.

  Теперь вы можете почувствовать, что легко можете составить наши собственные наборы. Вы можете быть удивлены, из чего можно сделать набор. В принципе, любые коллекции вещей, которые имеют смысл.

  Примеры наборов:

  1. Набор всех букв современного английского алфавита.

  Что входит в этот набор? a, b, c, d, e, f и т. д.

  2. Набор всех великих математиков прошлого.

  Что входит в этот набор? Мы могли бы упомянуть такие имена, как Карл Гаусс, Исаак Ньютон, Эйнштейн, Блез Паскаль, Евклид, Пьер де Ферма и т.д …

  3. Множество всех положительных чисел меньше 10.

  Что входит в этот набор? 1, 2, 3, 4, 5, 6, 7, 8, 9

  4. Набор всех видов колбас.

  Что входит в этот набор? Я не уверен, так как достаточно осведомлен в этой области. Я знаю итальянскую колбасу и ???. Что еще? Я что-то пропустил?

  5. Набор всех штатов США.

  О, мальчик. География! Знаешь что? Думаю, вы поняли. Поясним теперь, что такое обозначение множества.

  Обозначение набора или способы определения набора

  а. Вы можете определить набор с помощью словесного описания : Все вышеперечисленные наборы описываются словесно, когда мы говорим: «Набор всех бла-бла-бла»

  b. Вы можете составить список , содержащий всех элементов, разделенных запятыми и фигурными скобками {и}: Список набора 1. записывается как: {a, b, c, d, e, f, …., z}

  с. Обозначение конструктора наборов :

  Набор 1 и набор 4 можно записать как {x / x — буква современного английского алфавита} и {x / x — это тип колбасы}

  {x / x — буква современного английского алфавита} читается: «Множество всех x таких, что x — это буква современного английского алфавита.

  Конструктор множеств — важное понятие в системе обозначений. Вы должны это понять!

  Для обозначения множеств мы используем заглавные буквы, такие как A, B и т. Д.

  Например, вы можете позволить A быть набором всех положительных чисел меньше 10.

  Мы используем символ ∈ , чтобы указать, что объект принадлежит набору, и символ ∉ , чтобы указать, что объект не принадлежит набору.

  Например, если A — это набор всех положительных чисел меньше 10, то 2 ∈ A, но 12 ∉ A

  Набор, в котором нет элементов, называется пустым набором и обозначается {} или ∅

  Например, {x / x — это человек, проживший 10 000 лет} — это пустое множество, потому что невозможно найти хотя бы одного человека, который прожил так долго.

  Два набора равны, если они имеют точно такие же элементы.

  Например, {x / x — число от большего 1 до меньше 5}, а {2, 3, 4} — равные множества.
  

  Тонкости с заданными обозначениями.

  Два набора по-прежнему равны, даже если один и тот же элемент указан дважды

  {2, 3, 4} и {2, 3, 3, 4} равны

  Порядок элементов в наборах не имеет значения

  {2, 3 , 4} = {2, 3, 3, 4} = {4, 3, 2}

  Конечное и бесконечное множество :

  Набор является конечным, если вы можете перечислить все его элементы, и бесконечным в противном случае.

  Все описанные выше наборы конечны, потому что вы можете перечислить или подсчитать все их элементы.

  Однако из пяти наборов один можно превратить в бесконечный набор с одним небольшим изменением. Этому набору присвоено число 3.

  Если я избавлюсь от слова «положительный» и скажу вместо него «набор всех чисел меньше 10», набор теперь станет бесконечным, потому что вы не можете сосчитать все эти числа меньше 10.

  Установить нотацию викторины. Проверьте, насколько хорошо вы понимаете этот урок.

  Новые уроки математики

  Ваша электронная почта в безопасности.Мы будем использовать его только для информирования вас о новых уроках математики.

  .