Site Loader

Содержание

%d0%bc%d0%b8%d0%ba%d1%80%d0%be%d1%81%d1%85%d0%b5%d0%bc%d0%b0 PNG и картинки пнг | рисунок Векторы и PSD

  • 80 основных форм силуэта

    5000*5000

  • снежный человек расслабляющий кофе ретро векторная иллюстрация

    5000*5000

  • Мемфис шаблон 80 х 90 х годов стилей фона векторные иллюстрации

    4167*4167

  • злой волк очки векторные иллюстрации

    5000*5000

  • крутой лев в куртке векторная иллюстрация

    5000*5000

  • скейтборд в неоновых цветах 80 х

    1200*1200

  • современный абстрактный дизайн модных геометрических элементов

    2500*2500

  • микс ленты ретро кассеты

    1200*1200

  • Двухцветный световой эффект неонового абстрактного яркого треугольника

    1200*1200

  • 80 х годов поп арт мультфильм банановая наклейка

    8334*8334

  • номер 81 золотой шрифт

    1200*1200

  • Скидка 80 на желтый градиент

    1200*1200

  • Неоновый эффект 80 х годов Ретро вечеринка арт дизайн

    1200*1200

  • Головной мозг гипноз психология синий значок на абстрактное облако ба

    5556*5556

  • Знаки зодиака ретро векторные иллюстрации

    5000*5000

  • Буква c с логотипом дизайн вдохновение изолированные на белом ба

    1200*1200

  • Диско вечеринка в стиле ретро 80 х art word design

    1200*1200

  • бас фиш икан нила 魚 vis

    3333*1876

  • билеты в кино в 80 е годы

    1200*1200

  • милый кот с дикой природой типографика каракули иллюстрация для плаката наклейки или одежды эстетика в стиле паровой волны в стиле синтвейв 80 х годов

    1200*1200

  • милый кот с мечтателем типографика каракули иллюстрация для плаката наклейки или одежды паровая волна синтвейв эстетика 80 х годов

    1200*1200

  • Абстрактная геометрическая нерегулярная комбинация формы границы

    1200*1200

  • Ретро трехмерный цветной градиент 80 х арт дизайн

    1200*1200

  • номер 85 3d рендеринг

    2000*2000

  • Ретро мода 80 х градиент цвета художественного слова

    1200*1200

  • бесшовные красочные картины с геометрическими фигурами треугольников Мемфиса и прямоугольника формы фоновой текстуры 80 х годов 90 х годов стиль векторные иллюстрации для упаковки моды текстильной печати

    3967*3967

  • Ретро музыка вечеринка 80 современный стиль искусства слова

    1200*1200

  • мопс голова собаки красочные векторная иллюстрация

    5000*5000

  • аудио кассета плоский дизайн

    1200*1200

  • Мемфис дизайн геометрические фигуры узоры мода 80 90 х годов

    4167*4167

  • современный абстрактный дизайн модных геометрических элементов

    2500*2500

  • 80 х годов поп арт мультфильм арбуз стикер

    8334*8334

  • 3d числа 85 в круге на прозрачном фоне

    1200*1200

  • 3d числа 81 по кругу на прозрачном фоне

    1200*1200

  • Мемфис бесшовные модели 80 х 90 х стилей

    4167*4167

  • значок кассеты мультяшном стиле

    5000*5000

  • 85 лет юбилей празднования градиента вектор шаблон иллюстрации дизайн

    4167*4167

  • Золотая буква b логотип bc письмо дизайн вектор с золотыми цветами

    8334*8334

  • Модный стиль ретро 80 х годов дискотека тема искусства слово

    1200*1200

  • 80 летний юбилей дизайн шаблона векторные иллюстрации

    4083*4083

  • милая ретро девушка 80 х 90 х годов

    800*800

  • Градиент ретро 80 х годов дискотека тема слово искусство

    1200*1200

  • 80 х годов мода цвет неоновый эффект слово дизайн

    1200*1200

  • рисованной радио 80 х

    1200*1200

  • 80 е брызги краски дизайн текста

    1200*1200

  • мемфис бесшовной схеме 80s 90 все стили

    4167*4167

  • поп арт 80 х патч стикер

    3508*2480

  • в первоначальном письме векторный дизайн логотипа шаблон

    1200*1200

  • буква bc 3d логотип круг

    1200*1200

  • ретро стиль 80 х годов диско дизайн неон плакат

    5556*5556

  • %d0%bc%d0%b8%d0%ba%d1%80%d0%be%d1%81%d1%85%d0%b5%d0%bc%d0%b0 PNG рисунок, картинки и пнг прозрачный для бесплатной загрузки

  • Мемфис дизайн геометрические фигуры узоры мода 80 90 х годов

    4167*4167

  • поп арт 80 х патч стикер

    3508*2480

  • поп арт 80 х патч стикер

    3508*2480

  • Мемфис шаблон 80 х 90 х годов стилей фона векторные иллюстрации

    4167*4167

  • 80 основных форм силуэта

    5000*5000

  • green environmental protection pattern garbage can be recycled green clean

    2000*2000

  • поп арт 80 х патч стикер

    3508*2480

  • мемфис бесшовной схеме 80s 90 все стили

    4167*4167

  • поп арт 80 х патч стикер

    3508*2480

  • поп арт 80 х патч стикер

    3508*2480

  • диско дизайн в стиле ретро 80 х неон

    5556*5556

  • скейтборд в неоновых цветах 80 х

    1200*1200

  • 80 е брызги краски дизайн текста

    1200*1200

  • Мемфис бесшовные модели 80 х 90 х стилей

    4167*4167

  • пентаграмма наклейки 80 х мультик звезд мультика стикер

    2003*2003

  • be careful to slip fall warning sign carefully

    2500*2775

  • 80 летний юбилей дизайн шаблона векторные иллюстрации

    4083*4083

  • Мемфис шаблон 80 х 90 х годов на белом фоне векторная иллюстрация

    4167*4167

  • Неоновый эффект 80 х годов Ретро вечеринка арт дизайн

    1200*1200

  • поп арт 80 х патч стикер

    3508*2480

  • поп арт 80 х патч стикер

    3508*2480

  • аудиокассета изолированные вектор старая музыка ретро плеер ретро музыка аудиокассета 80 х пустой микс

    5000*5000

  • ценю хорошо как плоская цвет значок векторная icon замечания

    5556*5556

  • поп арт 80 х патч стикер

    2292*2293

  • Элементы рок н ролла 80 х

    1200*1200

  • happy singing mai ba sing self indulgence happy singing

    2000*2000

  • Диско вечеринка в стиле ретро 80 х art word design

    1200*1200

  • 80 летнего юбилея векторный дизайн шаблона иллюстрация

    4083*4083

  • Ретро трехмерный цветной градиент 80 х арт дизайн

    1200*1200

  • поп арт 80 х патч стикер

    2292*2293

  • Буква c с логотипом дизайн вдохновение изолированные на белом ба

    1200*1200

  • Ретро музыка вечеринка 80 современный стиль искусства слова

    1200*1200

  • Ретро мода 80 х градиент цвета художественного слова

    1200*1200

  • Головной мозг гипноз психология синий значок на абстрактное облако ба

    5556*5556

  • 80 х годов поп арт мультфильм банановая наклейка

    8334*8334

  • вектор скорости 80 значок

    1024*1024

  • малыш парень им значок на прозрачных ба новорожденного весы вес

    5556*5556

  • поп арт 80 х патч стикер

    3508*2480

  • мемфис образца 80 s 90 стилей на белом фоневектор иллюстрация

    4167*4167

  • поп арт 80 х патч стикер

    3508*2480

  • 85 летие векторный дизайн шаблона иллюстрация

    4083*4083

  • поп арт 80 х патч стикер

    3508*2480

  • 85 летняя годовщина векторный дизайн шаблона иллюстрация

    4083*4083

  • ретро стиль 80 х годов диско дизайн неон плакат

    5556*5556

  • 80 х годов мода цвет неоновый эффект слово дизайн

    1200*1200

  • скидки до 80 предписанию» векторный дизайн шаблона иллюстрация

    4083*4083

  • Градиент ретро 80 х годов дискотека тема слово искусство

    1200*1200

  • Модный стиль ретро 80 х годов дискотека тема искусства слово

    1200*1200

  • милая ретро девушка 80 х 90 х годов

    800*800

  • поп арт 80 х патч стикер

    3508*2480

  • Структура микросхемы МС44603 и ее работа в установившихся режимах

    — 40 —

    Приложение Б

    Структура микросхемы МС44603

    и ее работа в установившихся режимах

    Микросхема МС44603 позволяет с помощью внешних цепей задавать большое число параметров СУ. Хотя такая гибкость и достигается ценой некоторого усложнения и удорожания микросхемы, это оправдано при сложных и дорогостоящих нагрузках, работающих в нескольких режимах, таких как, например, магнитофоны, телевизоры, видеомагнитофоны.

    Установившийся, или рабочий, режим является основным. МС44603 (рисунок ПБ.1) содержит блоки, обеспечивающие режимы и связи, поддерживающие различные установившиеся режимы.

    Управление по току

    При управлении по току (рисунок ПБ.1) возможны три режима работы преобразователя: непрерывных токов, разрывных токов и граничный. Обычным для схем, управляемых по току, является первый режим, обеспечиваемый стандартным набором узлов (на рисунке ПБ.1 выделено серым цветом). Для реализации остальных в микросхему дополнительно включен блок запрета (на рисунке ПБ.1 выделено черным цветом). Условие отпирания драйвера — низкий уровень сигнала на обоих входах блока запрета при появлении сигнала от генератора. При заземлении обоих входов блока запрета работа устройства не отличается от стандартной (реализуемой в более простых, с управлением по току), и режим при заданных параметрах силовой схемы определяется частотой генератора.

    При этом возможны все три упомянутых режима. Если на вход синхронизации подать внешний сигнал, то частота будет определяться внешним или внутренним генератором (тем из них, чья частота ниже). При этом также возможны все три режима.

    Если на вход размагничивания подать сигнал от специальной обмотки реактора, то исключается режим непрерывного тока.

    Режим разрывных токов является в МС44603 основной модификацией рабочего режима. Его преимущества с точки зрения траектории переключения ключевых транзисторов несомненны, а некоторый проигрыш в габаритах фильтра легко удается компенсировать за счет повышения рабочей частоты.

    Режим разрывных токов реализуется на пониженной частоте внутреннего или внешнего генератора (при использовании внешней синхронизации). Первый из этих режимов отражен на рисунке ПБ.2а.

    В момент t0 начинается заряд внешнего конденсатора Ст, подключенного к выводу 10. При этом на выходе генератора формируется импульс, переводящий триггер-защелку  в состояние, обеспечивающее  разрешающий сигнал на соответ-

    — 41 —

    ствующем входе логического блока. Это приводит к отпиранию верхнего транзистора тотемного выхода микросхемы и силового транзистора. Ток в накопителе (и, соответственно, напряжение на выходе

    датчика тока UДТ индуктивного накопителя) линейно нарастает.

    В момент t1 (рисунок ПБ.2а) напряжение на выходе датчика тока (вывод 7, рисунок ПБ.1), равное IрkДТ, где Iр  — ток реактора, kДТ — коэффициент передачи датчика тока, сравнивается с напряжением на выходе усилителя сигнала рассогласования (УСР), и на выходе компаратора появляется сигнал, сбрасывающий триггер-защелку по R-входу. Это приводит к появлению сигнала на выходе логического блока, к запиранию верхнего и отпиранию нижнего транзистора тотемного выхода и запиранию силового транзистора. Ток в индуктивном накопителе спадает по линейному закону, передавая энергию в нагрузку через диод.

    В момент t2 (рисунок ПБ.2а) ток спадает до нуля. В это время напряжение на датчике индикатора размагничивания (на рисунке ПБ.1 это дополнительная обмотка на индуктивном накопителе), имевшее до этого положительное значение меняет знак, и на выходе блока запрета появляется сигнал, разрешающий включение силового транзистора.

    От момента t2 до окончания разряда конденсатора Ст (U10, рисунок ПБ.2) t3 силовая схема находится в режиме ожидания. При увеличении частоты генератора время ожидания уменьшается.

    Граничный режим.. Если период становится меньше разницы t2 t0, высокий уровень на входе 8 блока индикации размагничивания не позволяет переключиться силовому транзистора, и получается следующая модификация установившегося режима — граничный режим. В нем (рисунок ПБ.2б) момент включения силового транзистора определяется изменением знака на выходе датчика магнитного состояния, то есть самой силовой схемой. Частота работы схемы определяется, таким образом, параметрами силовой части конвертора и величиной нагрузки.

    Режим непрерывного тока. Если присоединить к корпусу вход 8, то запрет на включение силового транзистора до спадания к нулю тока в индуктивном накопителе будет снят, и станет возможным получение режима непрерывного тока (рисунок ПБ.2в), используемого в более простых СУ с управлением по току.

    Управление по напряжению. Хотя режим управления по напряжению не является основным для этой микросхемы, его также можно получить, если соединить с корпусом вход компаратора 3, а сигнал с датчика напряжение на нагрузке подать на вход 11 (рисунок ПБ.1). В этом случае блок управления по напряжению выполняет роль компаратора, сравнивающего сигнал обратной связи с пилообразным напряжением генератора на входе 10 (рисунок ПБ.2г).

    — 42 —

    Рисунок ПБ.1. Функциональная схема ИМС МС44603.

    Рисунок ПБ.2. Режим работы ИМС МС44603.

    — 43 —

    Приложение В


    УСЛОВНЫЕ ГРАФИЧЕСКИЕ ОБОЗНАЧЕНИЯ ЭЛЕМЕНТОВ
    ЗАРУБЕЖНЫХ БЛОКОВ ЭЛЕКТРОПИТАНИЯ

    Позиционные обозначения

    TR; VR – трансформатор

    RV; SVR; P – переменный резистор

    T; V – транзистор

              Di; V – диод

    VDR – варистор

    F – предохранитель

    CN – соединитель

    RL – реле

    IC — микросхема

    — 44 —

    Список литературы

    1.  Микросхемы для импульсных источников питания и их применение.

         Изд.ДОДЭКА,1997, 224 с.

    2.

    «CHIP NEW» №9-10 (30-31), 1998.

    3.  «CHIP NEW» ФЕВРАЛЬ 1999.

    4.  Гедзберг Ю.М. Блоки питания отечественных и зарубежных телевизоров: Справочное пособие. – М.: “Малип”. 1998. – 140 с.

    Рисунок 3.1. Принципиальная схема блока питания телевизора TVC1455

    Рисунок ПБ.1. Функциональная схема ИМС МС44603.

    Рисунок ПБ.2. Режим работы ИМС МС44603.

    1.8 Микросхема ПЗУ К573РФ6. Микропроцессорная система на базе комплекта КР580

    Похожие главы из других работ:

    4-канальный логический анализатор на PIC микроконтроллере

    2.2 Микросхема 74HC04N/D

    Микросхема 74HC04N/D содержит шесть стандартных инверторов структуры ТТЛШ. Микросхема 74HC04 по входным и выходным уровням сигналов совместима с другими ИС стандартной КМОП логики…

    Разработка печатной платы цифрового автомата

    Микросхема

    1 1,5 0,1* 10-7 5,48* 10-8 6,03* 10-7 — Коэффициент k1, учитывает механические воздействия. Он определяется объектом размещения. Выбираем для объекта «портативное»: 1…

    Синтез автоматической системы передачи кодированных сигналов

    7.4 Микросхема К561ЛЕ5

    Данная микросхема выполняет логическую операцию 2ИЛИ-НЕ. Содержит четыре логических элемента. Ее условное обозначение приведено на рисунке 7.4. Рисунок 7.4 — Микросхема К561ЛЕ5 7…

    Синтез автоматической системы передачи кодированных сигналов

    7.6 Микросхема К561ЛИ1

    Данная микросхема реализует функцию 9И, также имеется инвертор. Нумерация выводов микросхемы и ее условное обозначение приведены на рисунке 7.6. Рисунок 7.6 — Микросхема К561ЛИ1 7…

    Синтез автоматической системы передачи кодированных сигналов

    7.8 Микросхема К561ИЕ16

    Данная микросхема содержит четырнадцатиразрядный асинхронный счетчик с последовательным переносом. Сброс счетчика в нуль осуществляется импульсом положительной полярности длительностью не менее 550нс. по входу R…

    Синтез автоматической системы передачи кодированных сигналов

    7.9 Микросхема К561ИР9

    Данная микросхема содержит четырехразрядный последовательно-параллельный гистры сдвига. Регистр сдвига типа ИР9 содержит два последовательных входа J и К. Если их соединить вместе, то получится простой D-вход…

    Синтез многофункционального конечного автомата

    7.1 Микросхема К561ЛА7

    Данная микросхема выполняет логическую функцию 2И-НЕ. Содержит четыре логических элемента. Нумерация выводов микросхемы и её условное обозначение приведены на рисунке 7.1. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.2 Микросхема К561ЛА8

    Данная микросхема выполняет логическую операцию 4И-НЕ. Содержит два логических элемента. Нумерация выводов микросхемы и ее условное обозначение приведены на рисунке 7.2. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.
    3 Микросхема К561ЛА9

    Данная микросхема выполняет логическую операцию 3И-НЕ. Содержит три логических элемента. Нумерация выводов микросхемы и ее условное обозначение приведены на рисунке 7.3. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.4 Микросхема К561ЛЕ5

    Данная микросхема выполняет логическую операцию 2ИЛИ-НЕ. Содержит четыре логических элемента. Ее условное обозначение приведено на рисунке 7.4. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.5 Микросхема К561ЛЕ10

    Данная микросхема выполняет логическую функцию 3ИЛИ-НЕ. Содержит три интегральных элемента. Нумерация выводов микросхемы и ее условное обозначение приведены на рисунке 7.5. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.6 Микросхема К561ЛИ1

    Данная микросхема реализует функцию 9И, также имеется инвертор. Нумерация выводов микросхемы и ее условное обозначение приведены на рисунке 7. 6. Рисунок 7…

    Синтез многофункционального конечного автомата

    7.7 Микросхема К561ИЕ8

    Данная микросхема представляет собой счетчик по модулю 10 с дешифратором, выполнена на основе пятикаскадного высокоскоростного счетчика Джонсона и дешифратора, преобразующего двоичный код в сигнал на одном из десяти выводов…

    Синтез многофункционального конечного автомата

    7.8 Микросхема К561ИЕ10

    Данная микросхема содержит два независимых четырехразрядных двоичных счетчика с параллельным выходом. Для повышения быстродействия в ИС применен параллельный перенос во все разряды…

    Синтез многофункционального конечного автомата

    7.9 Микросхема К561ИЕ16

    Данная микросхема содержит четырнадцатиразрядный асинхронный счетчик с последовательным переносом. Сброс счетчика в нуль осуществляется импульсом положительной полярности длительностью не менее 550нс. по входу R…

    Введение в фоточувствительные интегральные микросхемы

    Добавлено 22 февраля 2021 в 19:22

    Сохранить или поделиться

    В данной статье мы продолжаем вводное обсуждение светочувствительных компонентов, которые создают выходной ток более высокой амплитуды, чем фотодиоды.

    Краткое заключение из предыдущей статьи о фототранзисторах: если в вашем приложении важными характеристиками производительности являются скорость или линейность, вы, вероятно, предпочтете использовать фотодиод вместо фототранзистора. Если скорость и линейность не особенно важны, а внутреннее усиление фототранзистора позволяет добиться значительного снижения стоимости, сложности или места на плате, вам следует подумать о фототранзисторе.

    Однако оказывается, что это не решение «или-или». Есть третий вариант. Я называю эту группу компонентов «светочувствительными интегральными микросхемами». Когда я использую этот термин, я в первую очередь имею в виду устройства, которые Hamamatsu называет «photo IC diode» (фотодиод на базе микросхемы), но он также включает в себя любой другой компонент, который объединяет фотодиод и усилитель в одном корпусе.

    Фотодиод плюс трансимпедансный усилитель

    Об этом первом типе светочувствительных интегральных микросхем мало что можно сказать. В наш век чрезвычайно сложных ИС со смешанными сигналами неудивительно, что инженеры придумали способ объединить фотодиод и трансимпедансный усилитель (TIA, transimpedance amplifier) в один компонент.

    Лучший способ узнать об этих компонентах – прочитать технические описания на те компоненты, которые вам нравятся. Например, OPT301 от Texas Instruments имеет коэффициент усиления трансимпедансного усилителя 120 дБ, полосу пропускания 4 кГц и фотодиод с режимом нулевого смещения, чувствительный к видимому, ультрафиолетовому и инфракрасному свету.

    Рисунок 1 – На схеме показана внутренняя архитектура светочувствительной микросхемы OPT301

    MLX75305 от Melexis, похоже, использует фотопроводящий режим и включает в себя дополнительную выходную схему.

    Рисунок 2 – Внутренняя архитектура датчика свет-напряжение «SensorEyeC» MLX75305 от Melexis. По-моему, это название слишком заумное

    Примером более экзотического компонента в этой категории является ADN3010-11 от Analog Devices. Он оснащен германиевым фотодиодом, в дополнение к трансимпедансному усилителю включает в себя ограничивающий усилитель и предназначен для оптической передачи данных со скоростью до 11,3 Гбит/с.

    Рисунок 3 – ADN3010-11 предназначен для детектирования света «включен/выключен» и выдает дифференциальный выходной сигнал

    Фотодиоды на базе микросхем (photo IC diode)

    Как упоминалось выше, здесь я использую терминологию Hamamatsu. Фотодиод на базе микросхемы отличается как от усилителя на основе фототранзистора, так и от компонента, совмещающего фотодиод с трансимпедансным усилителем, тем, что он не преобразует фототок в напряжение.

    Выходной сигнал фотодиода на базе микросхемы – это ток, и этот ток можно использовать практически так же, как фототок обычного фотодиода. Разница в том, что этот ток намного больше, потому что устройство включает в себя усилитель тока с большим коэффициентом усиления. Таким образом, фотодиоды избавляются от основной причины недовольства ими (то, что они создают чрезвычайно малые фототоки), не заставляя разработчика переходить на фототранзисторы.

    На следующей диаграмме показана внутренняя структура и схемная реализация фотодиода на базе микросхемы от Hamamatsu.

    Рисунок 4 – Обратите внимание, что фотодиод в этом устройстве имеет обратное смещение и, следовательно, работает в фотопроводящем режиме

    Как вы можете видеть на диаграмме, фотодиод на базе микросхемы дает усиление 1300 А/А, а компоненты с более высоким усилением от Hamamatsu обеспечивают 30 000 А/А. Увеличение амплитуды фототока в 30 000 раз значительно упрощает работу с выходным сигналом.

    Еще одним преимуществом фотодиодов на микросхемах является их способность включать в себя второй фотодиод, который может компенсировать смещения, вызванные чувствительностью к длинам волн в ближней инфракрасной области. Вычитая сигнал, генерируемый фотодиодом, который реагирует только на ближний ИК-диапазон, устройство обеспечивает спектральный отклик, который ограничен в основном видимыми длинами волн.

    Рисунок 5 – На этой схеме из технического описания S10604-200CT показан второй фотодиод, который позволяет устройству автоматически компенсировать чувствительность в ближнем ИК-диапазоне

    Формирование сигнала напряжения

    Как показано на двух предыдущих диаграммах, для формирования сигнала напряжения из выходного тока фотодиода вам не нужен трансимпедансный усилитель. Усилитель вырабатывает токовый сигнал, который можно эффективно преобразовать в полезный сигнал напряжения с помощью не более чем простого резистора. Хотя я не против разработки трансимпедансных усилителей, трудно поспорить с простотой и удобством использования только одного резистора.

    Выходной конденсатор, показанный на схемах (подключен пунктирными линиями), не важен, но рекомендуется как средство подавления нежелательных высокочастотных компонентов в выходном сигнале.

    Заключение

    У меня сложилось впечатление, что компоненты, совмещающие фотодиод с трансимпедансным усилителем, не очень популярны, и я признаю, что я не был бы склонен использовать их вместо дискретных фотодиодов с отдельной схемой трансимпедансного усилителя.

    Фотодиоды на базе микросхем кажутся намного более привлекательными. В этой статье я сосредоточился на устройствах Hamamatsu, но должно быть, по крайней мере, несколько других компаний, которые производят подобные компоненты. Единственным другим производителем, с которым я столкнулся при написании этой статьи, был ROHM, который продает аналогичное устройство и называет его «микросхема датчика окружающей освещенности с аналоговым токовым выходом» (analog current output type ambient light sensor IC). Если у вас есть опыт работы с фотодиодами на базе микросхем, или вы можете порекомендовать других производителей, не стесняйтесь делиться своими знаниями в разделе комментариев.

    Оригинал статьи:

    Теги

    Режим нулевого смещенияТрансимпедансный усилительФотодиодФотодиод на базе микросхемыФоточувствительная микросхема

    Сохранить или поделиться

    границ | Моделирование корковой микросхемы значительно быстрее, чем в реальном времени, на нейронном суперкомпьютере IBM INC-3000

    Введение

    За последние десятилетия в теоретической и экспериментальной нейробиологии был достигнут значительный прогресс, что привело к появлению огромного объема доступных знаний о биологических нейронных сетях (Sejnowski et al., 2014). Хотя динамику мозга можно разложить от долей миллисекунд (например, динамика ионных каналов клеточной мембраны) до лет (долгосрочное обучение и развитие мозга), пространственная структура мозга исследовалась на уровне синапсов. и многокомпонентные дендриты до многозонных сетей взаимосвязанных областей мозга, включающих миллионы нейронов и миллиарды синапсов.

    Исследователи в области неврологии улучшают понимание мозга путем систематической разработки передовых моделей мозга. Эти модели концентрируются на функциональной архитектуре [например, Унифицированная сеть архитектуры семантических указателей Ватерлоо, Spaun (Eliasmith et al., 2012)] или на детальном взаимодействии между структурой мозга и активностью (например, модели кортикальной микросхемы (Haeusler and Maass, 2007; Potjans and Diesmann, 2014; Markram et al., 2015) и многозонная модель (Schmidt et al., 2018) связанных со зрением областей макаки).

    Создание и совершенствование этих сетей в настоящее время все больше и больше поддерживается сложными общими средами научной разработки (Einevoll et al., 2019), такими как NEST (Gewaltig and Diesmann, 2007), Nengo (Bekolay et al., 2014) и neuCube (Касабов, 2014), предназначенный для оценки мультимодальных моделей с помощью моделирования, обычно выполняемого на традиционных цифровых высокопроизводительных компьютерах (HPC), специализированных вычислительных машинах, таких как SpiNNaker из Манчестера (Furber et al. , 2014), BrainScaleS от Heidelberg (Schemmel et al., 2010) или имеющиеся в продаже машины общего назначения на базе GPU (Knight and Nowotny, 2018).

    При разрешении нервных клеток создание сети и выполнение задач моделирования на современных суперкомпьютерах происходит слишком медленно, особенно для изучения пластичности и обучения в сетях масштаба мозга. Сегодня суперкомпьютеры достигают скорости моделирования, эквивалентной биологическому реальному времени для кортикальной микросхемы (представляющей 0.0001% человеческого мозга), а моделирование продвинутых многозонных моделей мозга замедляется на порядки. Здесь разработка специализированных схем ускорителей, подключаемых либо к существующим высокопроизводительным вычислительным системам, либо к автономным решениям, крайне востребована для преодоления постоянных проблем, связанных с ускорением моделирования биологических нейронных сетей.

    Современное состояние нейробиологического моделирования показано на рисунке 1. На рисунке показано, что сегодня можно моделировать сетевые модели важных компонентов мозга млекопитающих с жесткими ограничениями времени моделирования.

    В настоящее время эти ограничения производительности могут быть связаны со значительными задержками в доступных коммуникационных технологиях, используемых для обеспечения требуемого межсоединения при полной (т. е. биологически значимой) плотности синаптических соединений. Кроме того, с включением углубленной динамики нейронов и реалистичных синаптических правил задержки числовых значений, вызванные критическим путем, также способствуют ухудшению производительности.

    Целью настоящего исследования является преодоление фундаментальных ограничений современной нейроморфной технологии.В основном это невозможность представить нейронные сети с полной плотностью, длительное время, необходимое для генерации сети, и трудности достижения скорости обработки, значительно превышающей реальное время, при умеренном уровне гибкости в нейронной и синаптической динамике. Последнее актуально, поскольку процессы обучения и развития на системном уровне разворачиваются в течение минут и часов биологического времени.

    Платформа моделирования нейронауки следующего поколения должна быть спроектирована таким образом, чтобы общий случай соответствующих нейробиологических моделей мозга выполнялся наиболее эффективным способом, требуемое время и затраты на разработку оставались в приемлемом диапазоне, а плотность системной интеграции гарантировала, что межузловая связь может осуществляться со сверхнизкой задержкой.Особое внимание будет уделено проектируемой гибкости выделенных схем ускорителя, которые будут ограничены и оптимизированы для конкретной прикладной области ЧПУ для достижения значительного ускорения. Следует ожидать, что эти проблемы не могут быть решены без тщательного исследования пространства проектирования в отношении архитектурной организации платформы цифрового моделирования. Здесь платформа IBM INC (Narayanan et al., 2020) служит средством для реализации прототипов схем и архитектур для предполагаемой платформы нейробиологического моделирования следующего поколения (конфигурируемое моделирование нейронных сетей, CsNN). Все используемые аббревиатуры и символы объясняются в дополнительном листе данных 1), чтобы определить узкие места и критические алгоритмические участки в потоке моделирования.

    Материалы и методы

    Нейронный суперкомпьютер IBM INC-3000

    Мотивация разработки нейронного суперкомпьютера IBM (INC)

    Нейронный суперкомпьютер IBM (Narayanan et al., 2020) был создан в рамках проекта IBM General Artificial Intelligence (GAI) (также известного как Machine Intelligence Project) в исследовательском центре IBM в Алмадене, Калифорния.Этот проект направлен на разработку архитектурной модели неокортекса, основанной на ключевых элементах того, что нейробиологи узнали о структуре и функционировании мозга млекопитающих. Это проблема Златовласки — мы хотим использовать ровно столько этой биологической информации, чтобы включить GAI, а не рабски следовать всем известным деталям архитектуры мозга. В качестве аналогии — если бы мозг был деревом, то мы хотели бы зафиксировать такие понятия, как корни, ствол, ветки, листья, но не детальное расположение каждого листа.

    Детали этого подхода выходят за рамки данной статьи, но одна из ключевых идей заключается в том, что обучение в мозгу основано не на корректировке весов в очень плотно связанной сети, как это делается в обычном машинном обучении, а на формировании новых соединения в редко (<1%) связанной сети нейронов. Как показал проект, это приводит к фундаментальной способности такой пластичной сети извлекать инвариантные (стабильные) репрезентации из изменяющихся во времени сенсорных данных без надзора.Это было продемонстрировано в недавней статье команды IBM Almaden (Scott et al., 2019).

    Традиционная модель машинного обучения с плотными матрично-векторными операциями хорошо отображается на графических процессорах, но графические процессоры не являются хорошей платформой для разреженной и динамически изменяющейся (пластичной) топологии реалистичных моделей мозга. Большой традиционный суперкомпьютер с передачей сообщений также был бы хорошей платформой для модели GAI, но у IBM нет внутреннего доступа к большим суперкомпьютерам. Поэтому мы решили построить собственную платформу на основе больших узлов FPGA.Поскольку алгоритмы GAI находятся в стадии разработки, исключительная гибкость, обеспечиваемая системами FPGA, стала решающим фактором в выборе этого пути. Кроме того, если приложение допускает глубокую конвейерную обработку, ПЛИС могут обеспечить повышение производительности на несколько порядков по сравнению с традиционными системами ЦП сопоставимой стоимости.

    Мы решили построить большую (16–1296 узлов) систему, уделив особое внимание хорошей связи между узлами. Он организован как массивно-параллельная трехмерная сетка реконфигурируемых вычислительных узлов, где каждый узел состоит из большой FPGA Xilinx, включающей два ядра ARM, внешнюю DRAM, программируемую память и двенадцать высокоскоростных последовательных передатчиков.

    Базовым блоком INC является большая 48-слойная пользовательская карта с 27 узлами, соединенными на карте в виде куба 3 × 3 × 3, ср. Рисунки 2А,Б. Система INC содержит 1 клетку (INC-3000) или 3 клетки (INC-9000). Каждая клетка содержит 16 карт. На данный момент построено две системы INC-3000: одна для IBM Almaden, а другая для Исследовательского центра Юлиха. Системы INC-3000 содержат 16 × 27 или 432 узла.

    Рис. 2. Система INC-3000 с 16 платами INC (A) , каждая плата (B) оснащена 27 ПЛИС.Вся INC-система представляет собой трехмерную сетку 12 × 12 × 3 узлов. Архитектура Xilinx XC Z7045 SoC показана на (C) . Программируемая логика (PL) основана на структуре конфигурируемых логических блоков, DSP и блочных RAM (BRAM). Формат пакета (96 бит) показан в (D) . Пакет состоит из 32-битного спецификатора цели и 64-битной полезной нагрузки. Триплет ( X, Y, Z ) указывает логическую координату целевого узла (режим одноадресной рассылки). Поле ID определяет тип пакета.

    Системы INC-3000 уже использовались — в дополнение к основному применению, обсуждаемому в настоящей статье — для демонстрации формирования инвариантных представлений, как обсуждалось выше, и для очень быстрого обучения ИИ видеоиграм на основе генетических алгоритмов («нейроэволюция» ) (Ассеман и др. , 2020).

    Для этого конкретного проекта машина INC служит платформой для прототипирования. На основе результатов, полученных при реализации прототипов схем, ставится цель разработать оптимизированную специализированную аппаратную платформу на основе специализированных схем-ускорителей.В частности, очень важен вопрос о наиболее подходящей топологии узлов для реализации архитектур, подходящих для моделирования нейронных сетей с пиками (например, на основе древовидной структуры межсоединений с передачей пакетов со сверхнизкой задержкой).

    Вычислительный узел INC-3000

    Каждая система Xilinx XC Z7045 на кристалле (SoC) (Xilinx, 2018b) содержит ~218 тыс. программируемых 6-входных таблиц поиска (LUTS — настраиваемая логика), ~437 тыс. триггеров, 900 выделенных настраиваемых блоков DSP для реализации арифметические функции, 19.2 Мбит Block-RAM (BRAM, реализованная как статическая оперативная память) и 16 последовательных приемопередатчиков GTX с максимальной скоростью передачи данных 12,5 Гбит/с в каждом направлении. Для INC-3000 используются 12 приемопередатчиков GTX для создания двунаправленной архитектуры межсоединений, ср. Рисунок 2С. Блоки DSP и BRAM организованы в виде слайсов, и доступ к ним можно получить через соединительную матрицу. На вычислительном узле INC-3000 каналы подразделяются на два домена синхронизации. В то время как логика системы связи тактируется с тактовой частотой 100 МГц, логика приложения тактируется с f clk = 150 МГц.Оба домена имеют интерфейс через выделенные каналы FIFO , работающие на частоте 250 МГц.

    В дополнение к логической структуре на каждой SoC предоставляется подсистема ARM-A9, состоящая из двух независимых ядер ARM, работающих на частоте 1 ГГц, различных периферийных устройств, системы шин AXI и интерфейса с внешней системой памяти DDR объемом 1 ГБ на узел. Внешняя система памяти может быть доступна логике фабрики (без использования ядер ARM) через выделенных AXI-каналов и может использоваться для хранения данных конфигурации, результатов моделирования, а также переменных состояния. В настоящее время для моделирования импульсных нейронных сетей на INC-3000 используются исключительно ресурсы программируемой логики (PL).

    Система связи INC-3000

    Далее устройства SoC являются ключевыми компонентами узлов . Каждый узел включает в себя полную логику маршрутизатора, необходимую для отправки, ретрансляции и доставки пакетов данных. На INC-3000 связь реализована через трехмерную сетку локально связанных между собой узлов. Отдельные узлы могут быть адресованы через уникальный идентификатор , который указывает абсолютное местоположение узла с точки зрения его координат ( X, Y, Z ) в сетке.Каналы связи физически реализованы до ближайших соседей («верх», «низ», «север», «юг», «восток», «запад») узла через гигабитные трансиверы GTX. Существуют также экспресс-соединения с неближайшими соседями для уменьшения количества переходов, всего двенадцать ссылок, исходящих от каждого узла. Наименьший объем информации, который может быть передан на INC-3000, определяется 64-битной полезной нагрузкой и 32-битным спецификатором целевого узла, который содержит информацию о целевом узле, который получает пакет, ср. Рисунок 2D. Узел (0, 0, 0) предоставляет отдельный интерфейс PCI-express (PCIe) для хост-системы, который используется для настройки, мониторинга и управления системой INC-3000. Каждая карта имеет два соединения PCIe с внешним хост-компьютером.

    Пакеты могут быть отправлены в двух разных режимах: один режим напрямую и однозначно адресован одному целевому узлу (одноадресная маршрутизация) посредством спецификации координат цели ( X, Y, Z ). При использовании второго режима пакет передается неспецифическим образом всем узлам, расположенным в системе INC-3000 (широковещательная маршрутизация).Метод маршрутизации применяет детерминированную размерную-порядковую-маршрутизацию , чтобы направить пакет к его целям.

    Узлы

    делятся на два класса в зависимости от их назначения в архитектуре системы: так называемые вычислительных узлов (CNs) активно участвуют в решении нейросинаптических динамических уравнений, а так называемые релейных узлов (RNs ) берут на себя специальные функции по управлению и организации связи. Любой узел в системе INC-3000 можно настроить для работы в качестве CN, RN или обоих.Для текущего приложения один узел настраивается как RN, который впоследствии называется главным узлом (MN). MN управляет синхронизацией узлов и распределяет пиковые события по всем CN в системе.

    Нейронные сети с шипами

    Добавление моделей нейронов с интегрированием и запуском

    Почти все биофизически обоснованные модели спайковых нейронов основаны на обыкновенных дифференциальных уравнениях и их системах. В зависимости от требуемого уровня детализации нейросинаптическую динамику можно разбить на динамику отдельных ионных каналов, в результате чего, например,г., в системах связанных уравнений типа Ходжкина-Хаксли. Получение решения этих систем уравнений требует значительных вычислительных ресурсов. Чтобы иметь возможность моделировать сети значительного размера, используются упрощенные модели с акцентом на подпороговую динамику напряжения мембраны нейрона с несколькими связанными переменными состояния (например, Ижикевич, 2003; Бретт и Герстнер, 2005; Ямаути и др. , 2011). Простейшая модель мембранной динамики принадлежит Лапику (1907) и описывается одним динамическим уравнением, так называемой моделью интегративного интегрирования с утечкой (LIF).Здесь динамика мембраны определяется выражением

    Cm⋅dVqdt=-gm⋅(Vq-EL)+Im,q+Iext.(1)

    в (1) C M , V , Q , E , E L , г м , I м, Q , I ext , обозначают емкость мембраны, мембранный потенциал нейрона q , потенциал покоя, проводимость мембраны, суммарный ток синаптической мембраны и внешний ток соответственно.Совокупный синаптический ток представляет собой активность, пришедшую к нейрону от остальной части сети. Реалистичные нейрофизические модели включают как минимум два типа синапсов: возбуждающие синапсы (e) и тормозные синапсы (i). Тогда ток I m,q распадается на два типа синаптических токов: возбуждающий I m,q,e и тормозной I 3 один. Для модели корковой микросхемы используется концепция сосредоточенных синапсов (Rotter and Diesmann, 1999), которая по существу подразумевает, что динамические уравнения должны рассматриваться для конкретных синаптических типов , а не только синаптических экземпляров.Следующее уравнение описывает синапсы с экспоненциальным распадом и связью на основе тока (CUBA):

    τs,x⋅dIm,q,xdt=-Im,q,x+IS,q,x  ,x∈{e,i}.(2)

    в (2), τ S, E ( τ S, I ), I м, Q, E (I м, Q, I ) , I S,q,e ( I S,q,i ) обозначают синаптическую постоянную времени возбуждающих (тормозных) синапсов, агрегированный постсинаптический мембранный возбуждающий ток, (тормозной) синаптический вход соответственно.В соответствии с (2) общий мембранный ток определяется как сумма Наконец, так называемый синаптический вход получается из входящей (пресинаптической) последовательности спайков S P ,

    IS,q,x(t)=∑p∈BxJqp⋅Sp(t-Dp,q) ,x∈{e,i}.(3)

    In (3) p, J qp , D p,q , t, S P описывают индекс пресинаптической силы, трансмиссии, синаптической силы, время t , и шлейф S p = Σ k δ( tt k,p 0 , соответственно.Набор B e (B i ) представляет собой набор возбуждающих (тормозных) нейронов: возбуждающие нейроны управляют возбуждающими синапсами, а тормозные нейроны управляют тормозными синапсами.

    Модель микросхемы

    Самой эволюционно молодой частью мозга млекопитающих является неокортекс, кора для краткости, лист толщиной примерно 1 мм, покрывающий поверхность мозга. Эта структура увеличилась в объеме на три порядка от мыши к человеку, в то время как ее локальная структура осталась практически неизменной.Кроме того, структура очень похожа в частях коры, ответственных за обработку зрительной информации, слуховой информации или планирование двигательных задач. Эта двойная универсальность дает нейробиологам надежду на то, что фундаментальные вычислительные принципы могут быть сохранены в ходе эволюции и использоваться снова и снова. Модель микросхемы (Potjans and Diesmann, 2014) представляет собой сеть под участком площадью ∼1 мм 2 поверхности сенсорной коры раннего млекопитающего. Модель организована в четыре уровня (L2/3, L4, L5 и L6), каждый из которых включает две популяции (возбуждающую популяцию и тормозящую популяцию), в результате чего общее число отдельных популяций составляет восемь (L2/3E, L2/ 3I, L4E, L4I, L5E, L5I, L6E и L6I).Синаптические связи определяются вероятностью соединения для конкретной популяции случайно распределенных связей нейрон-нейрон. Сила синапсов и задержки синаптической передачи моделируются нормально распределенными случайными числами. По сравнению с моделью Брюнеля (см. Брюнеля, 2000 и раздел «Простой пример: случайные сети» в дополнительном материале), кортикальная микросхема представляет собой более реалистичную модель межсоединений множества популяций. Для корковой микросхемы количество вовлеченных нейронов достаточно велико, чтобы произвести значительное количество внутренних синаптических связей, что делает динамические свойства сети более зависимыми от самой сети, чем от внешнего входа.Около 50% всех подключений происходит из самой модели. Однако для того, чтобы имитировать оставшиеся 50% (возбуждающих) синаптических входов из соседней коры и других областей коры, отдельные нейроны получают независимые спайки, распределенные по Пуассону, с частотой, специфичной для популяции. Нейронаучная актуальность модели заключается в том, что она представляет собой наименьшую сеть, в которой одновременно могут быть реализованы два характерных параметра: вероятность локальной связи 0,1 и порядка 10 000 синапсов на нейрон.Объем также охватывает пространство, в котором нейрон устанавливает большинство своих локальных синапсов. В этом отношении модель представляет собой элементарную ячейку корковой сети. Возможность моделировать сети такого размера была прорывом, потому что в небольших моделях необходимо либо увеличить вероятность соединения, либо увеличить силу синапса для достижения реалистичных уровней активности. Это подняло вопрос о соответствующей процедуре уменьшения масштаба и о том, верны ли результаты, полученные для моделей с уменьшенным масштабом, для истинного размера.Действительно, (van Albada et al., 2015) показали, что среднее значение импульсной активности нейронов может полностью сохраняться при уменьшении масштаба, но уже существуют жесткие ограничения для статистики второго порядка. Синаптическая пластичность, однако, напрямую зависит от корреляционной структуры сети. Кроме того, корреляции между нейронами вызывают колебания активности нейронов, наблюдаемые на сетевом уровне, с помощью таких показателей, как потенциал локального поля (LFP). Поскольку модель микросхемы захватывает все синапсы между нейронами, начиная с этого размера потребление памяти растет только линейно с размером сети.Из-за падения вероятности соединения с расстоянием более крупные сети обязательно имеют менее плотную связь, и поэтому их легче моделировать.

    Модель микросхемы применяет модель LIF для нейронов и синаптических токов с экспоненциальным затуханием. Полная параметризация, включая сетевую архитектуру, показана в дополнительных таблицах 4A–H и на дополнительном рисунке 8.

    CsNN на INC-3000

    Вычислительный узел CsNN и поток моделирования

    На рисунке 3A представлен общий обзор компонентов, интегрированных в вычислительный узел (CN, см. раздел «Микроархитектура CsNN и логическая схема»).Архитектура делится на (i) уровень памяти, в котором хранятся переменные состояния, входные данные и стимулы, (ii) уровень вычислений, который работает с памятью для передачи и обновления переменных состояния, и (iii) уровень связи, отвечающий за отправку и получение. шипы в и из системы связи (CS), конфигурация, а также мониторинг. Модули вычислительного блока предназначены для выполнения задач, связанных с решением уравнений. (1–3) и управление данными, связанными с этим.

    Рис. 3. Обзор CN-архитектуры (A) , начальные таблицы для блока RTR на базе MTBRNG (B) , схема адресации для кольцевого буфера (C) . Круговой буфер сохраняет принудительные условия синаптической активности, чтобы они были эффективными в будущем временном шаге.

    Аппаратные ресурсы k -й CN способны моделировать динамику набора нейронов W k , включая связанные синаптические связи.Что касается синаптических связей, W k представляет собой набор постсинаптических нейронов. Пока размер набора W k ограничен | Вт К | ≤ 256 сеть значительного размера в целом отображается на ряд узлов. Нейроны, размещенные в конкретном CN, всегда принадлежат к одной и той же популяции, и соответствующая подсеть, размещенная в CN, впоследствии называется микрокластером .При этом процедура картирования нейронов в ХН гарантирует непротиворечивое распределение нейронов в ХН в том смысле, что соответствующие размеры | Вт К | имеют почти одинаковую величину.

    Последовательность моделирования основана на цикле моделирования, управляемом временем (Brette et al., 2007). Биологическое время T подразделяется на дискретные часы времени T I (также называется алгоритмический Время) В то время как фиксированный шаг времени T I T i –1 = Δ t = 0.предполагается 1 мс. Поскольку моделирование выполняется на глобально асинхронных CN, на INC-3000 применяется особый метод синхронизации для узла, основанный на обмене как барьерными сообщениями, так и сообщениями синхронизации. Синхронизация узлов непрерывно синхронизирует алгоритмическое время на CN.

    Работа CN инициируется после получения сообщения синхронизации декодером пакетов (PD) коммуникационного уровня. Сообщения синхронизации обычно предоставляются MN, которые, вкратце, указывают, что новый временной шаг моделирования готов к вычислению.Первым этапом вычисления является передача действительного на данный момент агрегированного синаптического входа (3) в SS-буфер [Synaptic inputS (SS)] и подготовка ES-буфера [External Stimuli (ES)] с внешними стимулами. После обновления буферов модуль ODE [решатель обыкновенных дифференциальных уравнений (ODE)] обновляет память состояний на основе решения динамических уравнений. (1, 2) с учетом (3). Все задействованные арифметические операции выполняются с точностью до одного числа с плавающей запятой. В текущей реализации реализованы простые нейроны LIF и сосредоточенные синапсы с экспоненциальным распадом с вкладом тока CUBA, решение (1–3) которых основано на методе точного интегрирования (Rotter and Diesmann, 1999).Тем не менее, реализация моделей с тщательно разработанной биологической правдоподобием, требующих сложной архитектуры решателя ОДУ, будет обсуждаться в разделе «Производительность для альтернативных моделей нейронов и решателей обыкновенных дифференциальных уравнений».

    После обновления состояний напряжение мембраны В q сравнивается с заданным пороговым напряжением, чтобы вызвать выбросы. В случае, если V q превышает пороговое значение, выполняется поиск глобального идентификатора источника спайковых нейронов (с использованием таблицы преобразования индексов) и последующая передача идентификатора источника в кодировщик пакетов (PE).Всплески будут распределяться между CN через AER-пакетов с исходным кодированием [представление адресных событий (AER)]. Кроме того, пиковые события, переданные в PE, записываются в DRAM. Пресинаптические нейроны осуществляют воздействие на нейроны из набора W k путем отправки спайков в систему связи через AER-пакетов. Маршрутизатор узла передает шип-пакет на MN через одноадресную маршрутизацию , которая передает закодированный источником пакет AER всем CN через ненаправленный широковещательный пакет.Пакет AER будет получен декодером пакетов (PD), который передает вложенный идентификатор источника, представленный уникальным идентификатором δ p , во входной FIFO. Идентификатор δ p изначально блокируется в FIFO и впоследствии освобождается, когда принимающий RTR-блок [локальный шип RouteTeR (RTR)] способен обработать δ p . Блок RTR выбирает идентификаторы источников из входного FIFO один за другим, чтобы обновить циклический буфер (CB), который агрегирует синаптический ввод.

    В частности, RTR-модуль управляет локальной сетью синаптических соединений. Блок RTR содержит структуры данных, которые описывают полный набор синаптических связей относительно набора W k и для любого заданного δ p . Таким образом, функция РТР-блока напрямую связана с ур. (3) и гарантирует, что для любого (биологического) временного шага моделирования t k синаптический ввод известен для обновления (2).В то время как блок RTR управляется спайками, представленными нейронами в нейронной сети, блок EXT [внешний генератор спайков (EXT)] создает и обрабатывает внешних спайков (см. раздел «Распределение спайков CsNN, генерация и Поиск параметра синапса»).

    Каждое синаптическое соединение описывается четверкой Q = ( δ, J,D,N): δ представляет уникальный идентификатор пресинаптического нейрона, J представляет силу синапса, D представляет синаптическую передачу задержка, а N обозначает уникальный (локальный) идентификатор постсинаптического нейрона.Учитывая ввод δ p , блок RTR извлекает все четверки Q i , которые соответствуют δ≡δ p , и последовательно обновляет цикл 64 ,D,N ) и , ср. Рисунок 3С. Циклический буфер сохраняет все промежуточные состояния, полученные из (3) для синаптического входа на основе самых последних входящих серий спайков, синаптических сил и задержек синаптической передачи.На INC CB способен сохранять предполагаемый синаптический вход до 6,4 мс биологического реального времени (BRT) при разрешении размера временного шага Δ t = 100 мкс.

    Генераторы псевдослучайных чисел CsNN

    Как будет показано ниже, CsNN широко используют генераторы псевдослучайных чисел (PRNG). Напомним, что PRNG — это детерминированный алгоритм, который производит псевдослучайные числа, распределение которых почти неотличимо от распределения истинного случайного числа. Как правило, синаптическая связь, задержки передачи и веса рисуются с помощью ГПСЧ на этапе построения сети до моделирования случайной нейронной сети (НС).Результаты хранятся в огромных таблицах связности и параметров синапсов, которые просматриваются на этапе фактического моделирования. Этот подход может потребовать много времени на построение сети, а также нехватки памяти.

    В отличие от использования таблиц связности, оперативное вычисление соединений резко сокращает требуемый объем памяти (Jahnke et al., 1999). Первые подходы в этом направлении были реализованы для регулярных схем соединения, которые следуют (простым) детерминированным правилам и где можно эффективно вычислять регулярные соединения (Roth et al., 1995, 1997). Однако этот подход можно применять и к нерегулярным (то есть случайным) соединениям. Далее будет показано, что повторное создание всех этих псевдослучайных чисел (детерминистически) во время моделирования снова и снова может быть на удивление более эффективным, если задействованы высокоэффективные ГПСЧ. Это одна из основных идей, лежащих в основе CsNN. На INC-3000 были реализованы различные генераторы случайных чисел на основе таблиц, которые играют важную роль для генерации последовательности внешних пиков и для генерации локальной структуры межсоединений в RTR-блоке.Методы ГПСЧ на основе таблиц обладают преимуществом гибкости по отношению к реализуемой функции массы вероятности ( pmf ) с ограниченной поддержкой (т. е. с ограниченным диапазоном допустимых выходных значений) и требуют лишь нескольких обращений к таблице для генерации случайных чисел. с определенным pmf.

    На INC-3000 реализованы варианты метода псевдонима Уокера (Walker, 1974, 1977), который позволяет рисовать случайную величину с практически произвольным распределением вероятностей p r за время O(1).В алгоритме Уокера был задан набор пар ( p r ,r ), r = 1,…,z , причем условие Σ k

    p

    9 должен был быть выполнен. Целью описанного метода было создание генератора псевдослучайных чисел, который генерирует случайные (целые) числа r , чьи эмпирические pmf приближаются к p r для последовательностей больших выборок. Далее целочисленная случайная величина r обычно заменяется непрерывной заменой R(r) .Отображение один к одному R в r позволяет аппроксимировать распределения непрерывных случайных величин дискретным pmf . Здесь непрерывные интервалы случайной величины R будут представлены соответствующим средним значением R , которое, в свою очередь, представлено уникальным целым числом r . Соответствующие функции плотности вероятности ( pdf ) могут быть агрегированы в уникальный бин , что приводит к спецификации p r .

    На рисунке 4B показана основная архитектура генератора. Для этого метода требуются три массива ( H, A , N) и два независимых PRNG, генерирующих равномерно распределенные RN. Первый PRNG генерирует индекс 0 ≤ k < z ( z — количество записей в таблице), используемый для выбора трех позиций в таблице H(k), A(k) и N(k) . Второй PRNG генерирует RN 0 ≤ h < 1, который затем сравнивается с H(k) .В зависимости от результата сравнения в качестве выходного значения R выбирается либо A(k) , либо N(k) . Чтобы упростить операцию сравнения, массив H использует 32-битные представления с фиксированной точкой масштабированных вероятностей p k pmf . Обратите внимание, что записи таблицы ( H,A , N ) могут быть рассчитаны в автономном режиме для данного pmf в O(z×log(z)) или лучше (Vose, 1991).На рисунке 4C показан вариант генератора случайных чисел на основе таблиц (TBRNG), который имеет дополнительный параметр S , который используется для выбора конкретного набора ( H, A , N)- таблиц. В дальнейшем этот тип TBRNG называется многомерным TBRNG (MTBRNG).

    Рисунок 4. (A) Реализация простого ГПСЧ на основе Xorshift (Marsaglia, 2003b). (Б) ТБРНГ. Индекс k представляет собой адрес таблицы. (C) Генератор случайных чисел на основе многомерных таблиц (MTBRNG). Сигнал S выбирает конкретный набор таблицы ( H,A,N ).

    PRNG основаны на генераторах xorshift (Marsaglia, 2003a,b; Vigna, 2014; Blackman and Vigna, 2018), ср. Рисунок 4А. Xorshift PRNG очень прост по своей структуре и обеспечивает достаточно длинные периоды последовательности для конкретных параметризаций. Как правило, обновление внутреннего состояния PRNG на основе Xorshift может быть завершено в течение одного цикла на логике FPGA, например.г., интервал инициации II равен 1 (см. определение II в разделе «Микроархитектура и логическое проектирование CsNN»).

    Распределение всплесков CsNN, генерация и поиск параметров синапса

    Как будет показано в Дополнительных материалах (см. раздел «Свойства локальности»), в случае микросхемы и выбранного размера микрокластера в 256 нейронов практически каждый входящий импульс должен быть спроецирован как минимум на один нейрон в каждом микрокластере. кластер.Микрокластер определяется подсетью, которая возникает из локального набора из 256 постсинаптических нейронов и полного набора пресинаптических нейронов, определенных для микросхемы. Когда приходит всплеск, на основе глобального идентификатора источника, CN необходимо идентифицировать локальный идентификатор цели, и соответствующие параметры синапса должны быть найдены в таблице. Первая задача требует некоторых функций ассоциативной памяти, а вторая требует быстрого чтения из большой памяти. Для микросхемы существует 77 169 идентификаторов источников (требующих не менее 17 бит адреса).Синапс, описываемый четверкой Q = (δ, J, D, N) , требует 32 бита для представления одиночной плавающей силы J , 6 битов для представления задержки синаптической передачи D (при условии максимальной синаптическая задержка 6,4 мс), и 8 бит для кодирования уникального (локального) идентификатора N для постсинаптического нейрона микрокластера. Затратами на представление идентификатора источника δ обычно можно пренебречь, поскольку структуры данных можно оптимизировать таким образом, чтобы δ сохранялся (или представлялся) только один раз для каждого исходного нейрона.Имея среднюю вероятность соединения около 5 % (т. е. 50 % синаптических входных данных из сети), типичный узел должен представлять более ∼ 0,94 млн синапсов, используя ∼ 43 Мбит синаптической информации без учета дополнительного пространства памяти, необходимого для организации структур данных. . На INC-3000 память доступна как в виде BRAM с малой задержкой, так и в виде DRAM большой емкости (внешне подключаемой к каждой SOC). Поскольку SoC Z7045 содержит только 19,2 Мбит BRAM (Xilinx, 2018b), невозможно сохранить локальную структуру синаптического соединения подсети с точки зрения кортежей ( J,D,N ) в BRAM.

    Чтобы использовать BRAM с малой задержкой, предлагается новое представление синаптической связности, которое позволяет хранить в нем полную подсеть в сжатом виде. Предлагаемый подход к представлению ( J,D,N ) кортежей использует тот факт, что шаблон связности в микросхеме подчиняется случайному распределению. Во-первых, давайте рассмотрим простой Xorshift PRNG (рис. 4A). PRNG может генерировать последовательность (почти) равномерно распределенных состояний. В частности, это верно, если параметры a, b и c выбраны таким образом, чтобы генератор выдавал последовательность максимальной длины (Marsaglia, 2003a,b).Если PRNG детерминистически инициализирован начальным числом, последовательность также является детерминированной, но, тем не менее, выглядит случайной. Исходное начальное число — в некоторой степени — представляет производную последовательность очень эффективным с точки зрения памяти способом: для длинных последовательностей требуется больше битов для явного хранения последовательности по сравнению с опцией сохранения только начального числа.

    Тот же принцип применяется к TBRNG. Если для инициализации TBRNG используется конкретное начальное число, последовательность последовательных выходных значений является детерминированной, а наблюдаемое распределение выходных значений соответствует запрограммированному дискретному pmf .В этом смысле PRNG подходят для генерации (псевдо)случайных локальных адресов N постсинаптических нейронов, а TBRNG можно использовать для генерации последовательностей псевдослучайных задержек синаптической передачи D , а также псевдослучайных синаптических сил Дж . Входящий шип δ p напрямую используется для адресации так называемых начальных таблиц (рис. 3A, B). Отдельные начальные значения выбираются и используются для инициализации MTBRNG, расположенных в логике RTR.Считываются два дополнительных параметра, которые определяют общую длину последовательности (параметр L ) и спецификатор S , который используется для выбора конкретного набора ( H,A,N)- таблиц MTBRNG. Параметр S представляет принадлежность популяции шипа δ p . Путем обращения к определенному набору ( H,A,N)- таблиц можно поддерживать сети со специфическими для населения статистическими свойствами. Параметр L (примерно) эквивалентен количеству синапсов на данном (локальном) аксоне и определяет длину последовательности.Подробная стратегия определения параметра таблиц ( H, A, N ) объясняется в дополнительных материалах (см. Раздел «Числа-близнецы, аутапсы и мультитапсы»).

    В дополнение к спайкам, генерируемым сетью, так называемые последовательности внешних спайков вносят свой вклад в возбуждающий синаптический вход в (2). Однако, в отличие от (3), где спайки могут быть задержаны на несколько временных шагов (что требует, чтобы CB обрабатывал задержанные спайки), синаптическая сила может изменяться, а синаптическая множественность является случайной, внешняя последовательность спайков моделируется намного проще. : Последовательность внешних спайков действует чисто возбуждающе, внешние нейроны возбуждаются независимо с одинаковой скоростью возбуждения, а синаптическая сила одинакова для всех соединений (все данные для конкретного нейрона-мишени q ).уравнение (3) аддитивно расширяется на член

    IS,q,e(t)=Jq⋅∑p∈Bx(∑k:(t-tk,p)<∆tδ(t-tk,p))≈Jq⋅Mq⋅∑k:(t-tk,p )<Δtδ(t-tk,p)(4)

    В (4) J q и M q описывается общая синаптическая сила внешнего входа и веера от других областей коры к нейрону q 9002. Для данной средней частоты импульсов λ q [импульсов/с] и шага моделирования Δ t член Σ p Σ ​​ k δ( tt , ) подчиняется a Пуассона ( M q × Δ t × λ q ) распределение.На основе заданного pmf можно использовать TBRNG для генерирования агрегированного входного внешнего пика, за которым следует умножение (4). Эквивалентно, pmf из I S,q,e , относящиеся к цепи внешних шипов, могут быть собраны для обучения ( H,A,N )-таблиц TBRNG. Одним из преимуществ последнего случая является то, что операции умножения в (4) можно полностью избежать. Полная статистика целевой переменной может храниться в таблицах.

    Концепция связи и синхронизации CsNN

    Коммуникационная архитектура преследует три цели: синхронизация вычислительных узлов, передача пакетных пакетов, а также настройка, мониторинг и управление системой INC-3000. В CsNN на INC-3000 был установлен подход к моделированию, управляемому временем, который требует особой стратегии синхронизации. Систему INC-3000 можно охарактеризовать (как и почти все массивно-параллельные вычислительные системы) как работающую глобально асинхронно и локально синхронно (GALS): отдельные узлы управляются несинхронизированными часами и завершают свои вычисления для заданных временных шагов в разное время настенных часов из-за к разным временным профилям нагрузки (т.г., обусловленные количеством синапсов на приходящий спайк и др.). Чтобы свести к минимуму возможные потери пиков, временные шаги алгоритмического моделирования синхронизируются по всей системе GALS с помощью «барьерного обмена сообщениями» (см., например, Culler et al., 1998; Parhami, 2002).

    В INC-3000 концепция барьерных сообщений используется для синхронизации узлов: в определенное время настенных часов в пределах алгоритмического временного шага решатель ODE завершает свою работу после того, как все переменные состояния были обновлены, а обнаруженные пики доставляются в систему связи.В этот момент CN может перейти к следующему временному шагу после получения всех пиков от других узлов, известных синаптических входов и обновления циклического буфера.

    В INC-3000 для координации синхронизации вычислительного узла используется выделенный главный узел (настроенный как RN ). В случае, если конкретный CN закончил свои вычисления для текущего алгоритмического шага времени, он отправляет барьерное сообщение на главный узел, ср.Рисунок 5D. Как только барьерные сообщения от всех активных CN получены главным узлом, он рассылает так называемое синхронизирующее сообщение всем узлам, что позволяет им перейти к следующему алгоритмическому временному шагу. Стоимость с точки зрения задержки для создания барьерного метода синхронизации была оценена экспериментально. Выбран кластер узлов системы INC-3000, имитирующий активные ВУ, вместе с МН, пространственно размещенный в центре кластера. Такое размещение минимизирует наихудшую задержку синхронизации.Все узлы сети были вынуждены немедленно повторно доставлять барьерные пакеты при получении сообщения синхронизации. Это приводит к четко определенному интервалу времени между соседними сообщениями синхронизации, задержке синхронизации .

    Рис. 5. (A) Пути данных для связи в вычислительных/главных узлах. Полученные пакеты отмечены зеленым цветом, пакеты для отправки — оранжевым. Поля данных заштрихованных областей будут заменены полем данных входящего пакета. (B) Одноадресная маршрутизация используется для передачи барьерных сообщений и сообщений AER. (C) Широковещательная маршрутизация , используемая для передачи пакетов синхронизации и пакетов шипов. (D) После завершения обработки ODE на главный узел отправляется барьерное сообщение. Как только будут получены барьерные сообщения от всех активных CN, главный узел генерирует сообщение синхронизации, позволяя CN перейти к следующему алгоритмическому временному шагу.

    Результаты показаны на рисунке 6C.Задержка синхронизации зависит от размера кластера, задержки между узлами и, в частности, от манхэттенского расстояния между MN и CN, расположенными на краях кластера (рис. 6F). Максимальное время двусторонней задержки оказывается равным 18 мкс для кластера, содержащего 305 CN. Односкачковая задержка (от первого бита к первому биту) ∼1 мкс была измерена для передачи одного пакета. Для больших размеров кластера диаметр кластера плавно растет с размером кластера. Задержка синхронизации дает минимальное количество времени настенных часов для обработки алгоритмического временного шага и, следовательно, дает нижнюю границу достижимого коэффициента ускорения.Здесь максимально достижимый коэффициент ускорения G приближается к 5,6 при условии, что размер временного шага моделирования составляет Δ t = 100 мкс.

    Рис. 6. Оценка работоспособности модели коры микросхемы на системе INC-3000 для t BRT = 15 мин. шаг моделирования по времени Δ t = 100 мкс. (A) Распределение экспериментально наблюдаемой плотности пиков [измерено в (пики/временной шаг)]. (B) Распределение сгенерированных всплесков по узлу за временной шаг. (C) Задержка синхронизации зависит от размера кластера активных узлов. (D) Распределение прошедших тактов между логическими временными шагами. (E) Распределение истекших тактов для развертывания структуры локального соединения узла через RTR-блок. (F) 3D-узловая сетка. Узлы A и B разделены максимальным манхэттенским расстоянием.

    Всякий раз, когда сообщение синхронизации получено узлом CN, он может покинуть барьер и перейти к обработке следующего алгоритмического временного шага.Однако необходимо выполнить два дополнительных условия: (i) все пики, отправленные другими узлами, были получены, и (ii) все полученные пики были обработаны, и циклический буфер соответственно обновлен. Условие (ii) в достаточной степени выполняется, когда входной FIFO (см. фиг. 5A) пуст, а RTR-блок находится в состоянии IDLE. Однако условие (i) не зависит ни от какого локального состояния данного узла и, следовательно, должно выполняться неявно при получении сообщения синхронизации.В то время как генерация сообщения синхронизации с помощью MN гарантирует, что ни один узел не имеет ожидающих передачи пиков, это не гарантирует, что последний пик был получен за до до приема сообщения синхронизации.

    Достаточным условием для выполнения (i) является обеспечение того, чтобы пакеты AER шли по тому же (детерминированному) маршруту, что и барьерный пакет, а пакеты шипа шли по тому же маршруту, что и пакет синхронизации. По этой причине полезно иметь MN для широковещательной передачи не только пакетов синхронизации, но и пакетов шипов (см.Рисунок 5С). CN отправляют шипы в виде AER-пакетов в MN, используя протокол одноадресной маршрутизации, ср. Рисунок 5Б. На MN AER-пакет преобразуется в шип-пакет и транслируется на все CN системы. Таким образом, шип-пакет, отправленный CN в MN, проходит точно по тому же маршруту, что и барьерное сообщение, отправленное тем же CN в MN. На MN пакеты AER и барьерные пакеты принимаются в порядке . На стороне получателя CN как принятый синхропакет, так и принятые шиповые пакеты помещаются в очередь в одном и том же входном FIFO, см.Рисунок 5А. Таким образом, сообщение синхронизации обнаруживается управляющей логикой после того, как последний пиковый пакет был извлечен из FIFO. Всплески, действительные для следующего алгоритмического временного шага, могут поступать в FIFO до того, как управляющая логика покинет барьер, и обрабатываются, как только сообщение синхронизации удаляется из FIFO.

    Микроархитектура CsNN и логическое проектирование

    Далее методология проектирования логики будет кратко объяснена на примере модуля решения ОДУ (см.раздел «Вычислительный узел CsNN и поток моделирования»). Простая реализация потока данных и организация памяти показаны на рисунках 7A–C. Существует значительный потенциал оптимизации архитектуры за счет применения конвейерной обработки, параллелизма и мультиплексирования во времени для повышения эффективности с точки зрения производительности и затрат на оборудование. Однако разработка и оценка (многих) вариантов дизайна, основанных на проектах уровня передачи регистров (RTL), может быть трудоемкой и занимать много времени. Это особенно актуально в свете необходимости соответствующих и неочевидных схем планирования, управления и мультиплексирования отдельных потоков данных, а также общей проверки проекта.

    Рисунок 7. Пути данных для точной интеграции ODE. Базовая системная матрица P = {p ij } , представляющая систему ОДУ (1) и (2), имеет верхнетреугольную структуру. Память состояния представлена ​​ как I M,e , I M,i и V , ср. (1) и (2). Обнаруженные всплески сначала блокируются в выходном FIFO, а затем освобождаются, когда маршрутизатор может обработать следующий всплеск. (A) Путь данных для обновления сосредоточенного возбуждающего синаптического входа. (B) Путь данных для обновления сосредоточенного тормозного синаптического входа. (C) Путь данных для обновления напряжения мембраны.

    High-Level-Synthesis (HLS) представляется привлекательной методологией проектирования, позволяющей проводить быстрые эксперименты по проектированию. Хотя, как правило, не весь потенциал оптимизации может быть использован с помощью HLS, он предлагает компромисс между временем проектирования и эффективностью, позволяя проводить количественное исследование проектного пространства.В HLS синтез поведенческих описаний управляется так называемыми директивами синтеза , определяющими, например, конфигурации портов памяти, форматы операндов (например, с плавающей запятой одинарной точности) и структуры данных, ограничения задержки и интервалы инициализации ( II ) в конвейерных путях передачи данных (Xilinx, 2018a). Последнее, в сочетании с соответствующим выбором конфигурации интерфейса памяти, напрямую влияет на степень совместного использования операторами. В дополнение к фактическому пути данных HLS обеспечивает полную логику управления, включая стандартизированные интерфейсы.Это значительно облегчает интеграцию и замену соответствующих логических блоков в существующих конструкциях. В таблице 1 показаны результаты эксперимента по исследованию пространства проектирования для различных блоков решателя ОДУ и параметризации, основанной на блоке, обрабатывающем 32 нейрона LIF в виде петли (т. е. для 256 нейронов на CN необходимо обеспечить восемь параллельных блоков). . Он ясно показывает доступные компромиссы между производительностью (с точки зрения задержки и пропускной способности) и логическими усилиями (с точки зрения созданных операторов): в зависимости от заданной цели проектирования (например,г., минимизация задержки, минимизация использования ресурсов и т. д.) оптимальными оказываются различные параметризации. В качестве примера ниже обсуждается минимизация задержки при ограниченных ресурсах ПЛИС.

    Таблица 1. Результаты простого исследования пространства проектирования решателя ОДУ для различных вариантов синаптических форм и параметризации, предполагающих нейрон LIF.

    Предположим, что блок работает в циклическом режиме и используется для обновления состояния N p нейронов.Общая задержка L Np (в тактовых циклах), необходимая для обновления всех состояний после инициации блока, определяется как L Np = IL + N p × II . Если на CN размещено N нейронов и B блоков работают параллельно, то каждому блоку можно назначить N p = ⌈ N/B ⌉ нейронов. Если конкретный аппаратный ресурс R ∈{LUT, FADD, FMUL, DSP, BRAM} на FPGA ограничен M R единицами и блок с интервалом инициализации II требует M 3

    4 единиц II,R ед. для его реализации, количество реализуемых параллельных блоков B равно B = ⌊ M R /M II,R ⌊0,20Затем оптимизация задержки зависит от минимизации:

    L=IL+II⋅⌈N/⌊MR/MII,R⌋⌉(5)

    Задержка итерации IL практически не зависит от выбора интервала инициации II (например, см. Таблицу 1). IL связан с критическим путем базового алгоритма, а II связан с оператором , разделяющим внутри блока. Выбор больших значений для II позволяет назначить несколько алгоритмических операций реализованному оператору, что потенциально экономит логические ресурсы.Однако для II = 1 количество реализованных операторов M 1,R и количество алгоритмических операций обязательно совпадают. Для больших значений II выполняется неравенство M II,R ≥ ⌈ M II = 1,R /II ⌉. На самом деле минимизация (5) требует оценки архитектурных вариантов на основе обширных вариаций II . Однако во многих случаях хорошая стратегия состоит в том, чтобы сделать II как можно меньше, а количество параллельных блоков B должно быть как можно больше.В некоторых случаях выбор II > 1 может разбить блоки на более мелкие части (т. е. конкретизированные операторы), которые могут лучше (т. е. ближе) соответствовать доступному количеству ресурсов. Это особенно полезно, если один блок с II = 1 не может быть реализован из-за нехватки ресурсов. На основе результатов обширного исследования проектного пространства может быть выбрано оптимальное решение, которое в достаточной степени удовлетворяет требованиям к производительности и требованиям к ресурсам. Подробная оценка производительности различных моделей нейронов и решателей ОДУ приведена в разделе «Производительность альтернативных моделей нейронов и решателей обыкновенных дифференциальных уравнений».

    Генерация сети CsNN

    С целью оценки работоспособности CsNN на INC-3000 реализована микросхема. Параметры для решателя ОДУ с точным экспоненциальным интегрированием (начальные состояния, коэффициенты, пороги и настройка буфера задержки), параметры для модуля RTR на узле (начальные числа для TBRNG, длины последовательностей L i ), а параметры настройки маршрутизатора определялись в автономном режиме на хост-компьютере. Главный ПК включает в себя процессор Intel Xeon Gold 6130, работающий на частоте 2.1 ГГц и имеет 48 ГБ основной памяти с тактовой частотой 2666 МГц. Отправной точкой настройки является NEST-описание микросхемы (77 169 нейронов, разделенных на восемь популяций, и 0,3 миллиарда синапсов). Эта сеть сначала транслируется в список однозначных связей между пресинаптическими нейронами и постсинаптическими нейронами, включающий индивидуальные значения синаптической силы J , синаптической задержки D , индекса пресинаптических нейронов δ и индекса постсинаптических нейронов N. .Набор нейронов разделен в соответствии с принадлежностью к популяции и равномерно распределен среди набора из 305 CN. Основываясь на конкретном назначении нейронов узлам, конкретные подсети извлекаются из описания сети на основе списка. Индивидуальные статистические данные для распределения силы синапсов, распределения синаптической множественности и распределения задержек были извлечены из подсетей и алгоритмически преобразованы в параметризацию для MTBRNG блоков RTR.На основе параметризации MTBRNG соответствующие длины последовательностей L i,k были алгоритмически оптимизированы для любого возможного пресинаптического нейрона δ p и для любого возможного вычислительного узла k . Затем случайным образом задавались начальные условия для памяти состояний решателя ОДУ и буфера задержки блока РТР. Параметры для TBRNG, представляющих внешний ввод, были получены на основе распределения Пуассона, конкретных скоростей срабатывания популяции и синаптического веера.Здесь TBRNG способны представлять 32 различных выходных значения, что эквивалентно максимальному количеству импульсов, равному 31 входному импульсу на нейрон и временной шаг. Для каждого узла полная параметризация требует объема памяти примерно 1,14 МБ, в то время как представление всей сети в сумме составляет примерно 348 МБ. Для первоначального сетевого представления потребуется более 2,5 ГБ памяти, но MTBRNG-представление сети обеспечивает эффективный коэффициент сжатия 7. Представление на основе TBRNG не только ускоряет маршрутизацию на узле, но и ускоряет настройку. системы INC-3000.В то время как генерация данных конфигурации на хост-компьютере занимает примерно 115 с по настенным часам, загрузка конфигурации в INC-3000 занимает менее 96 с.

    Результаты

    Выход из строя FPGA-ресурсов

    На рисунках 8A, B показано распределение ресурсов реализованной схемы со ссылкой на рисунок 3A. После синтеза и Place-and-Route для реализации архитектуры CsNN было использовано 49 % поисковых таблиц, 27 % триггеров, 74 % BRAM и 12 % DSP.Хотя архитектура CsNN покрывает лишь небольшую часть логических ресурсов (LUT и FF), выделяется большая часть доступной блочной ОЗУ. На рисунке 8B показано, что большая часть памяти BRAM интегрирована в модуль генерации сети (RTR), который, в частности, содержит начальные таблицы, представляющие сетевую архитектуру на узле. Несмотря на то, что подход на основе MTBRNG обеспечивает значительное сокращение требуемого объема памяти для представления случайных сетей, память по-прежнему остается (теперь с точки зрения ресурсов) критическим элементом архитектуры.

    Рисунок 8. Общая структура ресурсов, включая логику маршрутизатора узла (A) , структура ресурсов архитектуры CsNN без логики маршрутизатора узла (B) , структура задержки временного шага (C) .

    Архитектура CsNN включает восемь параллельных конвейеров для реализации решателей ОДУ и генераторов импульсов Пуассона (каждый из которых обслуживает до 32 целевых нейронов) и один конвейер для модуля RTR. Ресурсы для каждого конвейера распределяются почти равномерно.Обратите внимание, что очень простая система ODE должна быть решена с одной стороны, и простая CB была реализована в RTR-блоке. Как будет показано в разделе «Производительность альтернативных моделей нейронов и решателей ОДУ», относительная разбивка изменится, когда будут реализованы сложные нейросинаптические модели.

    Производительность

    Чтобы проверить подход к реализации сети CsNN и одновременно определить его производительность на INC-3000, система была настроена на моделирование 15 мин.биологического реального времени (9 000 000 временных шагов Δ t = 100 мкс). Каждый узел был настроен для хранения локально сгенерированных всплесков в подключенной памяти DDR3 (см. рис. 3A). Несколько счетчиков циклов были интегрированы и подключены к логике узла, которая записывает прошедшие циклы между последовательными логическими временными шагами. На рисунке 6D показан результат общей производительности INC-3000. Распределение прошедших тактов показывает более или менее узкий ход. Количество синапсов на аксон может изменяться (отражаемое параметрами L ), что также подтверждается рисунком 6Е, показывающим прошедшее количество циклов для развертывания структуры синаптической связи.В среднем между последовательными алгоритмическими временными шагами проходит 3695 тактовых циклов, что эквивалентно 24,63 мкс (при тактовой частоте 150 МГц). Поскольку алгоритмический временной шаг представляет собой Δ t = 100 мкс, предлагаемое аппаратное обеспечение достигает коэффициента ускорения более 4,06, что, насколько нам известно, значительно больше, чем у доступных в настоящее время цифровых аппаратных платформ (Knight and Nowotny, 2018; van Albada et al., 2018; Kurth et al., 2020; Rhodes et al., 2020).

    На рис. 8C показано распределение прошедших тактовых циклов между последовательными временными шагами в трех различных условиях.На рисунке 8C (только синхронизация) показано состояние, при котором ни один из вычислительных узлов не доставил всплеск. Следовательно, блок RTR неактивен на этом временном шаге. Задержка временного шага определяется внешним генератором стимулов, задержкой блока ODE и задержкой синхронизации. Ясно, что это условие представляет собой наилучшее условие, включающее минимальную задержку временного шага. Напротив, на фиг. 8C (наихудший случай) показано состояние, которое характеризуется высокой частотой появления всплесков.Затем на каждом узле локальные блоки RTR создают локальную для узла структуру межсоединений для каждого входящего пикового события. Здесь задержка цикла определяется конкретным узлом, для которого количество истекших циклов блока RTR достигает максимального числа. По сравнению со средним случаем (рис. 8C, средняя пиковая нагрузка) наблюдаемый наихудший случай требует × 1,75 тактовых циклов для завершения временного шага моделирования. Это, однако, иллюстрирует преимущество реализации средств для синхронизации узлов. В системе с фиксированным временем настенных часов для перехода от одного временного шага к другому должны быть заранее определены условия наихудшего случая.Хотя это конкретное наихудшее условие может быть трудно определить заранее, существует определенная вероятность того, что это условие недооценено, что имеет прямое следствие потенциальной потери пика. Переоценка, в свою очередь, приводит к потере производительности. В INC-3000 предлагаемая синхронизация узлов на основе барьера гарантирует связь без потерь всплесков и обеспечивает производительность со средней задержкой временного шага. В конечном итоге это приводит к ускорению как минимум в 1,75 раза по сравнению с подходом с фиксированными настенными часами.

    Производительность для альтернативных моделей нейронов и решателей обыкновенных дифференциальных уравнений

    Далее, в качестве дополнения к оценке производительности стандартной LIF-модели, была разработана минимизация задержки для различных линейных и нелинейных нейросинаптических моделей и разработаны стратегии решателя ОДУ.

    В то время как для чисто линейных моделей [LIF и MAT2 (Yamauchi et al., 2011), обе с синаптической связью на основе CUBA], можно применить метод точного интегрирования (Rotter and Diesmann, 1999), но для нелинейных ОДУ требуется определенные числовые стратегии.Здесь был реализован метод Паркера-Сохацкого (PS) (Stewart and Bair, 2009) для решения нелинейной системы ОДУ. PS- q оценивает точных коэффициентов ряда Маклорена искомого решения до заданного порядка q . Для оценки PS- q диапазон q был установлен на 1 ≤ q ≤ 6. Стандартный интегратор Рунге-Кутта порядка 4 (RK4) был реализован для сравнения с PS-4, который показывает работать немного хуже.Наконец, модифицированный интегратор Эйлера (RK2) и стандартный интегратор прямого Эйлера (RK1) сравнивали с PS-2 и PS-1 соответственно. Были рассмотрены три типа нелинейностей: синаптическая связь на основе проводимости (COBA), мембранная динамика нейронов, определенная Ижикевичем (2003), и мембранная динамика нейронов, определенная адаптивной экспоненциальной моделью IAF (Brette and Gerstner, 2005). . Для синапсов использовались δ-форма, экспоненциальное затухание и α/β-образные ядра (два сосредоточенных синапса: возбуждающий и тормозной) для оценки ОДУ-систем с разным количеством связанных динамических переменных.

    Для последующей оценки моделей и стратегий решателя были указаны M LUT и M DSP (см. раздел «Генерация сети CsNN»), которые определяют верхний предел допустимых ресурсов для реализация заданной ОДУ-системы и нейросинаптической модели соответственно. В рамках выбранного набора ОДУ-систем и прикладных решателей (см. дополнительные таблицы 1–3) наиболее ресурсоемкой нейросинаптической моделью был LIF-нейрон с COBA-связанными α/β-образными синаптическими ядрами, обрабатываемыми ПС-6.Здесь один реализованный конвейер с II = 1 потребляет 17 % LUT-ресурсов ( M LUT = 37 073 единиц) FPGA и 58,22 % доступных DSP-единиц ( M 4 DSP = 524 единицы) для реализации операторов с плавающей запятой. Отметим, что при таком конкретном выборе в любом случае оставалось достаточно ресурсов ПЛИС для дополнительной реализации логики маршрутизатора и системы связи. Также обратите внимание, что реализованные блоки ODE содержат полную логику для обнаружения спайков, обработки рефрактерных периодов и настройки блока.

    Для определенной системы ODE I , минимизация задержки было проведено так, что м LUT M LUT, I и м DSP ≥ M DSP,i сохраняли при изменении интервала инициации II . Однако выбор II = 1 всегда приводит к наименьшей латентности для всех рассмотренных случаев. В более сложных случаях (т. M LUT и M DSP одинаково определили ресурсные ограничения, что свидетельствует о том, что соотношение M i / M DSP,i здесь приближается к константе. Напротив, более простые системы ODE и/или решатели низкого порядка требуют больше ресурсов LUT по сравнению с ресурсами DSP, что в основном вызвано накладными расходами на подключенную логику, используемую для обнаружения пиков, настройки и управления.

    На основе результатов экспериментальных характеристик (рис. 6) и результатов синтеза (дополнительные таблицы 1–3, параметр T 256 ) для различных анализируемых блоков ODE получен конкретный коэффициент ускорения G BRT . Проекция действительна в предположении, что статистика спайков первого порядка инвариантна по отношению к базовой нейросинаптической модели (которая требует специальной параметризации), выполнение ОДУ-единицы находится на критическом пути (который задан для текущая реализация), а блок ОДУ выполняется только один раз в течение временного шага Δ t ∼ 0.1 мс (т. е. нет деления временного шага). Однако для некоторых решателей ОДУ, таких как PS-1, может потребоваться переход к меньшим значениям Δ t , чтобы числовые ошибки оставались в допустимых пределах. Подшаг исключен из обсуждения. Результаты показывают, что производительность системы INC-3000 варьируется примерно на 7% даже в предположении относительно сложных нейросинаптических моделей: задержка обновления полного набора переменных состояния значительно ниже задержки синхронизации в системе связи.Хотя решатель ОДУ участвует в критическом пути всего цикла моделирования, его влиянием можно практически пренебречь по сравнению с влиянием связи.

    Правильность

    Модели нейронных сетей и их симуляции являются важными целями для проверки и проверки, особенно когда они реализованы на специализированных аппаратных архитектурах. Детали, зависящие от реализации, такие как числовая точность математических операций, выполняемых на оборудовании, выбор алгоритмов (например,g., выбор метода решателя ОДУ), а также параметры симуляции и модели влияют на правильность результата симуляции. Неправильно реализованные или выбранные, они, наконец, могут вызвать отклонения в динамике сети и изменить характеристики активности нейронной сети в масштабах всей популяции. Даже экспертам в предметной области может быть трудно судить о правильности результатов моделирования. Это тем более верно в отсутствие экспериментальных данных проверки, таких как биологические данные электрофизиологических записей, чтобы определить основную истину.

    Далее мы описываем подход к проверке и проверке, используемый для демонстрации правильности реализации микросхемы на нейронном суперкомпьютере IBM INC-3000.

    Методы

    Важнейшими аспектами являются как правильность технической реализации, т. е. то, что каждый компонент делает то, что он должен делать, так и согласованность результатов прогностического моделирования с определенной базовой истиной. Процессы обеспечения этого называются верификацией и валидацией.Вместе они накапливают доказательства правильности или точности модели (Thacker et al., 2004; Gutzen et al., 2018; Trensch et al., 2018).

    Для описания характеристик поведения нейронной сети рассчитываются специальные статистические данные для количественного определения характеристик сетевой активности. Эти меры также предоставляют инструменты для систематического процесса проверки. Далее мы выделяем три показателя возрастающей сложности, распределения которых использовались для проверки результатов моделирования реализации микросхемы.

    Средняя частота срабатывания : Средняя частота срабатывания определяет меру, характеризующую уровень сетевой активности

    FR=nspT,(6)

    , где n SP — количество пиковых событий за интервал времени T .

    Коэффициент вариации : Измерение анализирует изменчивость интервалов между пиками

    CV=1n-1∑i=1n(ISIi-ISI¯)2ISI¯ ,ISIi=ti+1-ti,ISI¯=1n∑i=1nISIi,(7)

    , где n — количество межспайковых интервалов ISI i .В (7) t i обозначают упорядоченные времена спайков нейрона, а ISI¯ — среднее значение ISI (Shinomoto et al., 2003).

    Коэффициент корреляции Пирсона : Попарный коэффициент корреляции Пирсона определяет меру, которая определяет количественную оценку временной корреляции двух группированных последовательностей пиков ( i , j ) при желаемом размере ячейки. Он определяется уравнением

    C[i,j]=,(8)

    , где <.,.> — скалярное произведение двух векторов. B I и J 4 J J Обозначим в Bined Spike Tears и μ I и μ J — их соответствующие средства (ГРУЭН и Роттер, 2010).

    Для количественной оценки временной корреляции всех последовательностей спайков в популяции вычисляется матрица N × N попарных коэффициентов корреляции Пирсона между всеми комбинациями N объединенных последовательностей спайков.

    Проверка

    Для достижения достаточной численной точности на КС IBM INC-3000 приняты следующие проектные решения: (а) все расчеты выполняются с 32-битной одинарной точностью, (б) для метода решателя ОДУ применена схема точной интеграции была реализована и (в) временное разрешение нейросетевого моделирования на основе сетки было установлено равным 0,1 мс, что соответствует наименьшей задержке соединения в модели микросхемы. Эти проектные решения согласуются с реализациями моделей микросхем с использованием хорошо зарекомендовавших себя инструментов моделирования нейронных сетей, таких как NEST (Gewaltig and Diesmann, 2007) или нейроморфной системы SpiNNaker (Rhodes et al., 2020). Обратите внимание, что SpiNNaker использует 32-битный формат с фиксированной точкой для представления переменных состояния.

    Методология проектирования логики высокоуровневого синтеза (HLS) позволяет описать модель микросхемы на языке C, что кратко описано в разделе «Микроархитектура CsNN и проектирование логики». HLS абстрагируется от методологии проектирования уровня передачи регистров (RTL), скрывая сложные и трудные для проверки детали аппаратной реализации. Качество и правильность вывода компилятора HLS зависит от этой реализации C.Таким образом, для проверки исходного кода (подтверждения того, что реализованная функциональность работает должным образом), а также для проверки расчетов (выявления и устранения ошибок в численном моделировании) реализации, моделирования и тестирования на уровне C достаточно, и они были выполнены соответственно.

    Валидация

    Из-за отсутствия экспериментальных данных мы определили как достоверные результаты, полученные при моделировании кортикальной микросхемы с использованием симулятора NEST, опубликованные в van Albada et al.(2018). Чтобы судить о правильности реализации микросхемы на нейронном суперкомпьютере IBM INC-3000 и количественно оценить точность результатов моделирования, мы сравнили результаты, полученные при моделировании NEST, с результатами, полученными при реализации IBM INC-3000. Эта методология, в которой реализация модели сравнивается с надежной эталонной реализацией той же модели, была названа обоснованием в Gutzen et al. (2018 г.); Тренш и др. (2018).

    Моделирование модели корковой микросхемы создает переходный феномен, демонстрирующий более высокую сетевую активность в течение первых 1000 мс моделируемого времени.Таким образом, для обеих симуляций 15 мин. Данные о сетевой активности, используемые для анализа, были собраны после этого переходного процесса, чтобы обеспечить стабильное состояние сетей.

    Сравнение

    Мы сравнили вероятности распределения трех характерных показателей: скорострельности (FR), коэффициентов вариации (CV) и коэффициентов корреляции Пирсона (CC), рассчитанных по 15 мин. смоделированное время. Результаты показаны на рисунке 9. Для расчета коэффициента корреляции Пирсона серии спайков были разделены на группы по 2 мс, т.е.е., намного больше, чем квантование 100 мкс, вызванное моделированием на основе сетки. Все показатели для всех популяций корковой микросхемы хорошо согласуются и показывают статистическую эквивалентность.

    Рисунок 9. Оценка обоснования: Количественное сравнение трех характеристических показателей из 15 мин. сетевая активность, полученная при моделировании корковой микросхемы на нейронном суперкомпьютере IBM INC-3000 и симуляторе NEST. Распределения вероятностей слева направо: средняя частота срабатывания (FR), коэффициент вариации (CV) и коэффициент корреляции Пирсона (CC), последовательности спайков группируются в точном временном масштабе 2 мс.Все показатели для всех слоев корковой микросхемы находятся в близком соответствии.

    Обсуждение

    Нейронный суперкомпьютер INC-3000 от IBM состоит из 16 карт INC, каждая из которых содержит 27 реконфигурируемых SoC от Xilinx. Каждый SoC подключен к 1 ГБ SDRAM и имеет как программируемую логическую систему (PL, 218 600 таблиц поиска, 437 200 триггеров, 19,2 МБ памяти), так и систему обработки на базе ARM A9 (PS, 2 ядра ARM). хорошо. Кроме того, каждая SoC содержит 16 последовательных приемопередатчиков, до 12.Скорость передачи данных 5 Гбит/с. Используя эти приемопередатчики, узлы машины INC-3000 соединяются между собой топологией ячеистой сети 12 × 12 × 3. Для моделирования корковой микросхемы использовалась только программируемая часть (ПЛ) узлов СнК. Арифметические единицы (сложение, умножение и сравнение) последовательно реализованы с точностью до одного числа с плавающей запятой. Была применена стратегия реализации проекта, основанная на синтезе высокого уровня (HLS), которая позволяет быстро исследовать пространство проектирования с различными параметризациями проекта (например,g., количество конвейеров, степень совместного использования ресурсов и конфигурация интерфейса памяти) и уравнения модели/решателя. Во-первых, исходная корковая микросхема, состоящая из нейронов LIF и синапсов экспоненциального распада на основе CUBA, была смоделирована с ускорением 4,06 по отношению к биологическому реальному времени с использованием точного экспоненциального интегрирования. Здесь особенно важной операцией архитектуры симулятора был поиск параметров синапса в памяти. Здесь было разработано и реализовано новое сетевое представление, основанное на последовательностях псевдослучайных чисел.Начальные числа для генераторов случайных чисел используются для представления небольших локализованных соединений с целевыми нейронами, связанных с ними индивидуальных весов, синаптических задержек и синаптической множественности (также известных как мультитапсы). Для каждого параметра (задержки, веса и кратности) могут сохраняться практически произвольные функции распределения. В частности, непрерывные функции распределения были дискретизированы с использованием варианта метода Уокера. Предлагаемый метод эффективно приводит к значительному уменьшению размера набора данных, необходимого для настройки симулятора, более чем в 7 раз, в то время как время настройки также может быть значительно сокращено до нескольких минут для архитектуры с 306 узлами.Обратите внимание, что предлагаемый метод не ограничивается статическими сетями. В частности, для учета синаптической пластичности концепция может быть расширена для использования в гибридном режиме, как уже упоминалось Roth et al. (1997) — например, путем сохранения значений синаптических весов во внешней ОЗУ, в то время как сетевое подключение и дендритные задержки генерируются параллельно процедурными операторами на основе ГПСЧ, что может сократить трафик в систему памяти и из нее только для синаптических весов.Справедливость предложенного подхода была успешно проверена путем сравнения с эталонными результатами моделирования, полученными в NEST. Чтобы проверить гибкость архитектуры моделирования на основе FPGA, сети с нелинейными моделями нейронов и синаптической связью на основе проводимости были синтезированы с использованием HLS-подхода и оценены с точки зрения производительности и требований к ресурсам. Были исследованы как модель нейрона Ижикевича, так и модель AdEx в сочетании с синаптической связью в форме экспоненциального распада, альфа-функции и бета-функции.Во всех случаях коэффициент ускорения времени моделирования не уменьшался более чем на несколько процентов. В частности, оказывается, что ограничения по задержке коммуникационной системы машины IBM-INC ограничивают общий коэффициент ускорения. Архитектура межсоединений системы INC-3000 организована как трехмерная сетка, состоящая из 12 × 12 × 3 узлов. Задержка пакетов в наихудшем случае увеличивается пропорционально диаметру лежащего в основе прямоугольного параллелепипеда, включающего набор активных вычислительных узлов. В то время как в высокоструктурированных сетях радиус действия пакета спайка в среднем может быть ограничен, микросхема эффективно обеспечивает почти полное соединение для всех реализуемых способов декомпозиции сети.Следовательно, любой шип-пакет, сгенерированный где-то в системе, должен быть также получен всеми остальными узлами. К счастью, пиковая задержка пакета зависит от пространственного положения узла, инициирующего пакет (узлы, расположенные в центре прямоугольного параллелепипеда, имеют более короткие пути в худшем случае, чем узлы, расположенные на краях). Ситуация кажется иной для синхронизации узлов на основе барьера. Здесь каждый узел должен отправить пакет, содержащий барьерное сообщение, в MN (расположенный в центре прямоугольного параллелепипеда), а MN рассылает обратно всем узлам сообщение SYNC.Следовательно, задержка для синхронизации узлов оказывается эквивалентной задержке в наихудшем случае, определяемой наибольшим расстоянием между узлами, расположенными в углах прямоугольного параллелепипеда. Тем не менее было показано, что подход к синхронизации узлов, основанный на барьерных сообщениях, имеет значительные преимущества. Синхронизация узлов приводит к дальнейшему повышению производительности как минимум в 1,75 раза (средняя переменная синхронизация настенных часов по сравнению с наихудшим случаем фиксированной синхронизации настенных часов, в конечном итоге включая потери пиковых значений).Наконец, узловая архитектура на основе ПЛИС имеет большие преимущества для реализации передовых численных стратегий решения сложных ОДУ-систем. Ограничения в основном связаны с ограниченным объемом доступной локальной памяти на базе BRAM.

    Заявление о доступности данных

    Оригинальные материалы, представленные в исследовании, включены в статью/дополнительный материал, дальнейшие запросы можно направлять соответствующему автору/авторам.

    Вклад авторов

    AH разработал концепцию CsNN в сотрудничестве с TN, внедрил и проверил CsNN на INC-3000, а также основным автором статьи.TN разработала концепцию CsNN в сотрудничестве с AH. WW основал и возглавляет проект «Машинный интеллект» в IBM Research, где был задуман и построен INC 3000. CC был главным разработчиком аппаратного обеспечения системы IBM Neural Computer. GP внес свой вклад, предоставив критический обзор, отзывы и корректуру рукописи. GT участвовал в проверке и написании рукописи с разделом «Правильность». MD внес свой вклад в первоначальный проект и отредактировал рукопись. Все авторы внесли свой вклад в статью и одобрили представленную версию.

    Финансирование

    Этот проект получил финансирование от Инициативного и сетевого фонда Ассоциации Гельмгольца под номером проекта SO-092 (Advanced Computing Architecture, ACA).

    Конфликт интересов

    CC и WW использовались исследовательским отделом IBM, исследовательским центром Almaden, Сан-Хосе, Калифорния, США.

    Остальные авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

    Примечание издателя

    Все претензии, изложенные в этой статье, принадлежат исключительно авторам и не обязательно представляют претензии их дочерних организаций или издателя, редакторов и рецензентов. Любой продукт, который может быть оценен в этой статье, или претензии, которые могут быть сделаны его производителем, не гарантируются и не поддерживаются издателем.

    Дополнительный материал

    Дополнительный материал к этой статье можно найти в Интернете по адресу: https://www.frontiersin.org/articles/10.3389/fnins.2021.728460/full#supplementary-material

    Сноски

    Каталожные номера

    Ассеман, А., Антуан, Н., и Озджан, А.С. (2020). Ускорение глубокой нейроэволюции на распределенных ПЛИС для задач обучения с подкреплением. arXiv [Препринт]. архив: 2005.04536v1

    Академия Google

    Беколай Т., Бергстра Дж., Хансбергер Э., ДеВольф Т., Стюарт Т., Расмуссен Д. и соавт.(2014). Nengo: инструмент Python для построения крупномасштабных функциональных моделей мозга. Фронт. Нейроинформ. 7:48. doi: 10.3389/fnif.2013.00048

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Блэкман, Д., и Винья, С. (2018). Зашифрованные линейные генераторы псевдослучайных чисел. arXiv [Препринт]. arxiv:1805:01407

    Академия Google

    Бретт Р. и Герстнер В. (2005). Адаптивная экспоненциальная модель «интегрируй и стреляй» как эффективное описание активности нейронов. J. Нейрофизиол. 94, 3637–3642. doi: 10.1152/jn.00686.2005

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Бретте Р., Рудольф М., Карневале Т., Хайнс М., Биман Д., Бауэр Дж. М. и др. (2007). Моделирование сетей спайковых нейронов: обзор инструментов и стратегий. Дж. Вычисл. Неврологи. 23, 349–398. doi: 10.1007/s10827-007-0038-6

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Брюнель, Н. (2000).Динамика редко связанных сетей возбуждающих и тормозных спайковых нейронов. Дж. Вычисл. Неврологи. 8, 183–208. дои: 10.1023/A:1008

    9027

    Полнотекстовая перекрестная ссылка | Академия Google

    Каллер, Д., Сингх, Дж. П., и Гупта, А. (1998). Параллельная компьютерная архитектура: программно-аппаратный подход. Серия Моргана Кауфмана по компьютерной архитектуре и дизайну. Сан-Франциско, Калифорния: Morgan Kaufmann Publishers Inc.

    Академия Google

    Эйневолл, Г.T., Destexhe, A., Diesmann, M., Grün, S., Jirsa, V., de Kamps, M., et al. (2019). Научное обоснование симуляции мозга. Нейрон 102, 735–744. doi: 10.1016/j.neuron.2019.03.027

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Элиасмит, К., Стюарт, Т.С., Чу, X., Беколай, Т., ДеВольф, Т., Танг, Ю., и другие. (2012). Масштабная модель функционирующего мозга. Наука 338, 1202–1205. doi: 10.1126/science.1225266

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Фербер, С.Б., Галлуппи Ф., Темпл С. и Плана Л. А. (2014). «Проект SpiNNaker», в Proceedings of the Institute of Electrical and Electronics Engineers , Vol. 102 (Пискауэй, Нью-Джерси: IEEE), 652–665. doi: 10.1109/JPROC.2014.2304638

    Полнотекстовая перекрестная ссылка | Академия Google

    Гевалтиг, М.-О., и Дисманн, М. (2007). NEST (инструмент нейронного моделирования). Scholarpedia 2:1430. doi: 10.4249/scholarpedia.1430

    Полнотекстовая перекрестная ссылка | Академия Google

    Груэн, С.и Роттер, С. (2010). Анализ параллельных последовательностей шипов , Vol. 7. Бостон, Массачусетс: Спрингер. дои: 10.1007/978-1-4419-5675-0

    Полнотекстовая перекрестная ссылка | Академия Google

    Гутцен Р., фон Папен М., Тренш Г., Квальо П., Груен С. и Денкер М. (2018). Воспроизводимое моделирование нейронных сетей: статистические методы проверки модели на уровне данных о сетевой активности. Фронт. Нейроинформ. 12:90. doi: 10.3389/fnif.2018.00090

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Хойслер, С.и Маасс, М. (2007). Статистический анализ свойств обработки информации в моделях микросхем коры, специфичных для пластинок. Церебр. Кортекс 17, 149–162. doi: 10.1093/cercor/bhj132

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Янке А., Рот У. и Шёнауэр Т. (1999). «Цифровое моделирование импульсных нейронных сетей», в Pulsed Neural Networks , редакторы В. Маасс и К. М. Бишоп (Кембридж, Массачусетс: MIT Press). дои: 10.1142/S012

    9

    02

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Касабов Н.К. (2014). NeuCube: спайковая архитектура нейронной сети для картирования, изучения и понимания пространственно-временных данных мозга. Нейронная сеть. 52, 62–76. doi: 10.1016/j.neunet.2014.01.006

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Найт, Дж. К., и Новотны, Т. (2018). Графические процессоры превосходят текущие высокопроизводительные и нейроморфные решения с точки зрения скорости и энергии при моделировании модели коры головного мозга с высокой степенью связи. Фронт. Неврологи. 12:941. дои: 10.3389/fnins.2018.00941

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Найт, Дж. К., и Новотны, Т. (2021). Более масштабные симуляции мозга с ускорением на графическом процессоре и процедурным подключением. Нац. вычисл. науч. 1, 136–142. doi: 10.1038/s43588-020-00022-7

    Полнотекстовая перекрестная ссылка | Академия Google

    Курт А., Финнерти Дж., Терхорст Д., Пронольд Дж., Сенк Дж. и Дисманн М. (2020). «Моделирование в субреальном времени модели корковой микросхемы полной плотности на одном вычислительном узле», в Proceedings of the Bernstein Conference 2020 , Berlin.DOI: 10.12751/nncn.bc2020.0221

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Лапик, Л. (1907). Количественные исследования электрического возбуждения нервов и поляризации. J. Physiol. Патол. Генерал 9, 620–635.

    Академия Google

    Маркрам, Х., Мюллер, Э., Рамасвами, С., Рейманн, М.В., Абделла, М., Санчес, К.А., и соавт. (2015). Реконструкция и моделирование неокортикальной микросхемы. Сотовый 163, 456–492.doi: 10.1016/j.cell.2015.09.029

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Нараянан, П., Кокс, К.Е., Ассеман, А., Антуан, Н., Хьюкс, Х., Вилке, В.В., и соавт. (2020). Обзор архитектуры нейронного компьютера IBM. arXiv [Препринт]. архив: 2003.11178

    Академия Google

    Пархами, Б. (2002). Введение в алгоритмы и архитектуры параллельной обработки. Нью-Йорк, штат Нью-Йорк: Клувер.

    Академия Google

    Потянс, Т.К. и Дисманн М. (2014). Микросхема коры, специфичная для клеточного типа: взаимосвязь структуры и активности в полномасштабной модели спайковой сети. Церебр. Кортекс 24, 785–806. doi: 10.1093/cercor/bhs358

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Родс, О., Перес, Л., Роули, А.Г.Д., Гейт, А., Плана, Л.А., Бреннинкмейер, С., и соавт. (2020). Моделирование коры головного мозга в реальном времени на нейроморфном оборудовании. Филос. Транс. Р. Соц. Математика. физ. англ.науч. 378:201. doi: 10.1098/rsta.2019.0160

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    РИКЕН БСИ. (2013). Крупнейшее моделирование нейронной сети, выполненное с использованием K Computer. Вако: пресс-релиз.

    Академия Google

    Рот, У., Эккардт, Ф., Янке, А., и Клар, Х. (1997). «Эффективное онлайн-вычисление связности: архитектура соединительного блока NESPINN», в Proceedings of the MicroNeuro ’97, 1997 , Дрезден, 31–39.

    Академия Google

    Рот, У., Янке, А., и Клар, Х. (1995). «Требования к оборудованию для нейронных сетей, обрабатывающих всплески», в материалах Международного семинара по искусственным нейронным сетям 1995 г. (IWANN’95) , Малага, 720–727. дои: 10.1007/3-540-59497-3_243

    Полнотекстовая перекрестная ссылка | Академия Google

    Роттер С. и Дисманн М. (1999). Точное цифровое моделирование стационарных линейных систем с приложениями к нейронному моделированию. Биол. киберн. 81, 381–402. дои: 10.1007/s004220050570

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Шеммель, Дж., Брюдерле, Д., Грюбл, А., Хок, М., Мейер, К., и Миллнер, С. (2010). «Нейроморфная аппаратная система в масштабе пластины для крупномасштабного нейронного моделирования», в материалах Международного симпозиума IEEE по схемам и системам (ISCAS) 2010 г., Париж, 1947–1950. doi: 10.3389/fnins.2013.00160

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Шмидт, М., Баккер Р., Шен К., Безгин Г., Дисманн М. и ван Альбада С. Дж. (2018). Многомасштабная модель импульсной сети с многоуровневым разрешением динамики состояния покоя в зрительных областях коры макака. Вычисление PLoS. биол. 14:e1006359. doi: 10.1371/journal.pcbi.1006359

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Schmitt, S., Klähn, J., Bellec, G., Grübl, A., Güttler, M., Hartel, A., et al. (2017). «Нейроморфное оборудование в цикле: обучение сети с глубокими импульсами на системе BrainScaleS в виде пластин», в International Joint Conference on Neural Networks (IJCNN) , Anchorage, AK.doi: 10.1109/IJCNN.2017.7966125

    Полнотекстовая перекрестная ссылка | Академия Google

    Скотт, Дж. К., Хейс, Т. Ф., Озкан, А. С., и Уилке, В. В. (2019). Моделирование нейронной функции в искусственной сети Хебба. arXiv [Препринт]. архив: 1912.01088v1

    Академия Google

    Стюарт, Р. Д., и Бэр, В. (2009). Моделирование импульсной нейронной сети: численное интегрирование с методом Паркера-Сохацкого. Дж. Вычисл. Неврологи. 27, 115–133.doi: 10.1007/s10827-008-0131-5

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Такер Б., Доблинг С., Хемез Ф., Андерсон М., Пепин Дж. и Родригес Э. (2004). Концепции проверки и проверки модели. ЛА-14167-МС. Лос-Аламос, Нью-Мексико: Лос-Аламосская национальная лаборатория.

    Академия Google

    Тренш Г., Гутцен Р., Бланделл И., Денкер М. и Моррисон А. (2018). Строгие нейросетевые моделирования: методология обоснования модели для повышения корректности результатов моделирования при отсутствии данных экспериментальной проверки. Фронт. Нейроинформ. 12:81. doi: 10.3389/fnif.2018.00081

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    ван Альбада, С.Дж., Гелиас, М., и Дисманн, М. (2015). Масштабируемость асинхронных сетей ограничена однозначным сопоставлением между эффективной связностью и корреляциями. Вычисление PLoS. биол. 11:e1004490. doi: 10.1371/journal.pcbi.1004490

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    ван Альбада, С.Дж., Пронольд Дж., ван Мееген А. и Дисманн М. (2021). «Использование и масштабирование многозонной модели коры обезьян с открытым исходным кодом», в Brain-Inspired Computing. BrainComp 2019. Lecture Notes in Computer Science , редакторы К. Амунтс, Л. Грандинетти, Т. Липперт и Н. Петков, том 12339 (Cham: Springer), 47–59. дои: 10.1007/978-3-030-82427-3_4

    Полнотекстовая перекрестная ссылка | Академия Google

    ван Альбада, С.Дж., Роули, А.Г., Сенк, Дж., Хопкинс, М., Шмидт, М., Стоукс, А.Б. и др. (2018). Сравнение производительности цифрового нейроморфного оборудования SpiNNaker и программного обеспечения для моделирования нейронных сетей NEST для полномасштабной модели кортикальной микросхемы. Фронт. Неврологи. 12:291. doi: 10.3389/fnins.2018.00291

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Винья, С. (2014). Дальнейшая обработка генераторов xorshift Марсальи. Дж. Вычисл. заявл. Мат. 315, 175–181. doi: 10.1016/j.cam.2016.11.006

    Полнотекстовая перекрестная ссылка | Академия Google

    Восе, М.Д. (1991). Линейный алгоритм генерации случайных чисел с заданным распределением. IEEE Trans. ПО англ. 17, 972–975. дои: 10.1109/32.

    Полнотекстовая перекрестная ссылка | Академия Google

    Уокер, Эй Джей (1974). Новый быстрый метод генерации дискретных случайных чисел с произвольным распределением частот. Электрон. лат. 10, 127–128. дои: 10.1049/эл:19740097

    Полнотекстовая перекрестная ссылка | Академия Google

    Уокер, Эй Джей (1977). Эффективный метод генерации дискретных случайных величин с общим распределением. ACM Trans. Мат. ПО 3, 253–256. дои: 10.1145/355744.355749

    Полнотекстовая перекрестная ссылка | Академия Google

    Силинкс (2018b). Zynq-7000 All Programmable SoC, техническое справочное руководство (UG585). Доступно в Интернете по адресу: www.xilinx.com (по состоянию на 1 декабря 2018 г.).

    Академия Google

    Силинкс (2018а). Руководство пользователя Vivado Design Suite, синтез высокого уровня (UG902). Доступно в Интернете по адресу: www.xilinx.com (по состоянию на 1 декабря 2018 г.).

    Академия Google

    Ямаути С., Ким Х. и Шиномото С. (2011). Элементарная модель импульсирующих нейронов для воспроизведения различных паттернов срабатывания и прогнозирования точного времени срабатывания. Фронт. вычисл. Неврологи. 5:42. doi: 10.3389/fncom.2011.00042

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Стохастические вычисления в моделях корковых микросхем

    Состояния сети и распределения состояний сети

    марковских состояний.

    Марковское состояние (или, точнее, ) сети в момент времени определяется здесь как недавняя история импульсов всех нейронов в сети в течение периода . Термин «марковский» относится к тому факту, что в мягких условиях и для достаточно длинного окна сетевая динамика нейронного контура по прошествии времени становится независимой от активности сети в раз, при заданном марковском состоянии и внешнем входе. Следовательно, сетевая динамика обладает марковским свойством по отношению к этому определению состояния.

    Для каждого нейрона в нейронной цепи история спайков длины определяется как список времен спайков, испускаемых нейроном в пределах окна. Пиковое время считается относительно начала окна в . Если – число спайков внутри нейрона , то список принимает вид, (3)где .

    Обозначим пространство всех возможных состояний сети длины через или, если это однозначно, просто через . Обратите внимание, что это определение эквивалентно определению состояния в [18], к которому заинтересованный читатель отсылается за дальнейшими формальными деталями (например,грамм. ассоциированная -алгебра пространства состояний ).

    Объем теоретических результатов: Требуемые свойства моделей сети и нейронного шума.

    Мы изучаем общие теоретические свойства моделей стохастических импульсных цепей, управляемых некоторыми внешними, возможно векторными, входными данными, которые могут представлять, например, входные скорости в наборе входных нейронов или вводимые входные токи. Формально входная последовательность может принимать значения из любого пространства состояний; конкретным примером является векторный ввод с , где количество входных измерений.

    В этой статье мы рассматриваем две разные модели шума для нейрона: В модели шума I генерация спайков напрямую моделируется как стохастический процесс. Вся сетевая динамика, включая задержки аксонов, синаптическую передачу, краткосрочную синаптическую динамику, дендритные взаимодействия, интеграцию входных сигналов в соме и т. д., может быть смоделирована с помощью функции, отображающей марковское состояние (которое включает недавнюю историю спайков нейрона). себя) на мгновенную вероятность всплеска. Эта модель очень гибкая и может учитывать различные типы нейронного шума.В более конкретной модели шума II предполагается, что механизм срабатывания нейрона является детерминированным, и шум входит в его динамику через стохастическое высвобождение пузырьков на афферентных синаптических входах. Кроме того, для наших теоретических результатов можно предположить комбинации моделей шума I и II в одном и том же нейроне и цепи, например, нейроны с общим стохастическим импульсным механизмом, которые дополнительно обладают стохастическими синапсами, или смеси нейронов из моделей I и II в одном и том же нейроне. схема.

    В модели шума I мгновенная вероятность выброса нейрона во времени определяется следующим образом: (4) Предполагается, что эта мгновенная частота возбуждения во времени ограничена и полностью определяется текущим марковским состоянием сети для некоторого достаточно большого .Точнее, для модели шума I сделаны следующие четыре предположения:

    A 1 Всплески — это отдельные события: Мы предполагаем, что (5) что выполняется, например, если каждый нейрон имеет некоторый независимый источник стохастичности.

    A 2 Ограниченная скорострельность: Мгновенная скорострельность ограничена сверху:

    для некоторых. Полученная верхняя граница общей скорости срабатывания сети обозначается , т. е. . Предполагается, что мгновенные скорости ограничены в любое время и при любом входе.

    A 3 Ограниченная память: Скорость срабатывания во времени зависит от прошлой активности сети только через историю недавних всплесков в конечном окне длины . Следовательно, прямое влияние всплеска во времени на будущую частоту возбуждения всех нейронов ограничено ограниченным «периодом памяти», . Этот ограниченный период памяти можно понимать как нижнюю границу для последующих доказательств сходимости (поскольку меньший период нарушил бы свойство Маркова).В дополнение к этой зависимости ограниченной памяти от пиков сети, может зависеть от текущего ввода любым способом, совместимым с .

    A 4 Однородность во времени: Функциональное отображение недавних всплесков и/или входных сигналов в мгновенную частоту срабатывания не меняется со временем. В частности, в данной работе мы не рассматриваем долговременную пластичность синаптических весов и/или возбудимостей.

    Предположения можно резюмировать следующим образом: Позвольте и быть траекториями входных и сетевых состояний, как определено выше.Тогда существует константа памяти и границы скорости, такие что для каждого нейрона существует функция , где для всех . Эта функция не зависит от времени, но в других отношениях не имеет ограничений и может фиксировать сложные динамические эффекты, такие как нелинейные дендритные взаимодействия между синаптическими входами или кратковременная пластичность синапсов.

    Входной сигнал может формально представлять собой любую переменную, которая оказывает произвольное влияние на мгновенную динамику сети (функции возбуждения нейронов).В простейшем случае это может быть вектор скоростей срабатывания, контролирующий пиковое поведение набора входных нейронов, например, в этих нейронах. В этом случае (на котором мы сосредоточились в основном тексте) входные нейроны формально считаются частью схемы. Обратите внимание, что в принципе может также представлять силу токов, которые вводятся в подмножество нейронов в сети, или недавнюю историю всплесков набора внешних входных нейронов («входные марковские состояния»). Если вход содержит скорости или токи, они могут быть либо фиксированными (т.грамм. фиксированные входные скорости срабатывания) или динамически изменяющиеся (в частности, скорости, которые либо подвержены стохастической эргодической динамике, либо периодически меняющиеся скорости). Ниже будут представлены доказательства сходимости как для фиксированных, так и для динамических входных условий. Если вход определяется в терминах входных марковских состояний, динамический анализ входа применим при условиях, описанных ниже.

    В модели шума II основным стохастическим событием является выброс синаптических пузырьков (в модели шума I это спайк).Соответственно, марковское состояние сети в модели шума II определяется как список моментов высвобождения везикул для каждого сайта синаптического высвобождения в сети (вместо временных интервалов спайков для каждого нейрона). Здесь мы предполагаем, что каждый сайт синаптического высвобождения высвобождает в данный момент не более одного пузырька, заполненного нейротрансмиттерами. Но синаптическая связь между двумя нейронами может состоять из нескольких участков синаптического высвобождения (см. обзоры [102], [103] и [3]). Вместо того, чтобы выражать динамику сети через функцию вероятности мгновенного возбуждения для каждого нейрона (модель шума I), для модели шума II динамика сети выражается в терминах вероятностей мгновенного возбуждения для каждого синапса:Как и в модели шума I, предполагается, что существует длина окна , такая, что динамика высвобождения везикул во времени полностью определяется синхронизацией предыдущих высвобождений везикул в пределах , и, следовательно, может быть выражена в терминах соответствующей вариации определение марковского состояния. Применяются те же рамки предположений, что и в модели шума I: выбросы везикул являются отдельными событиями, и предполагается, что функции ограничены сверху константами скоростей.

    Также возможны комбинации модели шума I и II.В этом случае марковское состояние может содержать как время спайка, так и время высвобождения везикул. Предположения шумовой модели I/II, описанные выше, применимы к соответствующим стохастическим нейронам и выбросам пузырьков соответственно. В целом, обратите внимание, что все три типа сетей (на основе моделей I, II и их смесей) основаны на общей системе определений и предположений: во всех случаях динамика описывается в терминах стохастических компонентов (нейроны, синапсы). которые генерируют точечные события (всплески/выпуски пузырьков) в соответствии с мгновенными вероятностями, которые зависят от недавней истории событий в сети.

    Конвергенция распределений состояний.

    Ниже приведены доказательства существования и единственности стационарных распределений состояний сети для рассматриваемых сетевых моделей. Кроме того, даются ограничения на скорость сходимости к этому стационарному распределению. Чтобы получить полную картину, сходимость изучается при трех различных входных условиях: постоянном, стохастическом и периодическом входных данных. Все доказательства подробно описаны для модели шума I. Результаты напрямую переносятся на модель шума II и смеси этих двух моделей, поскольку одни и те же рамки допущений применимы ко всем случаям.

    Сетевая динамика как марковский процесс.

    Мы рассматриваем моделирование модели корковой микросхемы при заданных входных условиях и начиная с заданного начального состояния сети как случайный эксперимент. Формально мы обозначаем множество всех возможных исходов в этом случайном эксперименте через , множество всех рассматриваемых событий через (т. Исход — это результат одного запуска сети.Результат связан с присвоением определенных значений всем определенным случайным переменным. Событие — это набор исходов, например, набор всех исходов, в которых нейронные всплески возникают в течение первых миллисекунд эксперимента. Предположим, это случайная величина с некоторым пространством состояний , т. е. принимает значения в , и представляет собой набор событий в пространстве . Формально такая случайная величина определяется как карта, которая присваивает значение каждому возможному исходу. Чтобы обозначить вероятность того, что случайная величина принимает некоторое значение в множестве, мы определяем сокращенную запись .Кроме того, если это другая случайная величина, мы используем обозначение условных вероятностей и пишем даже короче, когда оно однозначно, . Предполагается, что базовое вероятностное пространство достаточно богато, так что все случайные величины, необходимые в дальнейшем, существуют.

    Мы определяем набор индексов времени и случайный процесс как описание стохастической эволюции марковских состояний сети для . Для каждого момента времени мы определяем случайную величину (также обозначаемую ), представляющую марковское состояние сети в момент времени .принимает значения на пространстве состояний всех возможных марковских состояний некоторой фиксированной длительности. Обозначим через -алгебру, связанную с . Предположения о сети, описанные в предыдущем разделе, подразумевают, что процесс обладает марковским свойством для марковских состояний любой длины, поскольку будущая эволюция процесса тогда полностью независима от прошлого, учитывая текущее марковское состояние. Поэтому для дальнейших доказательств мы предполагаем некоторое . Мы также определяем случайную величину из полных выборочных путей на измеримом пространстве , т.е.е. карта . Реализациями являются выборочные пути (или траектории), т.е. функции , принимающие значения в . Поскольку реализации являются функциями, их можно рассматривать как случайную функцию.

    Для последующих доказательств необходимо следующее определение ядра вероятности перехода : Ядро вероятности перехода в измеримом пространстве состояний есть функция , которая присваивает вероятность переходу из любой точки в любое множество . Точнее, если фиксируется конкретное «начальное состояние», то есть вероятностная мера в его целевом аргументе, соответствующая результату применения переходного ядра к (при этом для каждого события в целевом пространстве -измерима в своем исходный аргумент).Стохастические переходные матрицы цепей Маркова являются, например, ядрами переходных вероятностей.

    Здесь мы пишем для ядра вероятности перехода, соответствующего прогрессии состояния сети от времени к , т. е. (6) Далее мы определяем сокращение для прогрессии продолжительности, начиная с начального времени . Ядра перехода также могут применяться к вероятностным мерам начальных состояний (в отличие от одиночных начальных состояний). Мы будем писать для обозначения результата применения ядра к начальной вероятностной мере.Результатом снова является вероятностная мера, присваивающая вероятность любому событию в пространстве состояний в соответствии с: (7) Поскольку это снова вероятностная мера в пространстве состояний, переходные ядра могут применяться последовательно. Заметим, что в силу марковского свойства при .

    Стохастическая сетевая динамика сокращается.

    Прежде чем изучать конкретные входные условия, разработаем несколько основных ключевых свойств сетевой динамики. Пусть – ядро ​​вероятности перехода, соответствующее продвижению сети от времени к .Для приведенных ниже доказательств особое значение будут иметь переходы в состояние покоя , , . Состояние покоя определяется как «пустое» марковское состояние, в котором в течение последних единиц времени не возникало спайков. Первое ключевое наблюдение состоит в следующем Утверждении:

    Утверждение 1 Рассмотрим вероятность , что процесс будет находиться в состоянии покоя в момент времени , начиная с некоторого начального состояния в момент времени .Эта «вероятность возврата» в состояние покоя ограничена снизу величиной (8) , где . Это выполняется независимо от входной траектории , управляющей сетью.

    Предложение следует непосредственно из того факта, что ограничивает сумму всех мгновенных скоростей срабатывания в сети. Следовательно, по крайней мере с вероятностью ни один нейрон не сработает в течение единиц времени (см. [18]). С технической точки зрения это означает, что стохастическое ядро, соответствующее продолжительности длины, удовлетворяет условию Деблина [104] — свойству, которое очень полезно для доказательства результатов сходимости и эргодичности.

    Предложение 1 влечет за собой свойство центрального сокращения стохастических сетей спайковых нейронов, которое сохраняется при наличии любой входной траектории и формирует основу для нескольких последующих доказательств. Существенными являются следующие определения: Ниже мы будем измерять разницу между любыми двумя распределениями вероятностей и в терминах полной вариации меры со знаком. Любая такая подписанная мера может быть выражена через ее неотрицательные и неположительные компоненты, , где и обе являются неотрицательными мерами (но, вообще говоря, не вероятностными мерами).Полная вариация знаковой меры на измеримом пространстве определяется как , т. е. сумма масс ее положительных и отрицательных компонент. Согласно этому определению, .

    Лемма 1 (лемма о сжатии) Для марковского процесса , для любых и для любых начальных вероятностных мер и в любой момент времени

    имеет место строгое свойство сжатия Другими словами: применение динамики сети для единиц времени гарантированно уменьшит расстояние между любыми двумя начальными распределениями и состояний сети в раз .

    Доказательство: Определим вспомогательную меру как ноль везде вне , и . Перепишите в терминах неотрицательных мер и , таких, что (10) и обратите внимание, что подразумевает, что . Тогда (11)(12)(13)(14)(15)(16)(17) Равенство в (11) следует из линейности ядер переходных вероятностей. Переход к (13) является применением неравенства треугольника. Переход к (14) использует тот факт, что оба и неотрицательны: это следует из предложения 1, которое гарантирует, что мера имеет по крайней мере массу в состоянии покоя и, следовательно, для любой (неотрицательной) меры ,( 18) Наконец, обратите внимание, что (15) использует общее свойство ядер переходных вероятностей , которое гарантирует, что для любой неотрицательной меры .

    Обратите внимание, что приведенная выше лемма о сжатии, которая справедлива для импульсных нейронных сетей, имеет некоторое сходство с леммой 1 в [105], в которой анализируются искусственные аналоговые нейронные сети в дискретном времени.

    Доказательство теоремы 1 для фиксированных входных ставок.

    Мы разделили точную формулировку теоремы 1 на две леммы: Лемма 2 является точной формулировкой для случая, когда входы фиксированы (например, фиксированные входные ставки). Лемма 3 в следующем разделе соответствует случаю, когда скорость ввода контролируется марковским процессом.Точные предположения о сетевой модели, необходимые для обеих лемм, описаны выше (см. «Область теоретических результатов»).

    Здесь мы предполагаем, что вектор входных данных, предоставленных сети, остается фиксированным во время испытания. Конкретно, это, например, тот случай, когда имеется набор входных нейронов, частота которых фиксирована. В данном случае это вектор входных ставок, который остается постоянным во времени. В этом случае входные нейроны формально считаются частью сети. В качестве альтернативы константа может соответствовать постоянным токам, которые вводятся в подмножество нейронов.

    При постоянных входных условиях динамика процесса однородна по времени: ядра переходных вероятностей инвариантны к временным сдвигам, т.е.(19)

    Лемма 2 Пусть . Тогда марковский процесс имеет единственное стационарное распределение , к которому он сходится экспоненциально быстро, (20) из любого начального марковского состояния .

    Доказательство: число явно невзрывное, апериодическое и стохастически непрерывное (ср.[18]). Таким образом, для доказательства экспоненциальной эргодичности достаточно показать, что некоторая скелетная цепь геометрически эргодична (см., например, теорему 18.1 в [106]). Скелетная цепь с ядром переходной вероятности является апериодической и неприводимой и, следовательно, имеет единственное стационарное распределение. Затем путем рекурсивного применения леммы 1 с ,(21)(22) доказывается геометрическая эргодичность скелетной цепи и, таким образом, экспоненциальная эргодичность . Количественная граница сходимости следует из (22) путем выбора одноэлементного распределения в качестве начального распределения и использования общего факта, что для любого ядра вероятности перехода и распределений и (23), таким образом гарантируя, что общее расстояние вариации не растет (временно) между и .

    Лемма 2 дает общий результат об эргодичности для рассматриваемого класса стохастических сетей с выбросами при наличии фиксированных входных скоростей. Доказательство опирается на два ключевых свойства стохастических сетей с выбросами: апериодичность и неприводимость. Эти свойства можно понять интуитивно в контексте рисунка 1H. Например, если бы внутренняя динамика сети не была апериодической, то можно было бы наблюдать колебательные частоты паттернов с течением времени (как на рисунке 4C). Лемма 2 доказывает, что это не может произойти в сетях со стохастическими выбросами, пока входные скорости фиксированы.Частоты колебательного шаблона действительно могут возникать только тогда, когда сами входные скорости периодически меняются (см. теорему 2 и рис. 4). С другой стороны, если бы сетевая динамика не была нередуцируемой, т. е. если бы существовали состояния сети, недостижимые из некоторых других состояний сети, то потенциально можно было бы наблюдать сходимость частот паттернов к разным фиксированным точкам для разных начальных состояний (например, две линии в Рисунок 1H при различных значениях). Этого не может произойти в сетях со стохастическими выбросами из-за Предложения 1, которое гарантирует, что пространство состояний связано через состояние покоя.

    Заметим, что, хотя апериодичность и неприводимость являются хорошо известными необходимыми и достаточными условиями эргодичности марковских цепей с дискретным временем на конечных пространствах состояний, они недостаточны для экспоненциальной эргодичности марковских процессов с непрерывным временем на пространствах общего состояния (см. [107] для уточнения определения -неприводимости и апериодичности для таких процессов). При доказательстве леммы 2 (т.е. стохастические пиковые сети также соответствуют этим дополнительным критериям).

    Лемма 2 представляет собой доказательство теоремы 1 для фиксированных входных ставок. В основном тексте мы называем стационарное распределение схемы при фиксированном входе как . Приведенное выше доказательство гарантирует стационарное распределение как для марковских, так и для простых состояний. В основном тексте относится к простому состоянию сети, если не указано иное.

    Доказательство теоремы 1 для скорости ввода, управляемой марковским процессом.

    Предположения о фиксированных входных данных часто могут выполняться для внешних входных данных, управляющих стохастическими вычислениями в нейронной системе, только приблизительно.Во входных данных могут присутствовать стохастические флуктуации в различных пространственных и временных масштабах. Кроме того, входные данные могут иметь собственную краткосрочную стохастическую динамику: представьте себе, например, визуальную сцену из случайно движущихся точек. Несмотря на наличие во входных данных таких краткосрочных динамических признаков, во многих случаях все же можно подозревать, что распределения состояний сети сходятся. Действительно, ниже мы обобщаем результаты сходимости из постоянного случая на достаточно широкий класс стохастических (и стохастически изменяющихся) входов, которые порождаются равномерно эргодическим марковским процессом.Равномерная эргодичность определяется как экспоненциальная эргодичность (экспоненциально быстрая сходимость к единственному стационарному распределению) с константами сходимости, которые применяются равномерно ко всем начальным состояниям [107] (это верно, например, для констант сходимости в лемме 2).

    Пусть будет однородным по времени входным марковским процессом в том смысле, что входная траектория, предоставляемая сети, сама генерируется случайным образом из марковского процесса. Позвольте быть (измеримым) пространством состояний .Затем задайте совместный входной/сетевой марковский процесс на пространстве состояний , где обозначает -алгебру, порожденную . Дальнейшие определения для аналогичны введенным для .

    Лемма 3 Если входной процесс равномерно эргодичн, то совместный марковский процесс имеет единственное стационарное распределение на совместном входном/сетевом пространстве состояний, сходимость к которому происходит экспоненциально быстро, т.е. существуют константы , такое что (24) для любого начального состояния совместного марковского процесса .

    Доказательство: Если бы и были полностью независимыми процессами (если бы не влияли на ), то совместный процесс автоматически был бы экспоненциально эргодическим, если бы оба и были. Хотя в данном случае не зависит от , применяется более слабая версия независимости: вероятность возврата в состояние покоя за время составляет не менее независимо от входной траектории за это время. Это свойство можно использовать, чтобы показать, что распределение времени попадания в совместное состояние покоя имеет экспоненциальную границу.Отсюда следует, что совместный процесс экспоненциально эргодичен. Подробное доказательство приведено в следующем разделе.

    Вторая часть теоремы 1 (экспоненциально быстрая сходимость для случая внешнего входа, порожденного эргодическим марковским процессом) следует из леммы 3. Заметим, что в основном тексте мы немного злоупотребляем обозначениями для динамического случая, чтобы указать на стационарное распределение по состояний сети , где обозначает конкретный марковский процесс, управляющий входами.

    Подробное доказательство леммы 3.

    Доказательство леммы 3 мы разбили на доказательства четырех вспомогательных утверждений (предложения 2–5). Рассмотрим следующие варианты предложения 1, которые справедливы для марковского процесса, описывающего совместную динамику входных и сетевых состояний. Обозначим конкретную входную последовательность, определенную для (реализация входного процесса ) и начальное марковское состояние сети (с ) в момент времени . Тогда(25)(26)

    Легко показать, что эти свойства вместе с тем фактом, что он равномерно эргодичен, обеспечивают его неприводимость и апериодичность.Следовательно, для доказательства ее экспоненциальной эргодичности достаточно показать, что некоторая скелетная цепь геометрически эргодична [107]. С этой целью мы рассмотрим скелетную цепочку и докажем геометрическую эргодичность, показав, что распределение времени попадания в малый набор в совместном пространстве состояний входных и сетевых состояний допускает экспоненциальную границу.

    Время попадания в некоторое множество в пространстве входных состояний определяется как (27)Ввиду равномерной эргодичности (что подразумевает рекуррентность Харриса [107]), существует некоторое множество, время попадания в которое конечно () из любого начального состояния с вероятностью единица [108]. Кроме того, согласно [107] существует малый набор и константы и , такие, что (28) Это означает, что существует малый набор в пространстве входных состояний, который может быть достигнут не только за конечное время из любого начального входного состояния , но для которого распределение времени попадания имеет также конечное среднее значение и дисперсию (и конечные моменты более высокого порядка).По крайней мере одна пара констант и, удовлетворяющая (28), гарантированно существует, но на самом деле следующее Предложение показывает, что можно указать конкретную желаемую оценку в правой части (по причинам, которые станут ясны позже) и найти совпадение в левой части.

    Предложение 2 Существует такое, что (29)

    Доказательство: Определить . Пусть и любая допустимая пара констант, которая удовлетворяет (28). Тривиальный случай.В оставшейся части доказательства предполагается, что «слишком велико», так что . По определению экспоненциальной функции для любого распространение . В силу равномерной эргодичности должны существовать все моменты и, кроме того, существует такое, что . Нетрудно видеть, что тогда ряд сходится для всех таких, которые непрерывны на . Наконец, поскольку и , по теореме о промежуточном значении существует такое, что .

    Обозначим через время, когда скелетная цепь посещает малый набор в -й раз:(34) Кроме того, обозначим через время между -м и -м посещением:(35)(36)

    В соответствии с этим определением можно выразить время достижения степени как . Следующее предложение распространяет экспоненциальную оценку времени первого попадания на время попадания более высоких степеней.

    Предложение 3 Существует такое, что (37)

    Проба: (38)(39)(40)

    Позвольте быть временем попадания в небольшой набор на объединенном пространстве состояний входных и сетевых состояний, (41)

    Кроме того, пусть будет число посещений малого набора до и включая время ,(42)

    Предложение 4 Для любой входной траектории и любого начального состояния сети , (43)

    Это следует из (25) и (26), которые гарантируют, что всякий раз, когда входной процесс посещает малый набор , существует также небольшая вероятность того, что сеть находится в состоянии покоя.

    Предложение 5 Существуют и константа такие, что (44)

    Доказательство: Пусть . Выберите те, которые удовлетворяют предложению 3.(45)(46)(47)(48)(49)(50)(51)

    По предложению 5 экспоненциально эргодично [107]. Это завершает доказательство леммы 3.

    Доказательство теоремы 2

    Если входная последовательность периодична с периодом , т. е. для всех , то марковский процесс будет периодическим во времени в том смысле, что переходные ядра инвариантны к сдвигам, кратным периоду :(52)

    Отсюда следует следующий результат, являющийся более точной версией теоремы 2:

    Лемма 4 При периодическом вводе, т.е.е. для всех с некоторыми периодический по времени марковский процесс с периодом имеет периодически стационарное распределение , сходимость к которому происходит экспоненциально быстро из любого начального состояния. В частности, для каждого существует единственное стационарное распределение такое, что (53) из любого начального марковского состояния .

    Доказательство: Для каждого существует скелетная цепь с ядром вероятности перехода , которая является однородной во времени, неприводимой и апериодической и, таким образом, имеет единственное стационарное распределение .Применение , соответствующее полному периоду, уменьшает общее вариационное расстояние до не менее чем на :(54)(55)(56)Первое неравенство следует из того, что применение остальных может только еще больше уменьшить два распределения согласно (23). Второе неравенство следует из леммы 1.

    Тогда лемма 4 следует из рекурсивного применения (54)–(56) для нескольких периодов и выбора одноэлементного распределения в качестве начального.

    В основном тексте мы используем обозначение стационарного распределения, зависящего от фазы, где обозначает определенную периодическую входную последовательность.

    Оценка необходимого времени вычислений

    Одномерный и многомерный анализ Гельмана-Рубина.

    Различные методы были разработаны для измерения скорости сходимости к стационарному распределению в контексте выборки методом Монте-Карло цепи Маркова [56], [119], [120]. Диагностика Гельмана-Рубина, которую мы приняли в этой статье, является одним из наиболее широко используемых методов [55], [57], [58], [119], помимо других популярных методов, таких как диагностика Рафтери и Льюиса [121]. ] и Гевеке [122].Отметим, что в литературе существует консенсус в отношении того, что ни один из методов не является совершенным в целом. Некоторыми привлекательными свойствами метода Гельмана-Рубина являются общая применимость к любой системе MCMC (некоторые другие методы работают только, например, в контексте выборки Гиббса), простота использования, простота реализации, вычислительная эффективность и тот факт, что результаты количественная (в отличие от графической диагностики) [56], [119].

    Диагностика конвергенции Гельмана-Рубина [55] использует в качестве входных данных выборки из разных прогонов (испытаний/цепочек/последовательностей), созданных одной и той же системой, начиная с разных начальных состояний.Этот метод был первоначально разработан для систем с дискретным временем в контексте выборки Монте-Карло цепи Маркова. В наших симуляциях используется временной шаг , поэтому мы просто рассматриваем каждый шаг симуляции как один дискретный временной шаг в цепи Маркова. Метод Гельмана-Рубина дает на выходе потенциальный коэффициент масштабирования как функцию времени. Коэффициент уменьшения масштаба является индикатором того, сошлась ли система во времени. Высокие значения указывают на то, что до конвергенции требуется больше времени, в то время как близкие значения указывают на то, что конвергенция (почти) произошла.

    Для вычисления коэффициента уменьшения масштаба в момент времени учитываются выборки из периода каждого прогона сети. В одномерном случае фокусируется на конкретной одиночной переменной (такой как предельное простое состояние отдельного нейрона или простое состояние нейрона со «случайным считыванием», как показано сплошными линиями на рис. 2G). Позвольте быть числом выборок, полученных за период от каждого из симуляций. Затем определяется (62), где и находятся дисперсии между и внутри последовательности, соответственно, которые можно вычислить, как описано в [55], на основе выборок, взятых за период времени .В редком случае , который происходит, например, если нейрон никогда не срабатывает и, следовательно, его состояние постоянно во всех прогонах, мы устанавливаем значение 1,

    .

    Досадным источником путаницы является тот факт, что Гельман и Рубин [55] первоначально ввели в его «дисперсионной» форме эквивалентное уравнению (62), но позже в [57], [60] изменили это определение и определили как квадратный корень из (62). Этот вопрос особенно важен при рассмотрении пороговых значений для : пороговое значение было предложено в контексте исходного определения [59].Позже был предложен типичный порог , но этот более низкий порог применялся к модифицированному определению [57], [60]. Возведение в квадрат этого, по-видимому, более низкого порога снова дает типичный порог приблизительно .

    В многомерном случае (например, при анализе сходимости векторнозначного простого состояния небольшого подмножества нейронов, как показано пунктирными линиями на рис. 2G) берутся векторнозначные (мерные) выборки и вычисляется многомерное потенциальное уменьшение масштаба фактор в соответствии с: (63) где наибольшее собственное значение , а и обозначают внутри и между оценками матрицы ковариации последовательности (подробности см. В [123]).

    Анализ конвергенции для моделей корковых микросхем.

    Значения Гельмана-Рубина были рассчитаны на основе прогонов, где продолжительность каждого прогона соответствовала биологическому времени. Мы пробовали также гораздо более длительные симуляции, но не заметили никаких признаков неконвергентного поведения. Случайное начальное состояние устанавливалось в каждом прогоне путем отображения случайного ввода до начала фактического моделирования. Этот первоначальный случайный вход подавался в сеть через два регулярных входных потока (по 40 нейронов в каждом) путем присвоения каждому входному нейрону случайной скорости, равномерно взятой из диапазона.Анализ сходимости маргиналов был выполнен путем применения одномерного анализа к отдельным компонентам простого состояния, с . Из отдельных значений предельной сходимости, среднее и наихудшее предельное сходимость (как на рисунке 2E,F) были получены путем взятия среднего/максимального по всем отдельным значениям в момент времени. Для парных совпадений спайков (см. рис. 2D) мы проанализировали образцы произведения простых состояний двух нейронов (произведение равно, только если оба нейрона спайки произошли в течение последнего).

    Случайные показания для рисунка 2G были реализованы путем добавления в сеть дополнительного возбуждающего нейрона-наблюдателя, который получает синаптические входные данные от случайного подмножества из 500 сетевых нейронов (мы сохранили это число 500 фиксированным для моделирования с различными размерами сети, чтобы обеспечить справедливое сравнение).Количество случайно выбранных нейронов из каждого из пулов приведено в таблице 1.

    Синапсы на считывающий нейрон создавали аналогично связям в модели корковой колонки: параметры краткосрочной пластичности задавали в зависимости от типа связи (ЭЭ или ИЭ) согласно [30]. Веса для соединений EE и IE были выбраны случайным образом из гамма-распределения со средним параметром и параметром масштаба, а также параметром среднего и масштаба соответственно. Затем была рассчитана сходимость показаний по Гельману-Рубину, как для маргинального случая.

    Анализ конвергенции векторнозначных простых состояний подмножеств нейронов (см. рис. 2G) был выполнен путем применения многомерного анализа к случайно выбранным подсетям коркового столбца. В частности, мы случайным образом выбрали по 5 нейронов из каждого из 6 пулов, получив подсеть из 30 нейронов, и вычислили .

    Решение задач удовлетворения ограничений в сетях импульсных нейронов

    Формулировка судоку как задачи удовлетворения ограничений.

    Задача удовлетворения ограничений состоит из набора переменных, определенных в некоторой области, и набора ограничений, которые ограничивают пространство допустимых назначений переменных.Решение проблемы состоит в назначении каждой переменной таким образом, чтобы выполнялись все ограничения. Чтобы сформулировать судоку как задачу удовлетворения ограничений, мы определяем для каждого из 81 поля (из стандартной сетки 9×9), которое должно быть заполнено цифрой от 1 до 9, набор из 9 двоичных переменных (принимающих значения в ) [124]. Каждая из этих двоичных переменных голосует ровно за одну цифру в поле. Правила игры в судоку накладывают ограничения на группы этих переменных, которые можно разделить на следующие три типа.

    Ограничения заданного числа: Заданные числа головоломки фиксированы. Следовательно, двоичные переменные для данных полей ограничены фиксированными значениями, например, заданное значение соответствует фиксированным двоичным значениям.

    Ограничения уникальных полей: В правильном решении в каждом поле должна быть активна только одна цифра. Следовательно, в каждом поле ровно одна из 9 связанных двоичных переменных должна быть , а все остальные должны быть (эквивалентно утверждению, что сумма по этим двоичным переменным должна равняться 1).

    Ограничения уникальных групп: Существует три типа групп: строки, столбцы и подсетки 3×3. Имеется 9 групп строк, 9 групп столбцов и 9 групп подсеток. В любой из этих групп каждая цифра должна встречаться только один раз. Следовательно, в каждой группе все бинарные переменные, голосующие за одну и ту же цифру, должны в сумме давать .

    Сетевая архитектура для решения судоку.

    Судоку можно реализовать в импульсной нейронной сети, создав для каждой из 9 бинарных переменных в каждом поле судоку локальную группу пирамидальных ячеек.Всякий раз, когда одна из этих пирамидальных ячеек срабатывает, соответствующая бинарная переменная устанавливается на короткий период. Двоичная переменная определяется только в том случае, если ни один нейрон в связанной с ней группе не активировался в течение последнего . Это отображение позволяет в любое время считывать текущее (предварительное) решение, представленное сетью. Предварительное решение является правильным только при соблюдении всех ограничений. Для всех симуляций мы использовали , в результате чего получились полные пирамидальные ячейки. Ограничения между переменными судоку могут быть реализованы посредством дисинаптического торможения между группами пирамидальных клеток, как подробно описано ниже.

    Ограничения по заданным числам реализуются путем выборочного обеспечения сильных положительных входных токов для тех нейронов, которые кодируют заданные числа, и отрицательных токов для нейронов, кодирующих неправильные цифры в заданном поле. Уникальные ограничения поля реализуются путем формирования схемы «победитель получает все» (WTA) среди всех нейронов, связанных с одним и тем же полем судоку. Цепь WTA моделируется одним тормозным нейроном, реципрокно связанным со всеми пирамидными клетками.Чтобы уменьшить вероятность того, что ни одна пирамидальная ячейка не сработает (что нарушило бы ограничение уникального поля), пороговые значения пирамидальных ячеек устанавливаются на низкие значения (подробности см. в следующем разделе). Уникальные групповые ограничения реализуются схемой WTA, в которой участвуют все нейроны в группе, кодирующие одну и ту же цифру. Таким образом, существует 81 уникальное ограничение поля и уникальное групповое ограничение (в каждой группе есть ограничение для каждой цифры), что дает общее количество цепей WTA.Эти схемы WTA частично перекрываются в том смысле, что каждая пирамидальная ячейка участвует в 4 из этих цепей WTA (одна для ограничения уникального значения в своем поле и три для ограничений уникальной группы в своей строке/столбце/подсетке).

    Генерация стохастических импульсов как в возбуждающих, так и в тормозных нейронах реализована в соответствии с теоретической моделью шума I (подробности см. в следующем разделе). Таким образом, сеть удовлетворяет всем теоретическим условиям теоремы 1 и гарантированно имеет уникальное стационарное распределение состояний сети, к которому она сходится экспоненциально быстро.Этот ландшафт будет автоматически иметь пики в тех состояниях сети, которые удовлетворяют большинству игровых ограничений, поскольку каждая из цепей WTA гарантирует, что недопустимые конфигурации по отношению к этому ограничению маловероятны. Любую конкретную задачу судоку можно задать, обеспечив ввод в сеть в виде сильных токов к тем нейронам, которые соответствуют заданным значениям. Это автоматически изменяет ландшафт стационарного распределения таким образом, что генерируются только (или преимущественно) решения, согласующиеся с данными.Наконец, из-за нейронного шума сеть может быстро исследовать различные пики в ландшафте (разные многообещающие кандидаты на решение) и одинаково быстро избегать их. Важно отметить, что этот процесс может происходить одновременно в разных местах головоломки судоку. Следовательно, динамику сети можно интерпретировать также как высокопараллельный алгоритм стохастического поиска.

    Подробная информация о реализации и моделировании для рисунка 5.

    Моделирование для рисунка 5 было выполнено в NEVESIM, основанном на событиях симуляторе для сетей спайковых нейронов, разработанном на C++ с интерфейсом Python [125].Головоломка на рис. 5А была сгенерирована и оценена как «сложная» компанией «Решения судоку» [126]. Генерация спайков моделируется согласно уравнению (60) с параметрами , . Стохастический порог был установлен для возбуждающих и тормозных нейронов соответственно. Для пирамидных клеток был выбран абсолютный рефрактерный период. Чтобы максимизировать скорость моделирования на основе событий, PSP были смоделированы упрощенно как прямоугольные импульсы на основе тока (в отличие от более сложной интеграции синаптических входов на основе проводимости, используемой для моделей корковых микросхем).

    цепи WTA были сформированы реципрокным соединением одного тормозного нейрона со всеми участвующими пирамидными клетками. Был смоделирован один тормозной нейрон, чтобы имитировать реакцию популяции тормозных нейронов (т.е. сильное торможение в течение длительного периода времени), используя абсолютный рефрактерный период и сильные двунаправленные связи от и к возбуждающим нейронам (синаптические веса и , соответственно). ).

    Чтобы решить конкретную головоломку, заданные числа были зафиксированы путем подачи сильных входных токов в соответствующие пирамидальные ячейки.В частности, нейроны, кодирующие заданные числа в поле судоку, получали постоянный положительный входной ток (постоянный вход на мембранный потенциал). Нейроны, кодирующие конфликтующие цифры в заданных полях судоку, получали постоянный отрицательный входной ток силы.

    Последнее практическое замечание касается числа нейронов, кодирующих каждую бинарную переменную, . Мы обнаружили, что сети с имеют ряд привлекательных свойств по сравнению с сетями с кодированием одиночных нейронов. В частности, скорость возбуждения отдельных нейронов может быть ниже (пирамидальная клетка должна постоянно взрываться, чтобы указать на устойчивое активное состояние).Кроме того, синаптическую эффективность среди нейронов можно сделать слабее, и общие паттерны ответов на спайки кажутся более правдоподобными с биологической точки зрения. Ввиду потенциальной реализации в аналоговом нейроморфном оборудовании назначение закодированных переменных популяции также менее подвержено сбоям отдельных блоков или несоответствию устройств.

    Пространственное и функциональное внимание в модели многоуровневой кортикальной микросхемы

    Образец цитирования: Вагацума Н., Потянс Т.С., Дисманн М., Сакаи К., Фукаи Т. (2013) Пространственное и функционально-ориентированное внимание в многоуровневой модели кортикальной микросхемы.ПЛОС ОДИН 8(12): е80788. https://doi.org/10.1371/journal.pone.0080788

    Редактор: Miguel Maravall, Instituto de Neurociencias de Alicante UMH-CSIC, Испания

    Получено: 15 июня 2013 г.; Принято: 7 октября 2013 г.; Опубликовано: 6 декабря 2013 г.

    Авторское право: © 2013 Wagatsuma et al. Это статья с открытым доступом, распространяемая в соответствии с лицензией Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания оригинального автора и источника.

    Финансирование: гранты на научные исследования в инновационных областях для TF (№ 22115013), проект суперкомпьютера нового поколения MEXT, Япония, и грант ЕС 269921 (BrainScaleS) Альянсу Гельмгольца по системной биологии для МД поддержал эту работу. Спонсоры не участвовали в разработке исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

    Конкурирующие интересы: Авторы заявили об отсутствии конкурирующих интересов.

    Введение

    Зрительное внимание — это функция мозга, которая улучшает наше восприятие за счет избирательного усиления реакции нейронов на определенные визуальные стимулы [1]–[7]. Это позволяет мозгу обращать внимание на наиболее важную в данный момент информацию [8], тем самым улучшая восприятие в ряде аспектов [1], [9]–[12]. Зрительное внимание функционирует в двух различных режимах: пространственном и функциональном. Многочисленные исследования показали, что направление внимания на пространственное положение или отличительные черты визуальной цели по-разному усиливает соответствующие нейронные реакции и различимость зрительных стимулов [13]–[16].Например, нейроны в зрительной коре сильно реагируют на полосу, представленную в их рецептивных полях и выровненную с их предпочтительной ориентацией [3], [17]. Если испытуемый обращает внимание на пространственное расположение стержня, усиливается усиление нейронных ответов в произвольной ориентации, в том числе в предпочтительной. Напротив, если субъект обращает внимание на определенную особенность зрительного стимула (т. е. его ориентацию или направление движения), резкость кривой настройки клеток увеличивается, что означает, что усиление ответа клеток увеличивается вокруг его предпочтительной характеристики. но уменьшается вокруг ортогонального элемента [13], [14].Сетевые модели были предложены для объяснения модуляции внимания зрительных реакций [3], [18]–[29]. Однако основные механизмы различных режимов внимания плохо изучены.

    Ранее мы построили сетевую модель с парой многослойных моделей микросхем [30] для учета классических экспериментальных результатов визуального внимания, о которых сообщили Reynolds et al. [3]. Здесь мы расширяем результаты предыдущих моделей главным образом в двух аспектах. Во-первых, мы исследуем механизмы различных модуляций ответа в пространственном и функциональном режимах внимания.Мы предполагаем, что такие различия возникают из-за различных нисходящих влияний на зрительные сети коры, а не из-за наличия разных нейронных цепей, специализирующихся на двух режимах внимания. Во-вторых, мы изучаем влияние внимания на ориентационную избирательность путем построения сетей многослойных корковых микросхем интегрирующих и активирующих нейронов с биологически правдоподобной корковой ламинарной структурой [31]. Мы моделировали каждую микросхему (например, относительную популяцию клеток и вероятности соединения в ее отдельных слоях) на основе анатомических и электрофизиологических свойств корковых микросхем [32]–[34].Часть этих данных была получена для неокортекса грызунов, который не имеет четко выраженной столбчатой ​​организации [35], [36]. Следовательно, каждая модель микросхемы описывает функциональную группу нейронов с похожими характерными реакциями, но не обязательно описывает пространственно сгруппированную популяцию нейронов, такую ​​как корковая колонка.

    В зрительном пути восходящие входные данные, несущие сенсорную информацию, проецируются в корковые слои 4 и 6 (L4 и L6), тогда как нисходящие входные данные из высших зрительных областей несут информацию о внимании в L2/3 и L5, избегая L4 [28]. ], [37]–[39].И наоборот, выход в высшие области коры возникает из L2/3, L5 и L6 нижних областей, а нейроны в L2/3 опосредуют синаптические взаимодействия между функционально сгруппированными микроцепями в зрительной коре. Поскольку предполагается нисходящее влияние внимания на нейронные ответы в зрительной области V4 [40], модуляции ответов в пространственном и характерном режимах внимания могут возникать в результате сложных взаимодействий между восходящими сенсорными и нисходящими входными сигналами внимания. внутри многослойных корковых сетей [14], [28].Наша модель корковой микросхемы позволяет нам исследовать, как эти 2 входа, по-разному распределенные по функциональным микросхемам, взаимодействуют друг с другом посредством межламинарных и межмикросхемных (межмикросхемных) синаптических связей. Из-за ограниченности ресурсов моделирования наша модель ограничена частью зрительного пространства коры, имеющей общее рецептивное поле. Следовательно, наша модель не может иметь дело с конкуренцией, вызванной восходящим вниманием и картой значимости среди пространственно распределенных стимулов [41], [42].Однако наша модель частично учитывает важность восходящих механизмов внимания, потому что она объединяет эффекты восходящего зрительного ввода и нисходящего внимания в ламинарной структуре коры. Мы демонстрируем, что результирующие модуляции внимания согласуются с наблюдаемыми экспериментально. Кроме того, наша модель учитывает различные эффекты пространственного и основанного на функциях режима внимания на зрительной различимости [16].

    Результаты

    Ранее мы построили модель зрительной коры, соединив 8 одинаковых многослойных микросхем (рис. 1) [30], [31].Каждая многоуровневая микросхема имеет L2/3, L4, L5 и L6, и каждый слой включает в себя возбуждающий и тормозной пулы (рис. 1А). 8 микросхем имеют разную предпочтительную ориентацию, имеют общее рецептивное поле и взаимодействуют друг с другом посредством латерального торможения и возбуждающих горизонтальных связей между микросхемами с одинаковой ориентационной селективностью (рис. 1В) [35]. Наша сгруппированная модель микросхем лучше всего подходит для описания нейронных сетей первичной зрительной коры (V1), которые активируются ориентированными стержнями.Восходящий сенсорный вход, представляющий собой ориентированную полосу, проецируется на нейроны в каждой микросхеме с разной интенсивностью в зависимости от ориентации стимула и предпочтительной ориентации нейронов (рис. 2А). Вход сверху вниз, несущий пространственное внимание, т. е. внимание к расположению рецептивного поля [13], опосредован гомогенными проекциями на все микросхемы независимо от их ориентационной избирательности (рис. 2Б). Напротив, нисходящий ввод, несущий внимание, основанное на функциях, т.е.т. е. внимание к ориентированной полосе вне рецептивного поля клетки [14] избирательно проецируется на микросхему, которая предпочитает посещаемую ориентацию (рис. 2С). Более подробная информация о модели объяснена в разделе «Материалы и методы».

    Рис. 1. Архитектура модели многоуровневых зрительных кортикальных микросхем.

    А , Внутри- и межламинарные синаптические связи и внешние входы многослойной микросхемы. Наша модель имеет 8 микросхем ориентационно-селективного блока, каждая из которых содержит 20 000 нейронов интеграции и активации и составляет L2/3, L4, L5 и L6.Треугольники и кружки обозначают возбуждающие или тормозные нейроны соответственно. Толстые стрелки представляют сильные синаптические связи с вероятностью соединения C >0,13, а узкие стрелки представляют синаптические связи с C >0,065. Другие более слабые синаптические связи не показаны. Слой 2/3 является посредником между MC-связями между селективными по ориентации микросхемами. Визуальные стимулы, имитирующие ориентированные полосы, проецируются как на L4, так и на L6, а нисходящее внимание проецируется на L2/3 и L5. B, Inter-mc синаптическая связь нашей модели. Ориентированные полосы на цилиндрах представляют собой предпочтительную ориентацию микросхем отдельных блоков. Микросхемная модель имеет два типа межмц-связей, опосредованных в пределах L2/3: один — латеральное торможение между микросхемами, опосредованное проекциями возбуждающих нейронов в 1 микросхеме на тормозные нейроны в других (Exc-Inh). Другой тип — возбуждающе-возбуждающие связи между микросхемами с одинаковой ориентационной селективностью (Exc-Exc).Мы установили более высокую вероятность соединения для соединений Exc-Exc, чем для соединений Exc-Inh.

    https://doi.org/10.1371/journal.pone.0080788.g001

    Рисунок 2. Визуальные стимулы и ввод сверху вниз в нашей модели.

    A Схематично показаны зрительные входы снизу вверх при предъявлении вертикальной черты в общем рецептивном поле функционально сгруппированных микросхем. Толщина каждого входа представляет его прочность. Восходящие входы наиболее сильно проецируются на микросхемы, предпочитающие вертикальную ориентацию, и менее сильно на остальные. B, Входной сигнал сверху вниз, опосредующий пространственное внимание, направлен на расположение рецептивного поля модели и, следовательно, активирует функционально сгруппированные микросхемы. C, Ввод сверху вниз, опосредующий внимание, основанное на признаках, проецирует только те микросхемы, которые предпочитают посещаемую ориентацию.

    https://doi.org/10.1371/journal.pone.0080788.g002

    Кроме того, мы провели некоторые исследования, чтобы понять сетевые механизмы модуляции внимания в реакциях нейронов, наблюдаемых в зрительной коре [13], [14].Эти предыдущие исследования включали сложные визуальные стимулы, которые трудно воспроизвести в сетевой модели только с одной областью коры головного мозга; экспериментальные результаты продемонстрировали сходное влияние пространственного и признакового режимов внимания на настраивающие свойства нейронов в различных зрительных зонах коры. Поэтому, чтобы выяснить лежащий в основе механизм, мы провели моделирование в очень простом случае, когда испытуемым в этом исследовании предъявлялись различные ориентированные стержневые стимулы.В каждом испытании ожидаемое местоположение (пространственное внимание) или ориентация стимула (внимание, основанное на признаках) подсказывалось визуальной подсказкой для направления внимания животного на стимул, показанный в рецептивном поле. Ниже мы объясняем ответы модельных нейронов в различных сценариях.

    Нейронные реакции модели микросхемы при пространственном внимании

    Сначала мы рассчитали настройку ориентации нейронных ответов при пространственном внимании. С этой целью мы применяли восходящий сенсорный стимул, имитирующий вертикальную полосу, к L4 и L6 микросхем с предпочтительными направлениями, близкими к вертикальной ориентации.Ввод внимания сверху вниз применялся с одинаковой силой к L2/3 и L5 всех микросхем (см. Материалы и методы, рис. 1А и 2В). На рис. 3 обобщены средние показатели частоты срабатывания популяции в нейтральном состоянии (т. е. без привлечения внимания) и при пространственном внимании (с привлечением внимания) из 50 симуляционных испытаний. Средние ответы нейронов в микросхемах с различной предпочтительной ориентацией построены в зависимости от ориентации. Из-за круговой симметрии модели кривая настройки популяции была эквивалентна кривой настройки отдельных нейронов, реагирующих на полосовой стимул, представленный в различных ориентациях.Для возбуждающих нейронов в L2/3 и L5 и всех тормозных нейронов кривые настройки хорошо аппроксимируются распределением Гаусса.

    Рисунок 3. Реакция модели на вертикальную черту как для нейтрального состояния, так и для пространственного внимания.

    Сплошной и пунктирной линиями представлены скорости заселенности возбуждающих ( A ) и тормозных ( B ) нейронов для каждого слоя модели микросхемы. Ориентированные полосы внизу показывают предпочтительную ориентацию каждой многослойной микросхемы.Серые и черные линии показывают ответы модели без внимания (нейтральное состояние) или во время пространственного внимания соответственно. Кривые настройки возбуждающих и тормозных нейронов L2/3 и L5 во всех слоях были подогнаны под распределение Гаусса. Звездочки указывают на то, что различия в скоростях срабатывания популяции между 2-мя условиями для этой ориентированной полосы были статистически значимыми (критерий Стьюдента: ** для p<0,01; * для p<0,05; – для p<0,1).

    https://дои.org/10.1371/journal.pone.0080788.g003

    Независимо от избирательности ориентации, пространственное внимание заметно усиливало популяционную активность в L2/3 и L5 как возбуждающих, так и тормозных нейронов. Это увеличение количества срабатываний популяции в модели согласуется с результатами нескольких физиологических экспериментов по пространственному вниманию (см. рис. 2, 4–7 и 10 в [13]). В настоящей модели возбуждающие нейроны в L4 и L6 продемонстрировали отличие от нейронов L2/3 и L5 в кривых настройки, а также в их модуляции внимания: пространственное внимание сверху вниз значительно подавляло частоту возбуждения популяции L4 и L6.Это подавление L4, которое ранее было показано как полезное для быстрого переключения внимания, происходит в первую очередь из-за усиленного возбуждения тормозных нейронов L4, обеспечиваемого возбуждающими нейронами L2/3 и L6 [30]. Хотя наши знания о точной связности ограничены, вероятности соединения межламинарных проекций, определенные на основе электрофизиологических и анатомических данных [32]–[34], предсказывают, что L4 и L6 зрительной коры могут демонстрировать паттерны модуляции, отличные от таковых в других областях коры. слои, возможно, для ускорения анализа визуальных объектов с несколькими сложными функциями.Этот момент дополнительно обсуждается ниже.

    Рисунок 4. Реакция модели на вертикальную черту как для нейтрального состояния, так и для внимания, основанного на признаках.

    Популяционные ответы возбуждающих ( A ) и тормозных ( B ) нейронов в модели. Все соглашения такие же, как и на рисунке 3. Модель получает входные данные снизу вверх, имитирующие вертикальную черту. Нейронные ответы сравнивали между 2 случаями; т. е. в нейтральном состоянии и при внимание, основанном на признаках, где ответы в нейтральном состоянии идентичны тем, что показаны на рисунке 3.Мы использовали распределения Гаусса для подбора кривых.

    https://doi.org/10.1371/journal.pone.0080788.g004

    Рисунок 5. Статистический анализ кривых настройки ориентации.

    A, B, C, Показаны базовые линии, амплитуды и ширины гауссовых кривых настройки для ответов возбуждающих нейронов в L2/3 (вверху) и L5 (внизу). Значения параметров аппроксимации Гаусса были получены из 50 испытаний моделирования в нейтральном состоянии (серые столбцы), пространственном внимании (пустые столбцы) и внимании на основе признаков (закрашенные столбцы).Звездочки указывают на то, что значения параметров достоверно отличались от таковых в нейтральном состоянии (критерий Стьюдента: ** при р<0,01; * при р<0,05; – при р<0,1). D, Гистограммы расположения абсолютных пиков кривых настройки в L2/3 и L5 показаны для стимула с вертикальной полосой. Треугольники показывают средние значения. Мы рассчитали значений P для теста Манна-Уитни, чтобы сравнить гистограммы между нейтральным состоянием и двумя состояниями внимания.Внимание, основанное на признаках, значительно улучшило обнаружение представленной ориентации.

    https://doi.org/10.1371/journal.pone.0080788.g005

    Рис. 6. Распределение индексов внимания (ИИ) по популяциям возбуждающих и тормозных нейронов в L2/3 и L5.

    A, Распределения индексов внимания отображаются для пространственного внимания. Изображено распределение возбуждающих нейронов (серые столбцы, верхние панели) и тормозных нейронов (пустые столбцы, нижние панели).На всех панелях закрашенные столбцы обозначают нейроны, демонстрирующие статистически значимые модуляции внимания (t-test, p<0,01). Треугольники показывают средние значения. B, Аналогичные распределения индексов внимания показаны для внимания, основанного на признаках.

    https://doi.org/10.1371/journal.pone.0080788.g006

    Рисунок 7. Влияние дополнительного внешнего шума на ответы нейронов в нашей модели.

    Мы провели моделирование при 4 различных уровнях шума.Мы рассчитали индекс различимости d’ для L2/3 ( A ) и L5 ( B ) модели, реагирующей на вертикальную или горизонтальную полосу. Пунктирная линия показывает звездную величину d’ в нейтральном состоянии. Сплошные серые и черные линии указывают на результаты пространственного и функционального режимов внимания соответственно. L2/3 и L5 показали аналогичные изменения в различимости при изменении уровня шума. Только при низком уровне шума пространственное внимание увеличивалось на d’ по сравнению с d’ в нейтральном состоянии, тогда как внимание, основанное на признаках, повышало его при любом уровне шума, протестированном в этом исследовании.

    https://doi.org/10.1371/journal.pone.0080788.g007

    Нейронные реакции модели микросхемы при признакном внимании

    Затем мы рассчитали настройку ориентации нейронных ответов при внимании, основанном на признаках. Как и в моделировании пространственного внимания, сенсорный стимул, имитирующий вертикальную полосу, подавался на микросхемы блока с предпочтительными направлениями, близкими к вертикальной ориентации. Однако вход внимания выборочно применялся к этим микросхемам, а не к другим (см. Материалы и методы и рисунок 2C).

    На рис. 4 показана частота срабатывания популяции различных слоев коры в условиях внимания, основанного на признаках. Кривые настройки, показанные для нейтрального состояния (серые линии), идентичны кривым на рис. 3. В L2/3 и L5 внимание, основанное на признаках, заметно повышало активность тех возбуждающих нейронов в микросхемах, которые получали как предпочтительный зрительный стимул, так и вход внимания. Напротив, активность возбуждающих клеток в этих слоях, предпочитающих горизонтальную ориентацию вертикальной, значительно подавлялась вниманием.Эти результаты подразумевают, что внимание, основанное на признаках, увеличивает как усиление, так и избирательность свойств настройки, что согласуется с результатами недавних физиологических экспериментов [14]. Опять же, мы наблюдали отклонение кривых настройки и паттернов модуляции для возбуждающих нейронов L4 и L6.

    Статистический анализ зависимых от режима модуляций внимания

    Как для пространственного, так и для функционального режима внимания ответы возбуждающих нейронов в L2/3 и L5 на ориентированные столбцы хорошо представлены настроечными кривыми Гаусса.Кривая настройки Гаусса имеет 4 параметра: среднее значение, стандартное отклонение (SD), пиковую амплитуду и асимптоту. Среднее значение представляет предпочтительную ориентацию, стандартное отклонение дает меру ширины настройки, а асимптота описывает базовую активность нейронов. Чтобы количественно оценить зависящие от режима модуляции внимания нашей модели, мы статистически проанализировали 4 параметра Гаусса в различных условиях моделирования (т.е. нейтральных, пространственных и основанных на признаках). Для сравнения результатов с результатами, полученными в физиологических экспериментах, мы использовали тот же метод статистического анализа, что и в работе.[13].

    На рис. 5 представлены результаты анализа нейтрального состояния, пространственного внимания и внимания, основанного на признаках. Средние значения базовой линии, амплитуды и ширины настройки, рассчитанные по результатам 50 испытаний моделирования, показаны на рис. 5А, В и С соответственно. На рисунке 5D представлены частотные гистограммы абсолютного значения местоположения пика (взятого в качестве среднего значения в качестве приближения) при трех условиях моделирования. Во-первых, мы сравнили свойства настройки нейтрального состояния с параметрами пространственного внимания.Для L2/3 величина амплитуды настройки была больше для пространственного внимания, чем для нейтрального состояния (t-критерий, p<0,01; рисунок 5B). Напротив, не было значительных различий в ширине настройки (рис. 5C) и исходном уровне (рис. 5A) между нейтральным состоянием и пространственным вниманием (t-критерий, p>0,1). Эти результаты демонстрируют заметное влияние пространственного внимания на усиление ответа популяции в L2/3 в сочетании с неизменностью селективности ориентации. Для L5 мы обнаружили значительное увеличение амплитуды настройки, а также исходного уровня (критерий Стьюдента, р<0.01), но без заметного изменения ширины настройки (p>0,1). Следовательно, оказывается, что пространственное внимание вызывает общее увеличение амплитуды настройки ориентации в L2/3 и L5. Поскольку эти слои являются выходными терминалами зрительных кортикальных микросхем, повышение частоты возбуждения популяции окажет сильное влияние на активность нижележащих зрительных кортикальных отделов. Мы не обнаружили каких-либо существенных изменений в расположении пика между нейтральным и пространственным вниманием (рис. 5D, критерий Манна-Уитни, p = 0.66 для L2/3 и 0,89 для L5). Общее улучшение кривой настройки и неизменность селективности настройки пространственного внимания соответствуют экспериментальным результатам (см. ссылку [13]; рисунки 2B, 4 и 7).

    Как и в случае с пространственным вниманием, внимание, основанное на признаках, значительно увеличило амплитуду кривых настройки для обоих слоев (критерий Стьюдента, р<0,01; рис. 5В). Однако, в отличие от пространственного внимания, величины как базовой линии (рис. 5А), так и ширины (рис. 5С) настроечных кривых в L2/3 и L5 были меньше для внимания, основанного на признаках, чем для нейтрального состояния (t-критерий, р<0.01). Эти результаты означают, что избирательный ввод сверху вниз в определенные микросхемы не только увеличивает усиление, но и обостряет кривые настройки ответов населения в выходных слоях зрительной коры. Такие модуляции внимания усиления и избирательности кривых настройки ориентации обычно наблюдаются в электрофизиологических экспериментах [14]. В нашей модели внимание, основанное на признаках, значительно сместило местоположения пиков в L2/3 и L5 в сторону ориентации стимула (рис. 5D, критерий Манна-Уитни, p<0.01), что свидетельствует о значительном повышении точности анализа ориентации стимула.

    Паттерны модуляции ответа в L2/3 и L5 нашей модели показали хорошее совпадение со смещенной конкуренцией, наблюдаемой в областях с более высоким зрением [3], [21]. На рисунке S1 суммированы средние частоты срабатывания возбуждающих и тормозных нейронов в каждом слое микросхемы с предпочтением вертикальных полос в различных условиях стимула для предвзятой конкуренции. Эти ответы слоев коры аналогичны ответам нашей предыдущей модели [30].Возникают ли аналогичные модуляции внимания в V1, для которых наша модель может лучше всего подходить, остается неизвестным, поскольку малые рецептивные поля нейронов V1 препятствуют такому эксперименту [17].

    Роль межмс-связей в двух режимах внимания

    Наша модель смогла воспроизвести качественные и количественные различия между пространственным и характерным режимами зрительного внимания с точки зрения кривых настройки ориентации. Распределение нисходящего ввода по 8 микросхемам имело решающее значение для зависимых от режима модуляций внимания.Кроме того, мы исследовали роль горизонтальных межмышечных волокон в двух режимах зрительного внимания с помощью численного моделирования модели, в которой отсутствуют межмышечные связи между возбуждающими нейронами L2/3. В этих симуляциях латеральное торможение между mc оставалось неизменным (рис. S2).

    При пространственном внимании модуляция кривых настройки ориентации в L2/3 и L5 была одинаковой как для исходной, так и для модифицированной модели (рис. S3). Кроме того, кривые настройки этих слоев коры демонстрировали аналогичную модуляцию при внимании, основанном на признаках (рис. S4).В обоих режимах внимания возбуждающие нейроны в L4 и L6 продемонстрировали модуляцию внимания, контрастирующую с той, которую показали нейроны L2/3 и L5 в модифицированной, а также в исходной модели. Интересно, что в модифицированной модели свойства настройки ориентации для L4 и L6 были сохранены, в отличие от исходной модели, показанной на рис. 3 и 4.

    Чтобы получить количественное представление о поведении различных моделей, мы статистически сравнили 4 параметра гауссовых кривых настройки для возбуждающих нейронов L2/3 и L5 в нейтральном состоянии, пространственном внимании и внимании на основе признаков (рис. S5). .В частности, пространственное внимание немного, но статистически значимо уменьшило амплитуду кривых настройки для L2/3 в модифицированной модели (рис. S5B, t-критерий, p<0,01). Кроме того, не было существенной разницы в ширине между нейтральным состоянием и вниманием, основанным на признаках, как для L2/3, так и для L5 в модифицированной модели (рисунок S5C, t-критерий, p>0,1). Поскольку эти паттерны модуляции кажутся несовместимыми с результатами психофизических экспериментов [16], мы можем заключить, что модифицированная модель экспериментально неприемлема.

    Затем мы провели моделирование модифицированной модели при различных условиях стимула для необъективной конкуренции [3], [21]. На рисунке S6 показана средняя скорость срабатывания нейронов в каждом слое микросхемы с избирательностью вертикальной ориентации. Паттерны модуляции предвзятой конкуренции не согласуются с физиологическими данными [3], [21]. В частности, ответы возбуждающих нейронов в L2/3 не были чувствительны к зрительным стимулам и условиям внимания. Напротив, горизонтальная планка-дистрактор усиливала активность возбуждающих нейронов L5, что означает их растормаживание (т.е., получили сниженное торможение) по определенному сетевому механизму. Эти результаты свидетельствуют о том, что возбуждающие синаптические связи между mc не только усиливают популяционные ответы единичных микросхем, преимущественно отвечающих на предъявленный стимул, но и подавляют ответы микросхем с противоположным предпочтением.

    Модуляция ответа одиночных нейронов

    Исследовали величины модуляции внимания в отдельных возбуждающих и тормозных нейронах в L2/3 и L5 микросхемы с предпочтительной вертикальной ориентацией.Для количественного анализа и статистических тестов мы использовали нормализованный индекс внимания (AI), определяемый как (A-U)/(A+U) для каждого нейрона, где A и U — частота срабатывания нейронных ответов на стимулы с присутствием и без внимания. [4], [5]. В каждом испытании скорость стрельбы усреднялась за весь период моделирования.

    На рис. 6А и 6В показано распределение ИИ для пространственного внимания и внимания на основе признаков соответственно. Закрашенные столбцы обозначают нейроны, которые демонстрируют статистически значимую модуляцию частоты возбуждения (t-критерий, p<0.05). Все распределения были смещены в положительную сторону за счет пространственного, а также основанного на признаках внимания. Медиана ИИ увеличилась на 0,132 для возбуждающих нейронов и на 0,202 для тормозных нейронов при пространственном внимании, в то время как для возбуждающих нейронов она увеличилась на 0,215 и для тормозных нейронов на 0,238 при характерном внимании. Отметим, что, как и в ранее предложенной модели [21], коэффициент модуляции, определяемый как (1+АИ)/(1-АИ), в возбуждающих нейронах согласуется с таковым, полученным в электрофизиологических записях МТ [13].

    Модуляция внимания также зависит от типа клеток. При пространственном внимании около 62% (169/271) значительно модулированных возбуждающих нейронов демонстрировали значительное зависящее от внимания увеличение частоты возбуждения. Около 76% (51/67) значительно модулированных тормозных нейронов также показали такое увеличение. Разница в доле положительной и отрицательной модуляции между двумя типами клеток значительна, согласно бутстрап-тесту (1000 повторных выборок, p<0,001). Следовательно, нисходящее пространственное внимание оказывает более последовательное влияние на скорость возбуждения тормозных нейронов, чем возбуждающих нейронов в L2/3 и L5.Эти различия в зависимой от внимания модуляции ответа между возбуждающими и тормозными нейронами согласуются с электрофизиологическими данными [5].

    В случае внимания, основанного на признаках, около 87% (289/331) значительно модулированных возбуждающих нейронов показали значительное увеличение частоты возбуждения, а около 77% (61/79) тормозных нейронов показали значительное увеличение частоты возбуждения. . Опять же, бутстрап-тест подтвердил, что эта разница в пропорции положительной и отрицательной модуляции между возбуждающими и тормозными нейронами была статистически значимой (1000 повторных выборок, p<0,000).001). Таким образом, нисходящее внимание, основанное на признаках, оказывает более последовательное влияние на активность возбуждающих нейронов, чем на активность тормозных нейронов. Поскольку нет доступных экспериментальных данных, это является предсказанием нашей модели.

    Дифференциальные эффекты двух режимов внимания в зрительном восприятии

    Биологические системы неизбежно подвержены воздействию шума, и то, как система реагирует на шумовой ввод, часто раскрывает важные характеристики системы. Несколько исследований показали, что аддитивный внешний шум мешает нейронным реакциям на бесшумные визуальные стимулы и влияет на восприятие [16], [44]–[47].Поэтому мы исследовали, как наша модель микросхемы реагирует на шумовые визуальные раздражители. С этой целью мы добавили внешний шум, который не коррелировал с ориентацией представленного бара. Слоистая микросхема с предпочтительной ориентацией 0 градусов получала вход снизу вверх, имитирующий вертикальную полосу. В дополнение к этому входу другие микросхемы получили дополнительные входы снизу вверх, опосредующие внешний шум, который задавался набором независимых цепочек пуассоновских импульсов со средней скоростью 2,5, 5,0, 10.0 или 15,0 Гц.

    Бриттен и др. может объяснить психофизические характеристики обезьян, используя реакции нейронов в зрительной области [44]. Мы оценили производительность модели, используя индекс различимости ( d’ ) для вертикальных и горизонтальных полос, полученный из теории обнаружения сигнала [48]. Индекс грубой дискриминации представляет собой способность модели различать две ортогональные ориентации и определяется как где и указывает среднее значение и стандартное отклонение скорости срабатывания населения в предпочтительной микросхеме с нулевым градусом, реагирующей на вертикальную черту.Аналогично и – среднее значение и стандартное отклонение ответов нейронов в той же микросхеме на турник. Мы представили восходящие визуальные сигналы, имитирующие вертикальную или горизонтальную полосу с различными уровнями внешнего шума, и исследовали, может ли наша модель различать две ориентированные полосы. На рисунке S7 представлен пример гистограмм частоты срабатывания микросхемы, предпочитающей вертикальную полосу, как показано в анализе физиологического эксперимента (см. рис. 5 из [44]).Отметим, что ответы этой микросхемы на нежелательный стимул (горизонтальную полосу) можно вывести из реакции на вертикальную полосу другой микросхемы, предпочитающей горизонтальную полосу [44]. Показатели различимости, рассчитанные для нейронных ответов в L2/3 и L5, изображены на рисунке 7A и 7B, соответственно, как функция уровня шума в нейтральном состоянии и двух режимах зрительного внимания. Эффекты внимания на различимости показывают аналогичную тенденцию в L2/3 и L5.Во всех случаях различимость двух ортогональных ориентаций уменьшается с увеличением уровня внешнего шума.

    По сравнению с нейтральным состоянием при пространственном внимании наша модель продемонстрировала заметное увеличение d’ при низком уровне шума (рис. 7), не показывая улучшения различимости при высоком уровне шума. В противоположность этому, в условиях внимания, основанного на признаках, модель показала постоянное улучшение d’ как при низком, так и при высоком уровне шума.Эти результаты показывают, что пространственное внимание улучшает восприятие зрительных стимулов только при низком уровне внешнего шума, тогда как внимание, основанное на признаках, улучшает его как при высоком, так и при низком уровне шума. Мы также наблюдали аналогичную зависимую от режима внимания модуляцию внешним шумом в распределении местоположения пика (рисунки S8 и S9). Эти дифференциальные эффекты двух видов внимания согласуются с психофизическими наблюдениями [16].

    Чтобы более подробно изучить производительность нашей модели, мы вычислили значения d’ для точной дискриминации между вертикальным и 22.Полосы, ориентированные под углом 5 градусов, в зависимости от уровня внешнего шума (рис. S10). Эффекты двух режимов внимания на различимость и влияние уровня шума аналогичны тем, которые наблюдаются при различении ортогональных ориентаций, показанных на рис. ортогональные ориентации. Эта тенденция хорошо согласуется с особенностями человеческого восприятия. Таким образом, наша модель может выполнять тонкую дискриминацию, хотя это сложнее, чем грубая дискриминация.

    Обсуждение

    Для исследования схемного механизма внимания при зрительном восприятии была построена модель зрительной коры головного мозга, состоящая из 8 многослойных функциональных микросхем, содержащих около 20 000 интегрирующих и активирующих нейронов в каждой микросхеме (всего около 160 000 нейронов). Слои 4 и 6 отдельных микросхем получают восходящие предпочтительные стимулы, представляющие различные ориентированные полосы, а слои L2/3 и L5 получают нисходящие входные данные, опосредующие пространственное или основанное на признаках внимание.Помимо этих входов микросхемы взаимодействуют друг с другом через реализуемые в пределах L2/3 возбуждающие горизонтальные связи и латеральное торможение. Эта архитектура создает конкуренцию между mc за одновременное представление двух ортогонально ориентированных стержней (рис. S1, [3]). С помощью численного моделирования мы показали, что активность нейронов в L2/3 и L5 нашей модели хорошо объясняет различные модуляции ответа в зрительной коре, вызванные пространственными и основанными на признаках режимами внимания [13], [14].В частности, различимость шумовых визуальных стимулов в нашей модели согласуется с экспериментальными наблюдениями [16].

    Механизмы зависимой от режима внимания модуляции нейронных ответов

    Суть нашей модели заключается в гипотезе о том, что пространственный и признаковый режимы внимания по-разному реализуются при нисходящем входе в корковые микросхемы (рис. 1Б и 1С). Нисходящий ввод, опосредующий внимание, основанное на функциях, проецируется преимущественно на конкретную микросхему, чтобы усилить реакцию модели на посещаемую функцию.Напротив, пространственное внимание было опосредовано однородным нисходящим входным сигналом, проецируемым на все функциональные микросхемы, которые имеют общие пространственные рецептивные поля. Следовательно, при характерном внимании нисходящий ввод усиливал популяционные ответы в L2/3 и L5 микросхем, которые преимущественно реагируют на сопровождаемый ориентированный стимул, в то же время подавляя ответы микросхем с другими предпочтительными ориентациями за счет межмаксимумного латерального воздействия. ингибирование (рис. 4). Это подавление между микросхемами было эффективно усилено возбуждающими соединениями между mc (рис. S1 и S6).При пространственном внимании однородный нисходящий вход компенсировал подавляющие эффекты латерального торможения, и усиление реакции увеличивалось во всех локальных микросхемах. Недавно Cohen и Maunsell [49] сообщили, что внимание, основанное на признаках, координирует активацию нейронов в V4 в разных полушариях, тогда как пространственное внимание воздействует на локальные нейронные популяции. Эти результаты, по-видимому, подтверждают различные модели проекции нисходящего ввода в двух режимах внимания, наблюдаемых в нашей модели.

    Возбуждающие связи между микросхемами с близкими ориентационными предпочтениями необходимы для формирования их настраивающих свойств в разных режимах зрительного внимания.Было трудно количественно воспроизвести специфические для типа внимания модуляции нейронных ответов в моделях микросхем без этих горизонтальных связей, хотя качественные модели модуляции скоростей популяции аналогичны экспериментальным данным [13], [14]. Однако такая модифицированная модель не воспроизводила ни модуляцию амплитуды кривых настройки ориентации при пространственном внимании, ни модуляцию ширины при внимании на основе признаков (рис. S5). Кроме того, эти модели не давали конкурентных эффектов между ортогонально ориентированными столбиками, представленными одновременно в рецептивном поле (рис. S6).Эти паттерны модуляции не соответствовали результатам физиологических экспериментов [3], [13], [14]. В модифицированной модели отсутствуют возбуждающие связи между микросхемами с аналогичными ориентационными предпочтениями, так что внешние входы, такие как восходящие зрительные входы и нисходящее внимание, напрямую определяют ответы микросхемы в возбуждающих нейронах L2/3. В наших симуляциях вход сверху вниз был намного слабее предпочтительного стимула (см. Материалы и методы). Таким образом, когда к модифицированной модели применялись однородные входные данные сверху вниз, опосредующие пространственное внимание, и вертикальная полоса, ответы микросхемы с предпочтением вертикальной полосы в основном определялись силой зрительного входа снизу вверх.Напротив, для микросхемы с предпочтением горизонтальной полосы вход пространственного внимания сверху вниз оказался сильнее, чем вход снизу вверх для этой микросхемы (рис. 2А и 2В), и оказал большое влияние на модуляцию их ответов в L2/3 возбуждающие нейроны. Кроме того, активация этих нейронов может подавлять ответы микросхемы с предпочтением вертикальной полосы посредством латерального торможения. Следовательно, как показано на рисунке S3A, эффекты пространственного внимания на возбудительную активность L2/3 для модифицированной модели были сильнее в микросхемах с предпочтением горизонтальной полосы, чем в микросхемах с предпочтением вертикальной полосы.Это указывало на то, что в модифицированной модели пространственное внимание заметно увеличивало величину базовой линии, тогда как этот режим внимания немного увеличивал величину (базовая линия + амплитуда). В модифицированной модели отсутствовали возбуждающие связи между микросхемами с аналогичными ориентационными предпочтениями (рис. S2), так что общая сила внешних воздействий, таких как зрительные сигналы и нисходящее внимание, могла определять ответы возбуждающих нейронов L2/3. В наших симуляциях вход сверху вниз был намного слабее предпочтительного стимула (см. Материалы и методы).Таким образом, когда к модифицированной модели применялся однородный нисходящий ввод, опосредующий пространственное внимание, и вертикальная полоса, ответы микросхемы с предпочтением вертикальной полосы в основном определялись зрительным вводом. Напротив, для микросхемы с предпочтением горизонтальной полосы вход внимания сверху вниз был более доминирующим, чем вход снизу вверх для этой микросхемы (рис. 2A и 2B), и оказал сильное влияние на их ответы возбуждающих нейронов L2 / 3. .Кроме того, активация этих нейронов может подавлять ответы микросхемы с предпочтением вертикальной полосы посредством латерального торможения. Следовательно, как показано на рисунке S3A, влияние пространственного внимания на возбуждающую активность L2/3 было сильнее в микросхемах с предпочтением горизонтальных полос, чем в микросхемах с предпочтением вертикальных полос. Это указывает на то, что в модифицированной модели пространственное внимание заметно увеличило величину базовой линии, тогда как этот режим внимания немного увеличил величину (базовая линия + амплитуда).Возможным объяснением этих неприемлемых паттернов модуляции для модифицированной модели была конвергенция возбуждающих сигналов в тормозных нейронах L2/3 через внешние входы, такие как зрительное внимание и латеральное торможение. Нисходящий сигнал, опосредующий внимание, проецировался не только на возбуждающие, но и на тормозные нейроны L2/3 и L5 (Материалы и методы). Кроме того, в модифицированной модели эффекты пространственного внимания на возбуждающую активность L2/3 были наибольшими в микросхемах с предпочтением горизонтальной полосы (рис. 3А), что могло усилить ответы тормозных нейронов L2/3 в других микросхемах за счет интерференции. mc боковое ингибирование (рис. 1B).Если бы эти возбуждающие проекции на тормозные нейроны L2/3 в микросхеме с предпочтением вертикальных полос были бы значительно эффективны, эти нейроны могли бы препятствовать достаточной активации возбуждающих нейронов L2/3 в той же микросхеме с предпочтением вертикальных полос.

    Настоящая модель предсказывает, что L2/3 и L5, на которые непосредственно проецируется вход сверху вниз, демонстрируют сходные кривые настройки ориентации и сходные паттерны модуляции внимания (подавление или усиление). Напротив, кривые настройки и их модели модуляции несколько отличаются в L4 и L6.Модуляции внимания в этих слоях, по-видимому, зависят от силы синаптических связей внутри mc и межламинарных связей [30]. Например, нейроны в L4 интегрируют восходящие сенсорные входы и возвращают возбуждающие сигналы от L2/3, которые заканчиваются на тормозных нейронах L4 (рис. 1А). Следовательно, баланс между этими противоположными входами определяет свойство настройки L4. Наши предыдущие симуляции показали, что другой паттерн модуляции внимания в L4 выгоден для быстрого переключения внимания между визуальными объектами [30].В ходе дальнейших экспериментов необходимо выяснить, демонстрируют ли разные слои различную настройку ориентации и модуляции внимания.

    Модуляция реакции, вызванная вниманием, между типами и слоями нейронов

    В то время как зрительное внимание увеличивало общую реакцию популяции на L2/3 и L5 в нашей модели, отдельные нейроны демонстрировали широкий спектр модуляций скорости возбуждения (рис. 6). Дивергентное поведение нейронов L2/3 представляет значительный интерес, поскольку его можно исследовать с помощью оптических записей у бодрствующих животных.Во-первых, несмотря на то, что нисходящий ввод более плотно проецировался на возбуждающие популяции, чем на тормозящие в пространственном внимании (см. Материалы и методы), это внимание вызывало более сильное усиление тормозной активности клеток (рис. 6А). В недавнем эксперименте [5] самая сильная модуляция внимания произошла среди нейронов с быстрым выбросом, которые были предполагаемыми тормозными нейронами. Наши результаты, кажется, согласуются с этими экспериментальными данными, поскольку разумно рассматривать тормозные нейроны в нашей модели как наиболее частый подтип интернейронов, то есть интернейроны с быстрыми импульсами [50].

    Почему внимание вызывает разные модуляции реакции в разных классах нейронов? Паттерн проводки синаптических связей между mc дает возможное объяснение таких различий. Пространственное внимание увеличивает среднюю скорость возбуждения возбуждающих нейронов в L2/3 всех микросхем, независимо от их предпочтительной ориентации. Повышенная активность возбуждающих нейронов L2/3 в единичной микросхеме распространяется на L2/3-тормозные нейроны в самой и других единичных микросхемах через внутриламинарные возбуждающе-тормозные связи и латеральное торможение между mc (рис. 1А и Б).Следовательно, тормозной нейрон в L2/3 получает конвергентные возбуждающие сигналы от всех микросхем модели. Напротив, возбуждающий нейрон в L2/3 получает возбуждающий сигнал только от микросхемы, которой он принадлежит, и от его соседей. Это различие в характере конвергенции возбуждающих сигналов, по-видимому, приводит к более сильной активации тормозных нейронов и более слабой активации возбуждающих нейронов при пространственном внимании. Модуляция ответа различных типов нейронов экспериментально не изучалась для внимания, основанного на признаках.Для будущих экспериментальных тестов наша модель предсказывает долю возбуждающих и тормозных нейронов, которые в значительной степени модулируются вниманием, основанным на признаках (рис. 6B).

    Пространственное внимание не оказывает заметного влияния на возбуждающие нейроны L2/3 в микросхемах с горизонтальным предпочтением (рис. 3А). Из-за этого эффекты пространственного внимания выглядят мультипликативными, а не аддитивными в L2/3, но не в L5. Дифференциальное воздействие на L2/3 и L5 может частично возникать из-за различных паттернов активации тормозных нейронов в слоях: фоновая активность тормозных нейронов L2/3 повышается за счет пространственного внимания почти равномерно во всех элементарных микросхемах, тогда как активность тормозных нейронов L5 несколько сильнее приподняты нейроны в микросхеме, принимающей зрительный сигнал (вертикальная полоса), и ее соседях.Таким образом, в L5 возбуждающие эффекты зрительного ввода могут быть компенсированы негомогенной активацией тормозных нейронов, таким образом повышая базовую активность равномерно по всей микросхеме. Однако в L2/3 усиленное торможение не компенсируется зрительным входом в микросхемах с горизонтальным предпочтением, что приводит к неравномерному подъему базового уровня. Мы можем интерпретировать зависящие от слоя эффекты пространственного внимания как мультипликативную модуляцию усиления всей кривой настройки (базовая линия + амплитуда, управляемая стимулом), предложенную в других моделях [18], [21], [54], [55], потому что такой эффект должен быть слабым, если нейтральная активность низкая, что действительно имеет место для возбуждающих нейронов L2/3 (нейтральная активность <1.0 Гц: см. рис. 3). Однако ламинарная структура нашей модели сложна, и явная связь между двумя механизмами требует дальнейшего уточнения.

    Ограничения нашей модели микросхемы

    Наша модель с ее упрощенной структурой ввода лучше всего подходит для описания тех нейронных сетей V1, которые активируются ориентированными полосами. Тем не менее, имеется мало электрофизиологических доказательств пространственных и основанных на признаках режимов модуляции реакции внимания в V1; поэтому мы приняли экспериментальные данные, полученные для зрительных областей выше V1, с более сложными стимулами, такими как стимулы случайного движения точек для средних височных (MT) [16].Однако показано, что внешний шум мешает восприятию сопутствующих направленных стимулов при восприятии движения МТ так же, как и при восприятии ориентации ранними зрительными областями [46], [51]–[53]. Кроме того, Cohen и Maunsell [49] недавно продемонстрировали сходную модуляцию внимания частоты импульсов в нейронах V4, отвечающих на ориентированные участки Габора. Эти результаты побудили нас выдвинуть гипотезу о том, что пространственные и основанные на признаках режимы внимания имеют сходные механизмы в разных областях коры и разных реализациях ориентированных стимулов.

    Cohen и Maunsell [49] также сообщили, что оба режима внимания уменьшают корреляции спайков между парами нейронов. Известно, что внимание включает синхронизированные колебания в нейронах зрительной коры [56]–[58], а недавние исследования моделирования с несколько более биологически детализированными нейронами предполагают, что внимание включает модуляцию колебаний гамма-диапазона в нейронах зрительной коры [22], [23]. ], [28], [29], [59]. Динамические свойства синхронизации и колебаний существенно зависят от биологических деталей модельных нейронов, в частности интернейронов с быстрыми импульсами [60]–[62].Поскольку наша сетевая модель состоит из относительно простых нейронных моделей, необходимы дальнейшие исследования, чтобы выяснить, как пространственные и основанные на признаках режимы внимания модулируют корреляции спайков и, следовательно, обработку визуальной информации.

    Наша модель микросхемы не делала различий между простыми и сложными ячейками, потому что нейроны были соединены случайным образом в соответствии с вероятностями соединения, указанными в Таблице 1-4. Реакции простых клеток обычно зависят от пространственного положения предъявления стимула в пределах рецептивного поля, тогда как ответы сложных клеток существенно не зависят от местоположения стимула [63]–[65].Ради простоты настроек моделирования в крупномасштабных сетевых моделях мы не моделировали подробное пространственное расположение предъявления стимула в этом исследовании. Сетевой механизм генерации сложных клеток из ответов простых клеток еще полностью не выяснен, и реализация такого механизма остается открытой для будущих исследований.

    Сравнение с предыдущими моделями модуляции зрительного внимания и усиления

    Было предложено несколько моделей для объяснения дифференциальных эффектов двух изучаемых здесь видов зрительного внимания.Deco и его коллеги [66], [67] предложили модель, состоящую из 3 зрительных областей: V1, заднетеменной (PP) и нижневисочной (IT) областей. В их модели дорсальные и вентральные зрительные пути опосредуют различные типы внимания. Бойнтон [18] разработал модель нормализации зрительного внимания с помощью простых уравнений и воспроизвел результаты различных электрофизиологических экспериментов по пространственному и основанному на признаках режимам внимания. В модели внимание мультипликативно модулировало ответы сенсорных нейронов: пространственное внимание описывалось путем умножения усиления контраста в процессе нормализации, тогда как внимание, основанное на признаках, было представлено умножением коэффициента усиления сходства признаков после нормализации.Рейнольдс и Хигер [68] также предложили модель нормализации зрительного внимания, в которой перед нормализацией происходит модуляция усиления. Эти модели описывают функции зрительного внимания на макроскопическом уровне без указания структуры схемы на микроскопическом уровне. Мы изучили механизмы модуляции внимания, специфичные для мод, в моделях корковых микросхем с биологически предполагаемой ламинарной структурой. В нашей модели факторы усиления, опосредованные нисходящим вводом, и эффекты нормализации, опосредованные ингибирующими эффектами между mc, возникают одновременно, чтобы произвести общие модуляции внимания в пространственных и основанных на функциях режимах внимания.Тормозные связи между mc в нашей модели реализуют функцию, аналогичную разделительному процессу нормализации в модели Рейнольдса [68].

    Buia и Tiesinga [19] построили простую схемную модель, представляющую два параллельных зрительных пути, каждый из которых включает 1 возбуждающий и 2 тормозных нейрона. Они смоделировали внимание, основанное на признаках, вводя нисходящие проекции на определенные типы тормозных нейронов и пространственное внимание, модулируя усиление контраста визуальных стимулов.Следовательно, в отличие от нашей модели, в их модели пространственное внимание опосредуется восходящей визуальной обработкой. Ардид и др. [21] разработали модель нейронной сети, состоящей из МТ и областей рабочей памяти. Их модель продемонстрировала те же типы модуляции внимания, что и мы. В их модели сигнал внимания был ограничен определенными популяциями нейронов, предпочитающими посещаемую функцию. Поэтому, в отличие от нашей модели, их модель не предполагает отдельных источников пространственного внимания и внимания, основанного на признаках.Хотя многие модели описывают сетевые механизмы зрительного внимания, отдельные нейроны также могут выполнять мультипликативную характеристику управления усилением пространственного внимания. Например, было показано, что степенная функция ввода-вывода нейрона генерирует мультипликативное изменение усиления [54], [55]. Вопрос о том, возникают ли модуляции внимания и характерное изменение усиления из-за механизма сетевого уровня или механизма одного нейрона, остается открытым для будущих исследований.

    Было также предложено множество моделей для учета эффектов внимания на человеческое восприятие, наблюдаемых в психофизических экспериментах.Линг и др. [16] предположили, что внимание влияет на порог восприятия, изменяя усиление или настраивая реакцию населения в зрительной области МТ. Однако эта модель не объясняет, как эти два вида внимания выражались в зрительных областях. Вагацума и др., [11], [69] описали абстрактные модели, чтобы объяснить, как пространственное и основанное на функциях внимание может изменить визуальное восприятие объекта без моделирования лежащего в основе механизма цепи. Настоящая модель объясняет психофизические эффекты шума на зрительное восприятие человека на основе модели зрительных систем на уровне микросхемы.

    Материалы и методы

    Модель микросхемы функционально сгруппированных слоистых микросхем зрительной коры

    На рис. 1А показаны основные нейронные и синаптические компоненты нашей модели многослойной корковой микросхемы. Модель состоит из 8 ориентационно-селективных микросхем, каждая из которых представляет базовую функциональную единицу зрительной коры, разделяет их рецептивные поля и преимущественно реагирует на 1 из 8 стимулов (0, , , , и степени). Каждая микросхема имеет L2/3, L4, L5 и L6, и каждый слой состоит из пула возбуждающих нейронов и пула тормозных нейронов (подробности см. в табл. 5).Слой 1 явно не моделировался, так как он в основном содержит дендритные волокна нейронов других слоев. Стрелки на рисунке 1А представляют основные нейронные связи этой корковой микросхемы. Толстые стрелки показывают плотные соединения с вероятностью соединения >0,13, а тонкие стрелки представляют соединения с вероятностью соединения <0,13, но >0,065. Более разреженные соединения не показаны. Подробные вероятности соединения перечислены в таблицах 1–4. Для простоты все соединения внутри mc имеют одинаковый синаптический вес.Полная сеть, состоящая из 8 функциональных микросхем, содержит в общей сложности около 160 000 нейронов модели «интегрируй и активируй», то есть каждая микросхема содержит около 20 000 нейронов. Подробную информацию о моделях нейронов см. в таблицах S1–S9 в файле S1. Скорость срабатывания модельных нейронов будет зависеть от размера каждой модели единичной микросхемы, поскольку общее количество синаптических входов в нейрон зависит от общего числа нейронов в единичной микросхеме [31]. В настоящей модели мы приняли архитектуру нашей предыдущей модели [30], [31] после уменьшения размера каждой элементарной микросхемы.Поэтому мы перемасштабировали силу всех синаптических связей внутри mc в 1,6 раза плотнее, чем в предыдущей модели, чтобы компенсировать уменьшение размера каждой микросхемы. Сила внешнего воздействия не изменилась. С этими модификациями скорость спонтанного возбуждения каждого слоя находилась в пределах физиологически реалистичного диапазона (L2/3: ~3,3 Гц, L4: ~2,4 Гц, L5: ~15 Гц, L6: ~0,6 Гц для пирамидальных клеток; L2/3). : ~8 Гц, L4: ~6 Гц, L5: ~9 Гц, L6: ~8 Гц для ингибирующих клеток).

    Эта оценка синаптических связей внутри mc была основана прежде всего на анатомических и электрофизиологических данных для коры головного мозга кошек и крыс [32]–[34].Известно, что зрительная кора грызунов не имеет столбчатой ​​структуры, что означает, что нейроны со сходной ориентационной избирательностью могут не быть пространственно локализованы в мозге грызунов [35], [36], [70]. Однако сама по себе ламинарная структура обычно обнаруживается у различных млекопитающих, включая крыс. Если каждый слой зрительной коры содержит нейроны, играющие сходные функциональные роли у разных видов, мы можем предположить, что эти нейроны функционально имеют сходные внутри- и межламинарные структуры связности, формирующие сходные функциональные микросхемы.Как мы можем получить согласованный набор вероятностей соединений из вышеуказанных наборов данных, было продемонстрировано в Potjans and Diesmann [31] и Supplementary Materials.

    Cortical L2/3 имеет богатые локальные рекуррентные синаптические связи внутри слоя [71]. Кроме того, мы ввели латеральное торможение среди сетей L2/3 восьмислойных микросхем, чтобы вызвать конкуренцию между ними [72]–[76]. Как и в предыдущей модели [30], мы вводили латеральное торможение с помощью проекций от возбуждающих нейронов L2/3 одной микросхемы к тормозным нейронам L2/3 других (рис. 1Б), поскольку, как правило, только возбуждающие нейроны совершают дальнодействующие нейроны. связи и подавление перекрестной ориентации могут быть заблокированы применением антагониста ГАМК бикукуллина [77].Вероятность соединения бокового соединения устанавливалась равной 0,03 независимо от ориентационной избирательности микросхем. Возбуждающие горизонтальные связи часто обнаруживаются между колонками или нейронами, демонстрирующими сходную предпочтительную ориентацию [43], [76], [78]–[80]. Поэтому мы ввели возбуждающие связи inter-mc между возбуждающими нейронами L2/3, принадлежащими разным микросхемам, с одинаковой ориентационной избирательностью (рис. 1Б). Благодаря симметричному характеру взаимодействия между соседними микросхемами настоящую модель можно рассматривать как многоуровневую версию так называемой кольцевой модели [21], [22].Сила (вероятность соединения) этих синаптических соединений была установлена ​​равной 0,06.

    Имитационные эксперименты

    Когда визуальный стимул, имитирующий ориентированную полосу, предъявляется в рецептивном поле, возбуждающие и тормозные нейроны в L4 и L6 в 8-слойных микросхемах возбуждаются с различной интенсивностью (рис. 2А). Микросхемы блока возбуждались сильнее, если их предпочтительные ориентации (0, , , , и градусы) были ближе к ориентации стержня.На протяжении всего исследования мы считали ориентацию вертикальной полосы равной 0, а ориентацию горизонтальной полосы — равной . Предпочтительным входом был набор независимых последовательностей импульсов Пуассона с частотой 20 Гц, а частота возбуждения для других стимулов уменьшалась в зависимости от предпочтения. В таблице 6 перечислены вероятности того, что нейрон L4 или L6 получает сенсорные входные данные снизу вверх. Размер популяции восходящих зрительных стимулов, проецируемых на микросхему, составляет около 225 волокон [30], [31].

    Возбуждающие сигналы сверху вниз, опосредующие зрительное внимание, поступают на L2/3 и L5 микросхем [30], [31], [39], [81]–[84] (рис. 1А).В нашей модели этот нисходящий путь внимания проецируется как на возбуждающие, так и на тормозные нейроны. Это делает нейронный ответ настоящей модели мультипликативным [85], [86], что объясняет экспериментальные наблюдения. Вход сверху вниз представлял собой набор низкочастотных последовательностей пуассоновских всплесков с частотой 5 Гц. Таким образом, нисходящий ввод был намного слабее предпочтительного стимула [66], [67]. Количество последовательностей шипов в нисходящей проекции составляло 300 как для L2/3, так и для L5, а вероятности соединения нисходящего ввода приведены в таблице 7.

    Для представления пространственного внимания и внимания, основанного на функциях, мы ввели в нашу модель 2 вида нисходящего ввода. Во-первых, пространственное внимание было направлено на место в пределах рецептивного поля нашей модели. В этом случае мы однородно подавали один и тот же нисходящий вход на функционально сгруппированные микросхемы, независимо от их ориентационной селективности (рис. 2Б). При внимание, основанном на признаках, животное обращает внимание на 1 из 8 ориентаций. Здесь ввод сверху вниз подавался на конкретную микросхему, которая предпочитала посещаемую ориентацию (рис. 2C).

    Все результаты моделирования были получены с помощью NEST Simulation Tool [87] с использованием 8 ядер (Intel Xeon ® 2,26 ГГц) и MPI для параллельных вычислений.

    Дополнительная информация

    Рисунок S1.

    Реакция нейронов модели микросхемы на предвзятые соревнования [S13]. Для каждого слоя вертикальной предпочтительной микросхемы для различных комбинаций зрительного стимула и внимания, основанного на признаках, показаны скорости возбуждения возбуждающих (закрашенные столбцы) и тормозных (пустые столбцы) нейронов из 5 испытаний.Предпочтительный стимул вертикальной предпочтительной микросхемы окаймлен белой рамкой. Посещаемый стимул обведен кружком. Эти паттерны модуляции в L2/3 и L5 согласуются с экспериментальными данными [S13]. Сигналы внимания сверху вниз индуцировали в L4 паттерн модуляции ответа, противоположный таковому в L2/3 и L5. См. нашу предыдущую работу [S2] для подробных механизмов и анализа зависимости модуляции отклика от уровня.

    https://doi.org/10.1371/journal.pone.0080788.s001

    (TIF)

    Рисунок S2.

    Модифицированная модель без возбудительно-возбудительных связей между многослойными микросхемами. В случае этой модифицированной модели взаимодействие между микросхемами опосредуется только проекциями возбуждающих нейронов L2/3 в одной микросхеме на тормозные нейроны L2/3 в других (Exc-Inh).

    https://doi.org/10.1371/journal.pone.0080788.s002

    (TIF)

    Рисунок S3.

    Реакции модифицированной модели на вертикальную черту как для нейтрального состояния, так и для пространственного внимания. В каждом слое модифицированной модели микросхемы сплошной и пунктирной линиями представлены скорости заселенности возбуждающих A и тормозных B нейронов. Ориентированные полосы внизу показывают предпочтительную ориентацию каждой многослойной микросхемы. Серые и черные линии показывают ответы модифицированной модели без внимания (нейтральное состояние) или во время пространственного внимания соответственно. Кривые настройки возбуждающих и тормозных нейронов во всех слоях были аппроксимированы распределением Гаусса.Звездочки указывают на то, что различия в показателях популяционной стрельбы между двумя состояниями статистически значимы (t-критерий: ** при p<0,01; * при p<0,05; – при p<0,1).

    https://doi.org/10.1371/journal.pone.0080788.s003

    (TIF)

    Рисунок S4.

    Популяционные реакции возбуждающих A и тормозных B нейронов в модифицированной модели как для нейтрального состояния, так и для внимания, основанного на признаках. Все обозначения такие же, как и на рисунке S2. Модифицированная модель получила входные данные снизу вверх, имитирующие вертикальную черту. Нейронные реакции сравнивались между двумя случаями, то есть в нейтральном состоянии и при внимании, основанном на признаках, где ответы в нейтральном состоянии идентичны тем, что показаны на рисунке S2. Мы использовали распределения Гаусса для подбора кривых.

    https://doi.org/10.1371/journal.pone.0080788.s004

    (TIF)

    Рисунок S5.

    Статистический анализ кривых настройки ориентации для модифицированной модели. A, B, C, Базовые линии, амплитуда и ширина гауссовых кривых настройки показаны для ответов возбуждающих нейронов в L2/3 (вверху) и L5 (внизу). Значения параметров аппроксимации Гаусса были получены из 50 испытаний моделирования в нейтральном состоянии (серые столбцы), пространственном внимании (пустые столбцы) и внимании на основе признаков (закрашенные столбцы). Звездочки указывают на то, что значения параметров значительно отличаются от значений в нейтральном состоянии (критерий Стьюдента: ** для p<0.01; * для р<0,05; – при р<0,1). D, Гистограммы положения пиков кривых настройки в L2/3 и L5 показаны для стимула с вертикальной полосой. Треугольники — это медианы. Мы рассчитали значений P для теста Манна-Уитни, чтобы сравнить гистограммы между нейтральным состоянием и двумя состояниями внимания.

    https://doi.org/10.1371/journal.pone.0080788.s005

    (TIF)

    Рисунок S6.

    Усредненные ответы нейронов модифицированной модели для предвзятых соревнований из 5 симуляционных испытаний. Все обозначения такие же, как и на рисунке S1. Паттерны модуляции в L2/3 и L5 не согласуются с результатами физиологических экспериментов [S13].

    https://doi.org/10.1371/journal.pone.0080788.s006

    (TIF)

    Рисунок S7.

    Частотные гистограммы скоростей стрельбы населения в нейтральном состоянии, полученные из L2/3 A и L5 B при пяти различных уровнях внешнего шума. По горизонтальной оси показана амплитуда показателей популяции, а по вертикальной оси указано количество испытаний. На каждом графике показаны уровни внешнего шума. Белые столбцы отображают ответы населения, полученные от предпочтительной ориентации, а черные столбцы иллюстрируют ответы населения на непредпочтительную ориентацию. Каждое распределение получено из 50 имитационных испытаний в нейтральных условиях. При увеличении уровня внешнего шума эти два распределения сливались, что свидетельствовало о помехах точного детектирования предъявляемого стимула при высоком уровне шума.

    https://doi.org/10.1371/journal.pone.0080788.s007

    (TIF)

    Рисунок S8.

    Гистограмма расположения пиков настроечных кривых в L2/3 для откликов на вертикальную полосу при различных уровнях внешнего шума. Треугольники — медианы. Мы рассчитали значений P для теста Манна-Уитни, чтобы сравнить гистограммы между нейтральным состоянием и двумя состояниями внимания. A , Частотная гистограмма пиков настройки нейтрального состояния.С увеличением уровня внешнего шума частота распространяется широко. B , Гистограмма положения пика пространственного внимания относительно вертикальной полосы при различных уровнях внешнего шума. C , Гистограмма пикового местоположения внимания, основанного на признаках. Независимо от уровня внешнего шума внимание, основанное на признаках, улучшает обнаружение представленной ориентации по сравнению с нейтральным состоянием.

    https://doi.org/10.1371/journal.pone.0080788.s008

    (TIF)

    Рисунок S9.

    Гистограммы расположения пиков кривых настройки в L5, полученные из тех же наборов данных, что и на рисунке S6. Все обозначения такие же, как и на рисунке S6. Результаты статистического теста (тест Манна-Уитни) для сравнения нейтрального состояния и двух видов зрительного внимания идентичны рисунку S6. A, Частотная гистограмма пиков настройки нейтрального состояния. B, Распределение пиков пространственного внимания. C, Гистограмма пиковых точек внимания на основе признаков.

    https://doi.org/10.1371/journal.pone.0080788.s009

    (TIF)

    Рисунок S10.

    Производительность нашей модели с использованием индекса различимости ( d’ ) для вертикальных полос и полос, ориентированных под углом 22,5 градуса (тонкая различимость). Мы вычислили d’ для L2/3 ( A ) и L5 ( B ).Пунктирная линия показывает звездную величину d’ в нейтральном состоянии. Сплошные серые и черные линии указывают на результаты пространственного и функционального режимов внимания соответственно. Эффекты внимания на различимости показывают аналогичную тенденцию в L2/3 и L5. Снижение этой различимости с увеличением уровня внешнего шума было похоже на закономерности различимости между двумя ортогональными ориентациями. Однако эти величины d’ между двумя одинаково ориентированными полосами были заметно ниже, чем между ортогональными полосами, показанными на рисунке 7.

    https://doi.org/10.1371/journal.pone.0080788.s010

    (TIF)

    Файл S1.

    Этот файл содержит таблицу S1-таблицу S9. Таблица S1, описание модели после [S4] (сводка модели). Таблица S2, Описание модели после [S4] (Население). Таблица S3, Описание модели после [S4] (Подключение). Таблица S4, Описание модели после [S4] (модель нейрона и синапса). Таблица S5, Описание модели после [S4] (ввод). Таблица S6, Описание модели после [S4] (Измерения). Таблица S7, Пиковые частоты возбуждающих фоновых воздействий. Таблица S8, Параметры нейронной и синаптической модели (Связность). Таблица S9, Параметры нейронной и синаптической модели (Neuron and Synaptic model).

    https://doi.org/10.1371/journal.pone.0080788.s011

    (DOCX)

    Вычислительные свойства визуальной микросхемы

    Введение

    Неокортекс представляет собой рекуррентную сеть морфологически разнообразных тормозных интернейронов и возбуждающих пирамидных нейронов (ПИР) 1–4 .Большинство интернейронов можно отнести к биохимически определенным классам, таким как парвальбумин (PV), соматостатин (SST) и вазоактивные интестинальные полипептиды (VIP) положительные клетки 5 . Эти нейроны распределены по слоям и соединены в соответствии со сложной схемой внутри- и межламинарными связями 6–10 . Открытие закономерностей в связности возбуждающих и тормозных нейронов побудило исследователей предположить существование канонических микросхем 11,12 , которые реализуют элементарные вычисления, повторяющиеся в мозгу 13 .

    Чтобы идентифицировать такие вычисления, исследования были сосредоточены на лучшем описании функциональной роли отдельных типов нейронов посредством селективной оптогенетической активации и молчания определенных типов клеток 5,14–16 . Эти исследования не только подчеркнули существенную роль тормозных нейронов в уравновешивании возбуждения, но также признали растормаживающие субцепи, которые освобождают пирамидальные нейроны от сильного торможения 15,17–21 . Более того, колебания нейронов в разных частотных диапазонах приписывают активности разных типов интернейронов 22–24 .В то время как функция упрощенных цепей с множественными типами интернейронов, приписываемых поверхностному слою коры, была исследована теоретически 25–29 , динамика более сложных сетей, включающих несколько слоев с трансламинарной связью, остается неизученной. Кроме того, неясно, как описания частоты импульсов функции микросхем связаны с колебательным поведением корковых сетей, которые могут различаться в разных слоях коры 30–32 . Это имеет решающее значение для интерпретации мезо- и макроскопических сигналов от записей LFP, ЭЭГ или МЭГ в свете функции схемы, где доступ к информации о частоте импульсов невозможен.

    Чтобы ответить на эти вопросы, мы применяем вычислительный подход и изолируем роль различных нейронов в функционировании многоуровневой микросхемы первичной зрительной коры мыши, основанной на частоте и колебаниях, для которой на сегодняшний день доступна наиболее полная диаграмма связности 7 . Моделирование позволило выйти за рамки того, что возможно с помощью доступных экспериментальных инструментов, и мы не только охарактеризовали эффект избирательной активации/подавления различных типов нейронов, но также нарушили определенные связи и проверили их влияние на динамику микросхемы и свойства отклика.

    Мы обнаружили, что поверхностный и глубокий слои зрительной микросхемы могут работать в двух разных состояниях, каждое из которых имеет разный баланс возбуждения-торможения: состояние с преобладанием торможения, контролируемое нейронами SST, и состояние растормаживания, управляемое нейронами PV. Нарушая связи различных типов интернейронов, мы подтвердили, что различия в повторяющихся связях внутри этих классов тормозных клеток играют решающую роль для разного баланса EI в двух состояниях. Два взаимных ингибирующих мотива, включающих клетки SST, PV и VIP, служат сверхчувствительными или бистабильными переключателями с разной чувствительностью, которые могут переключать микросхему между двумя состояниями.Такое изменение состояния на одном уровне может распространяться через трансламинарные соединения на другой уровень. Примечательно, что мы также обнаружили, что в заторможенном режиме колебания бета-диапазона были более распространены, особенно в глубоком слое, тогда как в расторможенном состоянии гамма-колебания возникали преимущественно в поверхностном слое, аналогично экспериментальным наблюдениям 30,32 Мы также приводим механистическое объяснение других эмпирических результатов, таких как асимметричные изменения мощности и частоты колебаний во время переходов состояний, наблюдаемые при предъявлении визуальных стимулов с увеличением размера 24,33 .Таким образом, наши результаты обеспечивают всестороннее описание зависимых от состояния эффектов различных типов тормозных интернейронов с проверяемыми прогнозами и соотносят основанные на скорости и колебаниях счета функционирования микросхемы.

    Результаты

    В данном исследовании мы исследуем вычислительные свойства детализированной микросхемы зрительной коры мыши 34 (рис. 1а). Эта сеть состоит из двух разных слоев (поверхностного и глубокого), представляющих L2/3 и L5 первичной зрительной коры, и каждый из которых содержит четыре разных типа клеток, которые связаны внутри слоев и между ними: возбуждающие пирамидные клетки (PYR) и три разных класса тормозных клеток (PV, SST и VIP).Связность была скорректирована с учетом различной распространенности каждого типа клеток 34 и масштабирована с помощью глобального параметра ( G ) для аппроксимации эффективных изменений связи. Переменная G может быть связана с общим количеством ячеек в микросхеме 35,36 (рис.1b). Динамика популяции каждого типа нейронов была дана моделью скорости стрельбы (см. Методы). Эта модель микросхемы также демонстрировала шумовые колебания, что позволило нам изучить как скорость возбуждения, так и колебательное поведение, измеряемое вариациями мощности и частоты потенциала локального поля (LFP), аппроксимируемыми скоростью популяций пирамидных клеток.Сначала мы исследовали спонтанные взаимодействия между всеми нейронами, а затем запустили определенные классы нейронов, имитируя входные данные из удаленных корковых и подкорковых источников.

    Рисунок 1.

    Анатомия сети и спонтанная активность. а) Схема локальной сети с поверхностным слоем, включающим 4 различных типа клеток в слое 2/3 зрительной коры мыши и три типа клеток в глубоком слое, представляющем L5. Несмотря на то, что они находятся в поверхностном слое, тип клеток VIPd функционально связан с глубоким слоем, поскольку он в основном иннервирует L5.Сила связности (w) представлена ​​толщиной линий. Сплошные линии: w > 0,1, пунктирные линии: промежуточные веса: 0,04 > w < 0,1, слабые веса (w < 0,04) не показаны. b) Схема, показывающая масштабирование соединения по параметру соединения G . c) Средняя спонтанная скорость для всех типов клеток в поверхностных и глубоких слоях как функция параметра связи G d-e) Пример спектров мощности LFP в поверхностных и глубоких слоях для двух различных значений G . f-g) Частота и мощность колебательных пиков в спектрах LFP в зависимости от G для обоих слоев.

    Спонтанная активность

    Во-первых, мы систематически масштабировали связность микросхемы на G и измерили установившуюся частоту возбуждения всех нейронов без какого-либо внешнего ввода. За резким увеличением активности пирамидных, PV и VIP-клеток с G последовало быстрое снижение средних показателей в обоих слоях (рис. 1с). Нейрон SST также вел себя аналогично клеткам PV и VIP, но как рост, так и затухание их активности были намного медленнее.Средняя частота возбуждения пирамидных и SST-нейронов была выше в более глубоком слое, в соответствии с результатами экспериментов на мышах 37,38 . Спектральный анализ мощности LFP показал четкий пик, частота и мощность которого варьировались в зависимости от параметра связи в зависимости от слоя (рис. 1d-e). Как правило, частоты сначала увеличивались в диапазоне высоких гамм от ~60 Гц (для малых G ) до ~ 110 Гц (для G = 100) по обоим слоям (рис. 1f). Для G > 100 доминирующая частота LFP неуклонно снижалась до низкого гамма-диапазона (~ 40 Гц, поверхностный слой) или низкого бета-диапазона (~ 15 Гц, глубокий слой) для G = 500.Интересно, что частота постоянно оставалась выше в глубоких слоях, что согласуется с недавними экспериментальными данными на мышах V1 31 . Более того, высокие гамма-частоты (G < 250) были сильнее в поверхностных слоях, тогда как мощность более медленных колебаний (G > 250) была выше в глубоких слоях (рис. 1ж), что опять-таки согласуется с экспериментальными исследованиями 32,39–41

    Происхождение разной частоты импульсов и колебаний в глубоких и поверхностных слоях

    Затем мы исследовали анатомическое происхождение различий скорости импульсов и колебаний между слоями путем изменения конкретных связей.Мы нацелились на три соединения, которые демонстрируют выраженную асимметрию между слоями: соединение PYR sup → PYR , глубокое соединение , трансламинарные проекции клеток SST и периодическое торможение среди нейронов PV (соединения PV-PV) (рис. 2а, дополнительная таблица 4) . Удаление соединения PYR sup → PYR , глубокое , значительно уменьшило разницу скоростей обжига между слоями (рис. 2b). Удаление трансламинарного соединения SST, которое проецируется только из глубокого слоя в поверхностный, оказало меньшее влияние на разницу скорострельности.Более того, растормаживающие связи PV-PV значительно сильнее в глубоких слоях (дополнительная таблица 4). Когда мы изменили соединения PV-PV таким образом, чтобы их прочность была одинаковой в глубоких и поверхностных слоях, разница в скорости горения между двумя слоями также уменьшилась. Одновременное изменение всех трех соединений почти полностью устранило неравенство скоростей между слоями. Аналогичным образом были подавлены различия в мощности колебаний в разных частотных диапазонах между слоями (рис.2в-г, сравните с рис. 1д-д). Таким образом, наша модель предполагает, что более сильное возбуждение и растормаживание в глубоком слое вместе с более сильным торможением в поверхностном позже лежат в основе экспериментально наблюдаемых различий в скорости возбуждения и мощности колебаний между глубокими и поверхностными слоями.

    Рисунок 2.

    Влияние нарушений связности на скорость и спектральные свойства в разных слоях. а) Схема двухуровневой сети. Синие и зеленые трансламинарные соединения были удалены, а веса красных соединений были установлены на одно и то же значение глубокого рекуррентного соединения ЛВ. b) Влияние модификации связности на разницу скоростей между поверхностным и глубоким уровнями в зависимости от G . c-d) Спектры мощности обоих слоев для двух значений G после применения всех модификаций связности. e) Диаграмма, изображающая три различных моделирования поражения клеток. Серые кружки: связи этого типа ячеек со всеми другими ячейками были установлены на ноль. f) Пиковая частота LFP (вверху) и мощность (внизу) как функция G для различных поражений клеток в поверхностном слое. g) Пиковая частота в поверхностном слое как функция G после инактивации клеток PV и различных уровней ввода в клетки PYR (слева) или SST (справа). h) Пиковая частота поверхностного слоя после повреждения SST в зависимости от G и различных входных данных для клеток PYR или PV. i-j) То же, что и в g-h) для пиковой мощности колебаний в поверхностном слое.

    Эффект подавления специфических тормозных клеток

    Приведенные выше результаты позволяют предположить, как различные тормозные нейроны могут вызывать изменения частоты и мощности доминирующих колебаний.Примечательно, что относительное доминирование клеток SST должно сопровождаться низкочастотными колебаниями из-за их медленных синаптических констант времени. Напротив, относительное доминирование нейронов PV должно вызывать высокочастотные колебания, учитывая их более быструю постоянную времени. Чтобы проверить эту гипотезу, мы заглушили отдельные типы тормозных клеток в обоих слоях, удалив все их связи, и исследовали влияние на частоту колебаний и мощность LFP (рис. 2e). Выбивание клеток ПВ сопровождалось медленными колебаниями (~30 Гц) в обоих слоях с частотой, которая оставалась приблизительно стабильной с G .Напротив, когда клетки SST были удалены, сеть колебалась с высокой частотой (~ 110 Гц) при всех протестированных значениях G (рис. 2f вверху, дополнительный рис. 2a слева). Обратите внимание, что это увеличение частоты колебаний не было связано с растормаживанием от подавления SST, потому что скорость срабатывания PYR снизилась в обоих случаях нокаута с G (дополнительный рис. 1), в то время как частота оставалась высокой. В соответствии с гипотезой, при малых значениях G при высокой скорости PV частота колебаний в неповрежденной сети приближалась к частоте, наблюдаемой в случае выключения SST.Когда G был увеличен, а активность SST превысила скорость возбуждения PV, частота колебаний уменьшилась и приблизилась к значениям, наблюдаемым в сценарии отключения PV. Важно отметить, что колебательная мощность в целом была выше в случае выключения PV с низкой частотой и ниже в сети с глушителем SST с более быстрыми колебаниями при всех протестированных значениях G (рис. 2f, внизу, дополнительный рис. 2a, справа). В отличие от клеток PV и SSP, замалчивание клеток VIP лишь незначительно увеличивало частоту колебаний, но не влияло на относительное снижение частоты в зависимости от G .Однако, когда мы манипулировали частотой и мощностью в выбивных сетях, мы обнаружили, что они изменяются симметрично. Как в цепях с заглушением PV, так и в SST, возбуждение клеток PYR или оставшейся ингибирующей клетки совместно увеличивало или уменьшало мощность и частоту в поверхностном и глубоком слое, за исключением глубокого слоя после подавления SST (рис. 2g-j, дополнительная рис. 2b-c). ). Таким образом, относительное преобладание активности клеток PV и SST является важным фактором, определяющим частоту и мощность колебаний, которые обратно пропорциональны в полной модели, но положительно коррелируют в частично молчащей сети.

    Дополнительный рисунок 1

    Сравнение эволюции скоростей SST и PV с увеличением G .

    Дополнительный рисунок 2

    Влияние подавления определенных типов клеток на скорость и спектральные свойства в глубоком слое.

    а) Пиковая частота LFP (слева) и мощность (справа) в зависимости от G для различных поражений клеток в глубоком слое. б) Пиковая частота (вверху) и мощность (внизу) в глубоком слое в зависимости от g после инактивации PV-ячейки и различных уровней ввода в PYR-ячейки (слева) или SST-ячейки (справа). c) Пиковая частота (вверху) и мощность (внизу) глубокого слоя после повреждения SST в зависимости от g и изменения входного сигнала в клетки PYR или PV.

    Два разных состояния и динамика переключения состояний микросхемы

    До сих пор мы изменяли относительную распространенность данных типов интернейронов путем масштабирования матрицы связности или подавления отдельных типов клеток или связей. Визуальный осмотр микросхемы выявил два заметных мотива взаимного торможения. Клетки SST обнаруживают реципрокные ингибирующие связи с клетками PV, а также с клетками VIP в каждом слое, что приводит к конкуренции этих пар клеток друг с другом (рис.1а). Мы предположили, что управление одним типом ингибирующих клеток будет функционально подавлять конкурирующие клетки и переключать цепь между различными ингибирующими состояниями, которые могут различаться с точки зрения скорости возбуждения PYR и профиля их колебаний. Чтобы проверить эту гипотезу, мы сначала проверили, может ли вход в клетки VIP или PV подавлять активность SST. С этой целью мы усилили активность SST, введя дополнительные входные данные в ячейки SST в обоих слоях (I ext = 5 Гц). Затем мы одновременно стимулировали клетки VIP или PV в обоих слоях, имитируя входной сигнал прямой связи от слоя 4 к клеткам PV или входной сигнал обратной связи из вышестоящих областей к клеткам VIP, которые могут одновременно нацеливаться на поверхностные и глубокие слои 32,42 .Ответы были измерены от клеток PYR и SST для различных значений G (рис. 1a-b, см. дополнительные рисунки 3a-b для ответов других типов клеток).

    Дополнительный рисунок 3

    Сверхчувствительность в ячейках PV и VIP.

    а) Норма ячеек PV и VIP в поверхностных и слоях после ввода в поверхностные и глубокие ячейки VIP. Клетки SST стимулировали постоянным вводом I ext = 5 для повышения активности SST. Ответы показаны для трех различных значений G . б) То же, что и в а) для одновременного ввода в поверхностные и глубокие фотоэлементы. c) Порог подавления ячеек PYR в различных слоях в зависимости от G , когда ввод был сделан для ячеек VIP или PV. Порог был определен как необходимая скорость ввода в ячейки PV/VIP, применяемая одновременно к обоим слоям, чтобы подавить скорость PYR до <0,001. Обратите внимание, что для ячеек PYR на глубоком уровне не существует порога, поскольку они не являются целью ячеек VIP.

    Когда VIP-ячейки были активированы (дополнительный рис.3а) мы обнаружили два основных эффекта. Во-первых, VIP-соединения с клетками SST подавляли скорость SST, тогда как клетки PYR и PV увеличивали свою активность в обоих слоях, потому что они освобождались от ингибирования SST, в частности, для более высоких значений G (рис. 3а и дополнительная рис. 3а). Однако по мере увеличения входа VIP клетки PYR и PV снова постепенно подавлялись в поверхностном слое, в то время как их скорость активации была лишь незначительно затронута в глубоком слое. Это было вызвано ингибирующим соединением VIP с клетками PYR в поверхностном слое, и действительно, его удаление приводило к ответу, аналогичному двум слоям глубокого слоя (рис.1а, дополнительный рис. 4).

    Дополнительная фигура 4

    VIP-клетки ингибируют только поверхностные клетки PYR.

    а) Диаграмма, на которой связь между поверхностными клетками VIP и клетками PYR была выборочно удалена. b) Сравнение между исходным ответом клеток PYR на ввод VIP (сплошная линия) и после удаления соединения, как показано в a).

    Рис. 3.

    Сверхчувствительность и гистерезис в оптической микросхеме. а) Реакция клеток PYR и SST в поверхностных и глубоких слоях после ввода в поверхностные и глубокие клетки VIP (вверху), имитирующая корковую обратную связь.Клетки SST стимулировали постоянным вводом I ext = 5 для повышения активности SST. Ответы показаны для трех различных значений G (внизу). Кривые отклика SST были сопоставлены с функцией Хилла, что дало разные коэффициенты Хилла (nH) для каждой кривой. b) То же, что и в а) для одновременного ввода в поверхностные и глубокие клетки PV, моделируя упреждающее ингибирование. c) Реакция ячеек PYR и SST на увеличение (верхняя ветвь, синее/зеленое) и уменьшение входных данных (нижняя ветвь, черное) в ячейки VIP для примерного значения g и обоих слоев.Обратите внимание, что g больше, чем в а). Сеть отображает гистерезис в каждом слое (заштрихованная область h). d) То же, что и в c) для одновременного ввода в фотоэлектрические ячейки в обоих слоях.

    Во-вторых, по мере увеличения G ответы клеток SST становились более похожими на переключение с сигмоидальными кривыми в обоих слоях, что является признаком сверхчувствительного переключения во многих биологических системах 43 (рис. 3а). Аналогичное сигмоидальное снижение скорости запуска SST с начальным растормаживанием PYR с последующим ингибированием наблюдалось в обоих слоях, когда приводились только клетки PV (рис.3б, дополнительный рис. 3б). Однако при стимуляции клеток PV сверхчувствительные ответы, подобные переключению, возникали при больших значениях G по сравнению с входом VIP, особенно в глубоком слое. Напротив, ингибирование клеток PYR, индуцированное VIP-клетками, было слабее, чем подавление PYR, опосредованное клетками PV (рис. 3a-b, дополнительная рис. 3c).

    В некоторых биологических системах сверхчувствительность с сигмоидальными кривыми отклика сопровождается бистабильным поведением 44 , характеризующимся переходами состояний, которые не реверсируются при снятии ввода.Явным признаком бистабильности является наличие гистерезиса, то есть кривые отклика изменяются в зависимости от направления, в котором было инициировано изменение состояния. Для проверки бистабильности в микросхеме мы сначала подавали нарастающий ток к элементам ВИП или ФЭ в обоих слоях одновременно, а затем ток в убывающем направлении для разных значений параметра связи. Мы обнаружили, что гистерезис появлялся при достаточно высоких значениях G , о чем свидетельствует появление неконгруэнтных кривых отклика для направления вверх и вниз во всех типах клеток обоих слоев для VIP (рис.3c, дополнительный рис. 5a) и вход PV (рис. 3d, дополнительный рис. 5b). Гистерезис в глубоком слое для ввода PV требовал очень сильного ввода, хотя небольшой эффект гистерезиса наблюдался для меньшего G , который передавался из поверхностных слоев через трансламинарные соединения (дополнительный рис. 5c).

    Дополнительный рисунок 5

    Гистерезис в ячейках PV и VIP.

    a) Реакция ячеек PV и VIP на увеличение (ветвь вверх) и уменьшение ввода (ветвь вниз) в ячейки VIP для примерного значения g и обоих уровней.Сеть отображает гистерезис в каждом слое (заштрихованная область h). б) То же, что и в а) для одновременного ввода в фотоэлектрические ячейки в обоих слоях. c) Реакция клеток SST в глубоком слое на вход PV и g = 1500.

    Сверхчувствительность и гистерезис, основанные на ингибировании, обычно требуют сильных ингибирующих взаимодействий между компонентами системы 44 . Поэтому мы предположили, что усиленные взаимные ингибирующие связи между клетками SST<>VIP и SST<>/PV из-за масштабирования с помощью G лежат в основе сигмоидальной и гистерезисной кривых отклика.Действительно, выборочного увеличения этих весов было достаточно, чтобы в микросхеме появились сверхчувствительность и гистерезис (дополнительный рис. 6).

    Дополнительный рисунок 6.

    Взаимные запрещающие веса связи контролируют сверхчувствительность и гистерезис.

    a) Схема, показывающая масштабирование соединений между ячейками SST и VIP/PV с константой k. b) Реакция клеток SST на вход PV для различных значений k и постоянного значения G . c) То же, что и в (b) для ввода в ячейки VIP.

    Затем, чтобы количественно оценить поведение микросхемы при переключении, мы подобрали функцию Хилла к кривой скорости срабатывания SST (см. Методы) и оценили коэффициент Хилла (n H , рис. 3а), меру (ультра) чувствительности. . Мы также оценили площадь между верхней и нижней ветвями кривых отклика ( ч ) для количественного определения гистерезиса. Мы обнаружили, что как n H , так и h монотонно увеличивались с G, когда либо VIP-клетки (рис.4а) или клетки ВВ (рис. 4б). В ограниченном диапазоне G коэффициент Хилла (nH) монотонно возрастал при переходе от SST к VIP или SST к PV состояниям в обоих слоях, при этом гистерезис отсутствовал ( h =0). Гистерезис имел место при различных значениях G в зависимости от типа переключателя и слоя и вызывал резкое увеличение n H , которое стабилизировалось при больших значениях G и приводило к практически бинарному переходу состояний.Более внимательное изучение бифуркационных диаграмм показало заметные различия между коммутаторами и уровнями. Когда мы увеличили G , чувствительность переключения VIP на SST быстро возросла в обоих слоях. Напротив, быстрое увеличение чувствительности для переключения PV на SST произошло при более высоких значениях G в поверхностном слое и даже более высоких значениях G в глубоком слое (рис. 4c) по сравнению с VIP на SST. выключатель. Аналогичным образом начало гистерезиса увеличивалось от переключателей VIP к переключателям PV в поверхностном и глубоком слое (рис.4г). Обратите внимание, что переключатель PV в глубоком слое показал раннее увеличение ч из-за распространяющегося эффекта гистерезиса от поверхностного слоя ( G ~ 500, дополнительный рис. 5c) и позже показал увеличение собственного гистерезиса.

    Рис. 4.

    Бифуркационные диаграммы и спектральные свойства двух микросхем-переключателей. a) Бифуркационная диаграмма поверхностного (вверху) и глубокого слоя (внизу), изображающая чувствительность, измеренную коэффициентом Хилла (N H ), и площадь гистерезиса (h) ответов SST-клеток на вход VIP-клетки в виде функция Г.Заштрихованные области показывают чисто сверхчувствительную и бистабильную области, где присутствуют как сверхчувствительность, так и гистерезис. б) То же, что и в а) для ввода в фотоэлектрические элементы. Нижняя пунктирная линия: начало гистерезиса в поверхностном слое (вверху) также видно в глубоком слое (внизу) c) Чувствительность ответов SST на вход VIP или PV в поверхностных и глубоких слоях в зависимости от G . d) G — значения начала гистерезиса в откликах SST в обоих слоях после ввода в ячейки VIP и PV. д) Спектры мощности ЛФП поверхностного и глубокого слоев с тремя разными входами в ячейки VIP и постоянным приводом I доб = 5 к ячейкам SST. f) То же, что и в e) для ввода в фотоэлементы. i-j) Пиковая частота i) и мощность j) в поверхностных и глубоких слоях в зависимости от входа VIP и PV.

    В последующем изучали влияние динамики переключения на частоту колебаний и мощность ЛФП. Оба входа в клетки VIP и PV сильно увеличивали частоту доминирующих колебаний в поверхностных и глубоких слоях, тогда как мощность пика колебаний обычно уменьшалась (рис. 4e-j).Это ожидается при переходе от состояния с преобладанием SST с низкой частотой к состоянию с высокой частотой колебаний, в котором частота определяется доминирующей активностью PV (см. выше). Обратите внимание, что частота и мощность демонстрируют сигмоидальные скачки, аналогичные приведенным выше переходам скорости (рис. 2i-j, вход VIP).

    В совокупности эти результаты позволяют предположить, что микросхема может работать в двух различных состояниях: в заторможенном состоянии, где преобладают нейроны SST, и в расторможенном состоянии с преобладающей активностью PV.Два мотива схемы взаимного торможения обеспечивают два переключателя с разной чувствительностью, которые переключают сеть между обоими состояниями, характеризующимися разными скоростями PYR и частотами колебаний, при этом поддерживая достаточное торможение, чтобы предположительно предотвратить неконтролируемое возбуждение.

    Боковое торможение переключает схему в состояние SST

    Далее изучали динамику переключений в микросхеме в обратном направлении, т.е. переход от PV/VIP к управляемой SST активности.С этой целью мы подавали входные данные на SST-клетки в обоих слоях (рис. 5а), имитируя эффект латерального торможения во время объемного подавления в зрительной коре, который, как было экспериментально установлено, опосредуется входом горизонтальных пирамидных клеток от удаленных микросхем к SST-нейронам. 45,33 . Управление клетками SST приводило к монотонному спаду активности всех других типов клеток в обоих слоях и при различных значениях G (рис. 5b), в соответствии с несколькими экспериментальными исследованиями 24,45,46 .Стимуляция клеток SST также снижала частоту колебаний (рис. 5c-e). Однако по мере того, как мы увеличивали вход в клетки SST, мощность колебаний сначала увеличивалась, а затем уменьшалась, когда клетки PV были сильно подавлены. Это открытие повторяет экспериментальные данные, в которых более сильное подавление объемного звучания сопровождается внезапным переходом от высокочастотных (гамма-диапазон) к низкочастотным колебаниям (высокий бета-низкий гамма-диапазон) и сопутствующим увеличением мощности колебаний у мышей 24,33 и обезьяны 47 .

    Рисунок 5.

    Латеральное торможение переключает динамику с состояния VIP/PV на состояние с преобладанием SST. a) Схема, показывающая входные данные для ячеек SST в обоих слоях и измеряющая реакцию во всех других типах ячеек. b) Кривые отклика клеток PYR, PV и VIP в зависимости от воздействия SST для поверхностных и глубоких слоев и трех различных значений G . в) Спектры мощности поверхностных и глубоких слоев при различных уровнях ввода ТПО. d) Пиковая частота и мощность как функция входа SST для двух уровней возбуждения PYR. e) То же, что и в d) для глубокого слоя.

    Вход в пирамидальную клетку способствует активности SST

    Затем мы измерили реакцию клеток SST при стимуляции клеток PYR в обоих слоях (рис. 6a-c, дополнительная рис. 7a). Мы изучили реакцию клеток SST в трех различных сценариях. В первом сценарии мы стимулировали клетки PYR, а клетки VIP и PV не получали никаких внешних воздействий. В этом сценарии ввод PYR сильно увеличивал активность SST (рис. 6.a) (и, в меньшей степени, скорость PV, см. Дополнительный рис.7b) в обоих слоях, в то время как ячейки VIP были подавлены (дополнительная рис. 7b). Стимуляция клеток PYR также увеличивала частоту колебаний популяции, тогда как мощность колебаний уменьшалась (дополнительная рис. 7c). Во втором сценарии мы стимулировали клетки PYR, в то время как клетки VIP получали постоянный внешний вход. В этом сценарии достаточно высокий вход PYR и значение G вызвали скачок назад к более высокой активности SST в обоих слоях (рис. 6b) с внезапным подавлением активности PV и VIP (дополнительные рис.8а-б). В отличие от PYR-клеток, стимуляция VIP-клеток влияла на колебания и их мощность немонотонно: частота колебаний вначале увеличивалась, но при переходе в состояние SST падала (поверхностный слой) или насыщалась (глубокий слой), а колебательные мощность снизилась и внезапно увеличилась с переключением на активность SST (дополнительный рис. 8c). Наконец, мы также стимулировали клетки PYR, в то время как клетки PV (вместо клеток VIP) получали постоянный внешний вход. В этом сценарии мы получили результаты, аналогичные полученным во втором сценарии (рис.6c, дополнительные рис. 9а-в). Эти данные согласуются с недавними оптогенетическими экспериментами, в которых сильный PYR-драйв был связан с высокой активностью SST и сравнительно низким уровнем PV 48 .

    Дополнительный рисунок 7

    Реакция различных типов клеток на ввод клеток PYR в состоянии доминирования SST.

    а) Входные данные подавались только как в поверхностные, так и в глубокие клетки PYR. b) Пиковая частота и мощность в обоих слоях как функция привода PYR для примерного значения G . c) Реакция клеток PYR, PV и VIP на ввод PYR для различных значений G в поверхностном (вверху) и глубоком слоях (внизу).

    Дополнительный рисунок 8

    Реакция различных типов клеток на ввод PYR-клеток в состоянии доминирования VIP.

    а) Поверхностные и глубокие клетки PY управлялись с переменным входом, тогда как постоянный ввод I ext = 40 был дан ячейкам VIP. b) Пиковая частота и мощность в обоих слоях как функция привода PYR для примерного значения G . c) Реакция клеток PYR, PV и VIP на ввод PYR для различных значений G в поверхностных и глубоких слоях.

    Дополнительный рисунок 9

    Реакция различных типов клеток на ввод клеток PYR в состоянии доминирования PV

    a) Поверхностные и глубокие клетки PY управлялись с переменным вводом, в то время как вводился постоянный ввод I ext = 40 к фотоэлементам. b) Пиковая частота и мощность в обоих слоях как функция привода PYR для примерного значения G . c) Реакция клеток PYR, PV и VIP на ввод PYR для различных значений G в поверхностных и глубоких слоях.

    Рисунок 6.

    Вход в ячейки PYR настраивает микросхему на динамику с преобладанием SST. a) Схема входа клеток PYR (вверху) и реакции клеток SST на усиление воздействия PYR в обоих слоях для трех значений G (вверху и внизу). b) То же, что и в а), но ячейки VIP питаются постоянным током I доб = 40. c) То же, что и в a) с постоянным вводом I ext = 40 на фотоэлементы.

    Изменения состояния распространяются между поверхностным и глубоким уровнями

    Далее мы рассмотрели вопрос, распространяется ли переход состояния, инициированный только на одном уровне, на другой уровень через трансламинарную связность. С этой целью мы индуцировали те же изменения состояния, что и изученные выше (рис. 3–5), прикладывая ток к специфическим тормозным нейронам только в поверхностном или глубоком слое, и измеряли реакцию пирамидных клеток в противоположном слое (рис.7). Кроме того, мы удалили трансламинарные соединения, чтобы проверить их роль в распространении состояния (показаны только соединения с ударом). Когда цепь демонстрировала высокую активность SST, вход в VIP-клетки в поверхностном слое демонстрировал растормаживающее увеличение в глубоком слое, что было в основном связано с трансламинарным снижением активности SST, а не прямым воздействием от поверхностных клеток PYR к глубоким (рис. 7а). Мы получили аналогичный результат в поверхностном слое после запуска VIP-ячеек глубокого слоя (рис.7б). Точно так же вход в клетки PV в поверхностном слое вызывал растормаживание в глубоком слое в пределах определенного диапазона входного сигнала, который устранялся удалением трансламинарных связей SST (рис. 7c). Примечательно, что трансламинарные соединения PV снижают эффект растормаживания, поскольку их удаление сильно увеличивает активность PYR. Такие же эффекты были обнаружены в поверхностном слое после ввода ФВ в глубокий слой (рис. 7г). Когда мы установили схему в состояние с преобладанием VIP (I ext на VIP в обоих слоях = 40) и приложили ток к ячейкам SST в поверхностном слое, активность клеток PYR была подавлена ​​в глубоком слое из-за прямого трансламинарного соединения SST. (Рисунок.7д). Те же результаты справедливы для ввода ТПО в глубинный слой (рис. 7f). Наконец, аналогичный подавляющий эффект на скорость клеток PYR, которые распространялись на другой слой после ввода в клетки SST, был обнаружен в присутствии состояния с преобладанием PV (I ext to PV в обоих слоях = 40), опять же из-за трансламинарного соединения ССТ. (рис. 7ж-з). Таким образом, эти результаты демонстрируют, что переходы между расторможенными и заторможенными состояниями, запускаемыми в одном слое, могут распространяться на противоположный слой, и это межслойное взаимодействие в основном регулируется трансламинарными связями SST.

    Рисунок 7.

    Изменения состояния распространяются по уровням. a) Входные данные были даны только клеткам VIP, нацеленным на поверхностный слой, и ответ PYR был измерен в глубоком слое после того, как все соединения поверхностных клеток PYR или SST с клетками глубокого слоя (пунктирные линии) были разорваны (слева). Отклик PYR показан для случая с неповрежденными соединениями (серая пунктирная линия), всеми указанными соединениями, разорванными (черная сплошная линия) или удаленными отдельными соединениями (цветные линии). b-h) То же, что и в a) для ввода в разные ячейки и разные слои.Удалялись только соединения, которые оказывали видимое влияние на реакцию PYR по сравнению со случаем, когда все соединения оставались нетронутыми.

    Рекуррентная ингибирующая связность отличает заторможенное состояние от расторможенного

    Связность между различными типами интернейронов и пирамидными клетками позволяет микросхеме переключаться между расторможенным состоянием с высокой активностью клеток PYR и заторможенным состоянием с пониженной активностью PYR, как мы показали выше. Однако для более глубокого понимания этого переключения остается один важный вопрос: почему клетки PYR более ингибированы в режиме с преобладанием SST по сравнению с режимом, регулируемым PV? С этой целью мы исследовали матрицу связности мыши V1 и обнаружили сильную асимметрию между повторяющимися связями между клетками PV и клетками SST.В то время как связи между ячейками PV в каждом слое являются самыми сильными во всей матрице, повторяющиеся связи между ячейками SST полностью отсутствуют (рис. 8a, дополнительная таблица 4). Таким образом, мы предположили, что сильное самоингибирование клеток PV эффективно снижает их ингибирующее действие на PYR-клетки, в то время как SST-клетки могут вызывать сильное ингибирование PYR-клеток из-за отсутствия самоингибирования. Если бы это было так, то обмен рекуррентными связями, т. е. удаление самосвязей ФВ и добавление их к ячейкам SST, может инвертировать их роль в переключении состояний микросхемы (рис.8а). При моделировании с перевернутой схемой подключения мы обнаружили, что вход в клетки SST растормаживает клетки PYR за счет освобождения от подавления PV и VIP в обоих слоях (рис. 8b, дополнительные рис. 10, 11a). Точно так же за возбуждением нейронов VIP или PV последовало ингибирование всех других типов клеток, аналогично эффекту ввода SST в исходном случае (рис. 8c-d, дополнительные рис. 10, 11b-c). Заметным исключением является растормаживание в глубоком слое после ввода PV (дополнительная рис. 11c). Эти результаты действительно предполагают, что зависимые от состояния торможения изменения баланса возбуждения-торможения, которые лежат в основе переключающих свойств микросхемы, обусловлены большими различиями в самосвязности PV и SST (рис.8д).

    Дополнительный рисунок 10

    Реакция ячеек SST, PV и VIP на ввод в один и тот же тип ячейки для трех разных значений G в поверхностном слое.

    Дополнительный рисунок 11

    Ответы на ввод в разные ячейки после обмена между периодическим подключением PV и SST.

    а) Реакция всех типов клеток на ввод ТПО в глубоком слое для разных значений G . Периодическая связь между ячейками PV была удалена и улучшена между ячейками SST. б) То же, что и в а) для ввода в ячейки VIP. c) То же, что и в а) для ввода в фотоэлектрические элементы.

    Рисунок 8.

    Микросхема выполняет функцию гомеостатического переключателя между различными уровнями баланса возбуждения и торможения. a) Схема, показывающая типичную картину сильных рекуррентных связей между клетками PV и их отсутствие в клетках SST в поверхностных и глубоких слоях (слева). Шаблон был инвертирован в модифицированной матрице связности (справа). b) Ответ ячеек PYR, PV и VIP на ввод SST с использованием модифицированной матрицы связности и трех различных значений G .Обратите внимание на увеличение активности PYR при умеренном вводе SST. c) То же, что и в b) для ввода в ячейки VIP и ответа ячеек PYR, PV и SST. d) То же, что и в а) для реакции ячеек PYR, SST и VIP на вход PV. e) Схема, показывающая, как баланс возбуждения-торможения изменяется между состояниями с преобладанием PV/VIP и SST с использованием исходной (слева) или модифицированной матрицы связности, как показано на a). Возбуждение опосредуется клетками PYR, а ингибирование — клетками VIP/PV или SST. f) Сводная диаграмма, отображающая принципы работы гомеостатического переключателя, реализованного в матрице связности исследуемой микросхемы.

    Обсуждение

    В этом исследовании мы показали, что микросхема мыши V1 снабжена двумя механизмами, подобными переключателям, которые могут переключать пирамидные клетки (выход микросхемы) между состояниями высокой (расторможенность) и низкой активности (заторможенность) между поверхностными и поверхностными состояниями. глубокие слои (рис. 8f). Лежащая в основе механика переключения реализуется взаимодействием между тремя типами интернейронов (PV, SST, VIP), которые конкурируют за тормозящее влияние на пирамидные клетки.В заторможенном состоянии клетки SST доминируют в торможении, которые служат «главными регуляторами», сильно связывая и подавляя активность пирамидных клеток и других интернейронов в цепи 24,34,49–51 . В расторможенном состоянии возбуждение в основном уравновешивается клетками PV 52 и в меньшей степени нейронами VIP 53 , тогда как активность SST снижена.

    Разница между ингибированием, вызываемым нейронами PV и SST

    Хотя ранее экспериментально и теоретически было показано растормаживание посредством подавления SST 18,19,27,54 , остается вопрос, почему клетки SST обеспечивают большее ингибирование, чем клетки PV или VIP, даже хотя вес соединений PV и PYR намного превышает вес соединений SST и PYR (дополнительная таблица 4).Подобно предыдущим симуляциям упрощенных нейронных сетей 27 , мы обнаружили, что ключ к этой ингибиторной асимметрии лежит в степени, в которой клетки PV и SST связаны между собой. В то время как ячейки SST не имеют взаимной связи, ячейки PV имеют сильную взаимную связь (которая также может быть усилена щелевыми соединениями 6,7,55 ). В нашей модели скорости самоингибирование клеток PV уменьшало их влияние на клетки PYR и повышало скорость PYR. Мы отмечаем, что аналогичный эффект был обнаружен в моделях сети с пиками, где взаимодействие PV увеличивает скорость PYR и синхронность 56 .Соответственно, мы обнаружили, что обмен самосвязями нейронов PV и SST инвертировал их роль в опосредовании заторможенного или расторможенного состояния.

    Происхождение динамики переключения

    Механизм переключения возникает как следствие двух взаимных мотивов тормозной связи, т. е. от SST к PV и VIP, и от PV/VIP к нейронам SST в обоих слоях. Таким образом, возбуждение клеток SST переключает состояние микросхемы в «ингибированное состояние» за счет подавления нейронов PV и VIP, а также нейронов PYR.И наоборот, вход в клетки VIP или PV растормаживает цепь, снижая активность клеток SST. Природа этого переключения зависела от взаимной тормозной силы связности, делая переход состояния исключительно сверхчувствительным с сигмоидальными входными-выходными кривыми для более слабых весов или бистабильным с гистерезисом и памятью для более сильных весов, что согласуется с недавними наблюдениями, сделанными в упрощенных тормозных нейронных сетях 27 . Переключение на основе двойной отрицательной обратной связи сохранилось в ходе эволюции во многих биологических системах 43,44,57 , и мы обнаружили, что оно также может быть отличительной чертой кортикальных микросхем.Примечательно, что два способа управления переключателем различаются по своей чувствительности: VIP-ячейкам требуется значительно меньше входных данных для управления активностью SST и перевода схемы в расторможенное состояние в обоих слоях, чем для PV-ячеек. Таким образом, клетки PV, по-видимому, более специализированы в поддержании баланса возбуждения-торможения на достаточно высоком уровне, тогда как клетки VIP играют скорее переключающую роль, хотя оба типа клеток могут выполнять обе функции.

    Переключающая схема микросхемы может не только активироваться одновременным вводом данных в поверхностный и глубокий слои, но и каждый слой может передавать изменение своего состояния другому посредством трансламинарной связи и эффективно синхронизировать заторможенные или расторможенные состояния по всей микросхеме.Эти результаты позволяют предположить, что двухслойная микросхема в целом может действовать как переключатель, состояние которого можно использовать для управления потоком активности пирамидных клеток в направлении прямой связи (через L2/3) и клеток глубокого возбуждения в направлении обратной связи (L5). 58,59 . Тем не менее, возможно, что дифференциальный вход в поверхностный и глубокий слои мог бы перевести оба в разные состояния переключения.

    Бистабильная динамика

    Наличие бистабильности, основанной на мотивах взаимной ингибирующей связи, также обеспечивает альтернативу господствующему мнению о постоянных переходах между состояниями низкой и высокой частоты импульсов в мозге 60 , которые лежат в основе рабочей памяти, необходимой для внимания 61 , сознание 62–64 и языковая обработка 65–67 , в первую очередь основаны на локальных 68 или межрегиональных 62,64 рекуррентных связях между возбуждающими нейронами.В нашем исследовании бистабильность контролируется свойствами локальной ингибирующей связи, открывая возможность того, что анатомическая неоднородность и градиенты по всему мозгу могут отражать наличие бистабильных переключателей в одних областях мозга и сверхчувствительных переключателей без памяти в других областях 69–71 .

    Колебания в микросхеме

    Две петли отрицательной обратной связи наделяют как глубокие, так и поверхностные слои собственными колебаниями. Каждая петля имеет разную частоту из-за различий в синаптических постоянных времени клеток PV и SST 72 .В соответствии с экспериментами и моделями, клетки PV управляют высокими частотами («гамма-диапазон»), тогда как клетки SST предпочитают более низкие частоты («бета-диапазон») 22,24,29 . Соответственно, во время состояния ингибированного переключения доминирующие клетки SST навязывают более медленную частоту клеткам PYR по сравнению с состоянием растормаживания с преобладанием PV с высокими частотами. Эксперименты на животных показали, что мощность высокочастотных колебаний была сильнее в поверхностном слое, тогда как более медленные колебания имели большую мощность в глубоких слоях 32,39–41 .На основании наших результатов мы утверждаем, что появление таких различий в колебаниях в глубоких и поверхностных слоях в решающей степени зависело от конкретных анатомических связей (см. рис. 2а). В промежуточных состояниях переключения окончательная частота была установлена ​​относительным вкладом клеток PV и SST, что обеспечивает потенциальное объяснение давнего вопроса о том, что определяет частоту колебаний в нейронных цепях 73,74 .

    Таким образом, наши результаты также предлагают альтернативную таксономию колебаний, разделяя их на конкурирующие ритмы SST (низкая частота) и ритмы, управляемые PV (высокая частота).Примечательно, что при переходе между состояниями переключения (с преобладанием PV или SST) частота колебаний и мощность ведут себя асимметрично, т. е. увеличение частоты сопровождается уменьшением мощности. Однако, когда клетки PV или SST сильно подавлены или заглушены, частота и мощность изменяются симметрично. Снижение частоты и увеличение мощности также обнаружено в недавних экспериментах на обезьянах и мышах, в которых небольшие стимулы вызывают колебания высокой частоты (~60 Гц), которые сменяются более низкой частотой (~30 Гц) в присутствии более сильных. стимулы 4,33,47 .

    Анатомические исследования показывают, что этот эффект подавления окружения предположительно опосредуется латеральным возбуждающим входом от окружения к SST-нейронам в центре 45 . Наша модель предполагает, что окружение переключает микросхему из состояния с преобладанием PV/VIP с высокой частотой, предположительно опосредованной запускаемой стимулом прямой и обратной связью 75,76 , в более заторможенное состояние, вызванное усиленным латеральным возбуждением клеток SST. Заметим, что в экспериментах зарегистрирован и обратный случай с увеличением частоты колебаний и уменьшением мощности после усиления контраста зрительного стимула 77 .

    Стабильность корковой микросхемы

    Расторможенное состояние переключателя естественно влечет за собой риск неконтролируемого возбуждения. Наши результаты свидетельствуют о наличии в микросхеме дополнительных гомеостатических механизмов, поддерживающих растормаживание в нормальных пределах. Когда схема расторможена и активность SST подавлена, сильное воздействие на пирамидные клетки может вызвать внезапный реверс нейронов SST в состояние с высокой скоростью возбуждения и, таким образом, восстановить более заторможенное состояние в микросхеме.Об этом явлении сообщалось экспериментально 78 и в недавнем теоретическом исследовании 28 , показывающем повышенную частоту зрительно вызванных SST после предварительного подавления VIP-клетками, активируемыми во время движения.

    Predictions

    Мы обнаружили, что асимметричные изменения частоты и мощности колебаний устраняются при подавлении PV или SST клеток, и этот результат можно проверить экспериментально. Более того, наша модель предсказывает, что за возбуждением клеток PYR следует линейный или нелинейный ответ в ингибирующих клетках в зависимости от доминирования клеток SST или PV/VIP соответственно.Наконец, эксперименты могли бы проверить, распространяется ли ингибирование или растормаживание, опосредованное управлением специфическими ингибирующими клетками в одном слое, на другой слой, как показало наше моделирование.

    В заключение, функция, которая вытекает из нашего вычислительного исследования микросхемы, представляет собой гомеостатический переключатель, который переключает пирамидальные клетки, основные выходные нейроны схемы, между заторможенным и расторможенным состоянием. Динамика переключения управляется массивом тормозных нейронов, каждый из которых выполняет определенную задачу в механике переключения.Упреждение, обратная связь и боковой ввод могут изменять положение переключателя и регулировать подачу возбуждения к нижестоящим микросхемам 10,15,79 . Наши результаты также сопоставляют различные типы колебаний с различными типами интернейронов и связывают их с различными состояниями переключения, что в будущем может помочь объединить экспериментальные парадигмы, основанные на частоте и колебаниях. Они обеспечивают механистическое понимание давнего представления о том, что медленные колебания выполняют тормозящую функцию, а быстрые колебания служат обработке информации 79–83 .

    Методы

    Архитектура микросхемы

    В этом исследовании мы разрабатываем модель скорости срабатывания зрительной кортикальной микросхемы. Эта модель основана на парной связи между основными типами нейронов в поверхностных и глубоких слоях неокортекса 34 . Используя восьмикратные записи целых клеток, Jiang et al. 34 исчерпывающе нанес на карту связность (сила ВПСП или ТПСП и вероятность связи) между большим количеством морфологически определенных нейронов (интернейронов и пирамидных клеток) внутри и между слоями 1, 2/3 (поверхностный) и 5 ​​(глубокий) первичная зрительная кора мыши, в то время как слой 4 не был включен.Кроме того, Цзян и соавт. 34 также количественно определили относительную распространенность каждого типа клеток и сообщили о свойствах синаптической пластичности конкретных соединений. Наконец, на основании генетического состава различные интернейроны были обозначены как клетки PV + (слой 2/3: корзинчатые клетки и клетки-люстры; слой 5: кустовидные клетки и горизонтально-вытянутые клетки), клетки SST + (слой 2/3). и 5: клетки Мартинотти) и клетки VIP + (только слой 2/3: битуфированные клетки и биполярные клетки).

    Чтобы преобразовать исходные данные о связности (см. Дополнительную таблицу 1 для матрицы вероятности соединения и Дополнительную таблицу 2 для матрицы весов (EPSP/IPSP)) в формат, подходящий для вычислительной модели, мы выполнили несколько манипуляций. Во-первых, ограничив наш анализ пирамидальными клетками и тремя основными типами интернейронов (PV, SST и VIP), мы создали единую матрицу связности (C) путем поэлементного умножения силы EPSP/IPSP (т.е. средней амплитуды) и матриц вероятности связи.Чтобы сгенерировать один класс ячеек PV в каждом слое, мы добавили веса ячеек-корзин и ячеек-люстр в поверхностном слое и веса ячеек-корзин, ячеек-кустарников и горизонтально вытянутых ячеек в глубоком слое. Изучив матрицу связности, мы заметили, что из двух существующих типов клеток VIP один тип клеток VIP преимущественно нацелен на другие нейроны в L2/3 (битуфированные клетки), тогда как другой только иннервирует L5 (биполярные клетки). Основываясь на этом наблюдении, в нашей модели мы разделили нейроны VIP на типы клеток VIPsup и VIPdeep, хотя оба типа анатомически располагались в поверхностном слое.

    Дополнительная таблица 1

    Вероятность соединения для различных морфологически определенных типов клеток, как описано в Jiang et al. (2015). ВС: корзинчатые клетки; ChC: ячейки люстры; MC: клетки Мартинотти; BTC: битуфированные клетки; СК: кустовые клетки; HEC: горизонтально вытянутые клетки; BPC: биполярные клетки.

    Дополнительная таблица 2

    Прочность EPSP/IPSP для различных морфологически определенных типов клеток, как описано в Jiang et al. (2015). ВС: корзинчатые клетки; ChC: ячейки люстры; MC: клетки Мартинотти; BTC: битуфированные клетки; СК: кустовые клетки; HEC: горизонтально вытянутые клетки; BPC: биполярные клетки.

    Таким образом, у нас было четыре типа нейронов как в глубоких, так и в поверхностных слоях. Вместо того, чтобы моделировать популяции нейронов с N клетками для каждого класса, мы смоделировали каждую клеточную популяцию, используя один нейрон, основанный на частоте возбуждения. Однако мы адаптировали веса связности в соответствии с их относительной распространенностью, что требует меньших вычислительных затрат. С этой целью мы сначала следовали общему правилу, согласно которому пирамидных нейронов в микросхеме примерно в пять раз больше, чем интернейронов.Таким образом, все ингибирующие массы в матрице были уменьшены в 0,2 раза. Затем мы умножили веса каждого типа интернейронов на его относительную распространенность (дополнительная таблица 3). Это привело к исправленной матрице связности 8 x 8 (дополнительная таблица 4). Получившаяся микросхема схематически показана на рис. 1А.

    Дополнительная таблица 3

    Морфологические типы интернейронов, их генетический маркер и соотношение.

    Дополнительная таблица 4

    Матрица связности скорректирована с учетом пропорций ячеек и увеличена на g = 100.

    Модель активности популяции

    Динамика каждого типа нейронов, т.е. пирамидных клеток и интернейронов, моделировалась с использованием крупнозернистой модели, основанной на частоте возбуждения (модель Уилсона-Коуэна 84 ). Динамика полной микросхемы может быть записана в векторной форме как: где r — вектор скоростей всех 8 типов клеток, τ — вектор констант времени, характерных для популяции (дополнительная таблица 5), η отражает гауссовский шум со стандартным отклонением σ = 0.01. Передаточная функция скорости срабатывания вход-выход ( φ ) каждого типа нейрона была смоделирована как и идентична для всех типов нейронов. Термин I схема обозначает вход от других популяций нейронов по всей микросхеме и определяется как: где C — скорректированная матрица связности. I ext отражает внешний вход в различные популяции нейронов от восходящих, нисходящих и латеральных нейронных соединений. Из-за сильного торможения активность PYR может быть снижена до нуля, и даже если сеть колеблется, мы можем их не наблюдать, поскольку наше считывание колебаний сети происходит через PYR-нейроны.Следовательно, необходимо было ввести некоторый внешний вход в нейроны PYR I ext до Pyr = 5 Гц (если не указано иное), чтобы наблюдать колебания. Постоянная времени τ была выбрана для каждого типа клеток в соответствии с экспериментальной и модельной литературой, которая объясняет быстрое затухание активации PYR и PV и более длительное затухание для клеток SST 24,72,85–87 . Поскольку расстояния внутри микросхемы очень малы, задержки проводимости явно не моделировались.Для анализа реакции скорости данного класса клеток на вход мы провели бесшумное ( σ = 0) моделирование продолжительностью 2 секунды, после чего была достигнута стационарная реакция, и скорость использовалась для анализа (рис. 3, 5). , 6, 7). Для рис. 1с моделировались 20 секунд, а скорость усреднялась по всей продолжительности. Для изучения колебаний мы смоделировали 50 испытаний по 20 секунд каждое и усреднили показатели колебаний по всем испытаниям. Все расчеты проводились с шагом по времени 0.1 мс.

    Управляющие переменные

    Для изучения поведения микросхемы мы варьировали несколько параметров. Прежде всего, мы изучили динамику микросхемы путем систематического масштабирования общей связности с коэффициентом G . Масштабирование матрицы связности может быть слабо связано с изменением абсолютного количества нейронов в нашей схеме, аналогично другим исследованиям 35,36 . Для анализа использовалась вся матрица связности без маскирования слабых связей.Поведение схемы изучали, манипулируя отдельными соединениями, удаляя или меняя их местами. Оптогенетическое замалчивание отдельных типов клеток было смоделировано путем установки определенных столбцов матрицы на ноль, т.е. мы фактически удалили весь вывод определенных типов нейронов на всю микросхему (см. рис. 2). Для имитации стимуляции определенных типов нейронов мы вводили постоянный ток с различной амплитудой в выбранный тип нейронов (например, см. рис. 3–6)

    Анализ данных

    Анализ LFP

    Мы использовали скорость пирамидных клеток в каждом слое в качестве прокси для потенциалов поверхностного и глубокого локального поля (LFP), и его колебательное поведение было исследовано как функция внешнего возбуждения.Для анализа колебаний в LFP мы рассчитали спектр мощности в диапазоне от 1 до 250 Гц с помощью многоконусного метода, реализованного в наборе инструментов Chronux в Matlab (http://chronux.org/). Спектр мощности был сглажен и нормирован на суммарную мощность вычисленного частотного диапазона. Затем мы количественно определили пики видимых колебаний, исключая частоты <10 Гц, с точки зрения пиковой частоты и мощности.

    Измерение динамики переключения и гистерезиса

    Сверхчувствительность отражает поведение системы, в которой небольшие изменения на входе вызывают большие изменения на выходе.Такое поведение наблюдается во многих природных системах, таких как биохимические реакции 43,88 . Сверхчувствительность можно количественно определить, подгоняя сигмоидальную кривую к передаточной функции ввода-вывода. Здесь мы использовали уравнение Хилла 43 для оценки чувствительности выхода (y) к входу (x): где — точка пересечения, b — максимум, k — половина максимума выхода y и n — показатель Хилла, который мы использовали для количественной оценки кривых отклика клеток SST на вход VIP и PV (рис. 4а). -с в основном тексте).Если n = 1, кривая Хилла гиперболическая, тогда как n > 1 указывает на сигмоидальную форму с растущим наклоном (т.е. чувствительностью) по мере увеличения n.

    Гистерезис в общем описывает зависимость поведения системы от прошлого и подразумевает наличие памяти. Как следствие, реакции системы, наблюдаемые при неуклонном увеличении входных данных, отличаются от реакций на уменьшение входных данных. Чтобы проверить гистерезис, мы рассчитали кривые отклика всех ячеек (рис. 3c-d, дополнительная рис.5) для восходящего и нисходящего ввода VIP и PV отдельно. Для каждого входного значения (i) реакция скорости всех ячеек предыдущего входного значения (i-1) использовалась для инициализации скоростей ячеек для нового входного значения. При наличии гистерезиса кривые отклика на увеличение и уменьшение входа не схлопываются. Затем количественно определяли гистерезис (h) как суммарную разницу восходящей и нисходящей кривых скорости клеток SST в поверхностных и глубоких слоях.

    Моделирование колебательной динамики в микросхемах мозга как способ помочь раскрыть механизмы неврологических заболеваний: Предложение: Хаос: междисциплинарный журнал нелинейной науки: Том 23, № 4

    Существует бесспорная потребность и необходимость теоретических и вычислительных исследований в Неврология сегодня.Кроме того, становится ясно, что колебательный динамический выходной сигнал от сетей мозга представляет различные поведенческие состояния, и становится ясно, что можно рассматривать эти выходные сигналы как меру нормального и патологического состояния мозга. Хотя существует математическое моделирование колебательной динамики в контексте неврологических заболеваний, это очень сложная задача из-за многих уровней организации нервной системы. Эта проблема сочетается с растущими знаниями о клеточной специфичности и сетевой дисфункции, связанной с заболеванием.Недавно было показано, что цельные препараты гиппокампа in vitro от контрольных животных спонтанно проявляют колебательную активность. Кроме того, при использовании препаратов, полученных из животных моделей заболевания, эти активности обнаруживают определенные изменения. Эти препараты дают возможность решить проблемы, связанные с использованием моделей для получения информации, благодаря более легкому доступу к одновременным сотовым и сетевым измерениям и фармакологическим модуляциям. Мы предполагаем, что, разрабатывая и используя модели с прямыми ссылками на эксперименты на нескольких уровнях, которые, по крайней мере, включают клеточный и микросхемный, можно установить цикличность и использовать ее, чтобы помочь нам определить критические механизмы, лежащие в основе неврологических заболеваний.Мы иллюстрируем наше предложение, используя наши ранее разработанные модели тормозной сети в контексте этих препаратов всего гиппокампа, и показываем важность наличия прямых связей на нескольких уровнях.

    БЛАГОДАРНОСТЬ

    Ф.К.С. хотел бы поблагодарить нынешних и бывших членов лаборатории, сотрудников и коллег за многолетние обсуждения, которые повлияли на идеи, представленные в этой статье, и усовершенствовали их. Мы благодарим NSERC, CIHR и Compute Canada за финансирование и компьютерную поддержку.Авторы также хотели бы поблагодарить рецензентов и редакторов за помощь в более ясном представлении наших идей.

    Беспроводная система передачи электроэнергии для питания бортового оборудования летательного аппарата

  • Бондарев А.Н. Киричек Р.В. Обзор беспилотных летательных аппаратов общего назначения и управления воздушным движением БПЛА в разных странах // Информационные технологии и телекоммуникации . 4, стр. 13–23.

    Google ученый

  • Нго, К.Т., Соленая О.Я., Ронжин А.Л. Анализ мобильных робототехнических платформ, используемых для аккумуляторного обслуживания беспилотных летательных аппаратов в автономных задачах // Труды МАИ . 2017, № 1. 95, URL: http://trudymai.ru/eng/published.php?ID=84444.

  • Qi—Mobile Computing, Wireless Power Consortium , URL: https://www.wirelesspowerconsortium.com/qi/.

  • Лу, М., Багери, М., Джеймс, А. П., и Фунг, Т., Методы беспроводной зарядки для БПЛА: обзор, переосмысление и расширение, IEEE Access , 2018, vol.6, стр. 29865–29884.

    Артикул Google ученый

  • Кай-Чи Чуанг, Цзих-Фу Ту, Тянь-Сюнг Лан и Ли-Пинг Чжан, Исследование беспроводного зарядного устройства с помощью индуктивности индукционной катушки, Proc. IEEE Int. конф. on Computing, Communication and Engineering , 8–10 ноября 2019 г., Лунъянь, Китай, стр. 249–252.

    Google ученый

  • Jianshu Chen, Xiulan Liu, Zhongjun Chi, Xianglong Li, Dongsheng Jiao и Shuang Zeng, Исследование эффективности системы бесконтактной зарядки на основе электромагнитной индукции, Proc.MATEC Web of Conferences , 2016, vol. 40, арт. 07005.

    Артикул Google ученый

  • Клут, Р. и Зигнер, Дж., Индуктивная зарядка — упрощение зарядки для обеспечения массового внедрения, World Electric Vehicle Journal , 2012, vol. 5, стр. 714–721.

    Артикул Google ученый

  • Чавла, Н. и Тосуноглу, С., Современное состояние индуктивной зарядки электронных устройств и его будущее на транспорте, Proc.конференции по последним достижениям в области робототехники, 2012 г., Флорида, США, URL: https://www.researchgate.net/publication/267842615_State_of_the_Art_in_Inductive_Charging_for_Electronic_Appliances_and_its_Future_in_Transportation.

  • Ватсала, В., Алам, М., Ахмад, А. и Чабан, Р., Повышение эффективности беспроводной зарядки для электромобилей за счет уменьшения смещения катушки, Proc. конференции и выставки IEEE Transportation Electrification Conference and Expo , 2017, Чикаго, США, 10.1109/ИТЭК.2017.79

  • .

    Google ученый

  • Евстигнеева Е.И., Леканов А.В., Матвеев С.А., Ширшов А.Д., Яковенко Н.Г. Разработка системы беспроводного управления формой крупногабаритных трансформируемых конструкций с использованием прецизионных приводов // Изв. Вуз. Средний. Техника , 2019, т. 1, с. 62, нет. 3, стр. 139–143 [Российское воздухоплавание (англ. Transl.), vol. 62, нет. 3, стр. 502–507].

    Google ученый

  • Матвеев С.Система беспроводного питания приводов гибких космических антенн // Изв. Вуз. Средний. Техника , 2018, т. 1, с. 61, нет. 4, стр. 117–121 [Российское воздухоплавание (англ. Transl.), vol. 61, нет. 4, стр. 636–641].

    Google ученый

  • Геращенко А.Н., Куликов Н.И., Макаренко А.В. Методика оценки энергоэффективности электроснабжения систем автономного привода перспективных мобильных объектов. Изв.Вуз. Средний. Техника , 2015, вып. 58, нет. 4, стр. 94–98 [Российское воздухоплавание (англ. Transl.), vol. 58, нет. 4, стр. 461–465].

    Google ученый

  • Геращенко А.Н., Куликов Н.И., Макаренко А.В., Сорокин А.Е. Особенности работы энергосберегающего исполнительного механизма управления перспективными подвижными объектами // Изв. Вуз. Средний. Техника , 2014, т. 1, с. 57, нет. 3, стр. 3–6 [Российское воздухоплавание (англ. Transl.), vol. 57, нет.3, стр. 217–222].

    Google ученый

  • Хаджихани, М., Фабрис, Л., и Агба, Б.Л., Автономная сеть беспроводных датчиков в районе подстанции с использованием беспроводной передачи энергии, IEEE Access , 2018, vol. 6, стр. 62352–62360.

    Артикул Google ученый

  • Сяо Лу, Пинг Ван, Дусит Ниято и Донг Ин Ким, Технологии беспроводной зарядки: основы, стандарты и сетевые приложения, IEEE Communications Surveys and Tutorials , 2018, vol.18, выпуск 2, стр. 1413–1452.

    Google ученый

  • Кансал А., Джейсон Х., Захеди С. и Сривастава М.Б., Управление питанием в сенсорных сетях сбора энергии, Транзакции ACM во встроенных вычислительных системах , 2007, том. 6, нет. 4, стр. 32–44.

    Артикул Google ученый

  • Четинкая О. и Акан О.Б., Сбор энергии электрического поля в беспроводных сетях, IEEE Wireless Communications , 2017, vol.24, выпуск 2, стр. 34–41.

    Артикул Google ученый

  • Чанг К.-С., Канг С.-М., Пак К.-Дж., Шин С.-Х., Ким Х.-С. и Ким Х.- С., Беспроводные датчики с питанием от электрического поля для интеллектуальных сетей, Journal of Electrical Engineering and Technology , 2012, vol. 7, нет. 1, стр. 75–80.

    Артикул Google ученый

  • Хоте Р., Введение в технологию RFID, IEEE Pervasive Computing , 2006, vol.5, выпуск 1, стр. 25–33.

    Артикул Google ученый

  • Хуанг, К. и Лау, В., Обеспечение беспроводной передачи энергии в сотовых сетях: архитектура, моделирование и развертывание, IEEE Transactions on Wireless Communications , 2014, vol. 13, выпуск 2, стр. 902–912.

    Артикул Google ученый

  • Рынок цифровых сигнальных процессоров DSP — основные технологические гиганты снова в центре внимания

    JCMR  оценка рынка цифровых сигнальных процессоров DSP, выделение возможностей, анализ рисков и поддержка принятия стратегических и тактических решений.Исследование Цифровой сигнальный процессор DSP предоставляет информацию о тенденциях и развитии рынка, движущих силах, возможностях, технологиях, а также об изменяющейся динамике Global Цифровой сигнальный процессор DSP Market. Ведущие компании: Freescale, Fujitsu, Texas Instruments, Amptek Inc., Wolfson Microelectronics, Broadcom, Cirrus Logic, CML Microcircuits, Conexant, Zilog, FURUKAWA ELECTRIC, IC-Haus, Microchip Technology, Microsemi, Mindspeed, NTT Electronics, NXP Semiconductors, ON Semiconductor, Swindon Silicon Systems, Tensilica,
    В глобальной версии отчета DSP Digital Signal Processor будут охвачены следующие регионы и страны
    • DSP Digital Signal Processor North America (США, Канада и Мексика)
    • DSP Digital Signal Processor Europe (Германия, Великобритания, Франция, Италия, Россия и Турция и т.д.)
    • Цифровой сигнальный процессор DSP Азиатско-Тихоокеанский регион (Китай, Япония, Корея, Индия, Австралия и Юго-Восточная Азия (Индонезия, Таиланд, Филиппины, Малайзия и Вьетнам))
    • Цифровой сигнальный процессор DSP Южная Америка (Бразилия и т. д.) и Средний Восток и Африка (Северная Африка и страны Персидского залива)

    Получите краткую информацию об отчете Sample DSP Digital Signal Processor по адресу: jcmarketresearch.com/report-details/29789/sample

    Методология исследования при проведении исследования «Глобальный отчет по исследованию рынка цифровых сигнальных процессоров DSP за 2022–2030 годы»

    Вторичное исследование
    Наш отраслевой аналитик DSP Digital Signal Processor ссылается на широкий спектр отраслевых источников для нашего вторичного, которые обычно включают; однако, не ограничиваясь: документами SEC компании, годовыми отчетами, веб-сайтами компаний, брокерскими и финансовыми отчетами и презентациями для инвесторов для конкурентного сценария и формы отрасли цифровых сигнальных процессоров DSP
    • Патентные и нормативные базы данных для понимания технических и юридических изменений в DSP Отрасль цифровых процессоров сигналов
    • Научно-технические документы для информации о продуктах и ​​связанных с ними приоритетных прав для отрасли цифровых процессоров сигналов DSP
    • Цифровые процессоры сигналов DSP Региональные правительственные и статистические базы данных для макроанализа
    • Подлинные новые статьи, веб-трансляции и другие связанные выпуски для оценки рынка цифровых сигнальных процессоров DSP
    • Внутренние и внешние проприетарные базы данных, ключевые рыночные индикаторы и соответствующие пресс-релизы для оценок и прогнозов рынка цифровых сигнальных процессоров DSP

    Полный отчет о рынке цифровых сигнальных процессоров DSP на более чем 250 страницах, список таблиц и рисунков, профилирование более 10 компаний.Ознакомьтесь с подробным указателем полного исследования по адресу @ jcmarketresearch.com/checkout/29789

    .

    Первичное исследование
    Наши основные усилия по исследованию включают охват участников по почте, телеразговорам, направлениям, профессиональным сетям и личному общению. Мы также находимся в профессиональных корпоративных отношениях с различными компаниями, занимающимися обсуждением, выполняя следующие функции:
    , что позволяет нам более гибко обращаться к участникам отрасли цифровых сигнальных процессоров DSP и комментаторам для интервью и
    • Проверяет и улучшает качество данных и укрепляет цифровой сигнальный процессор DSP. доходы от исследований
    • Дальнейшее развитие понимания и опыта команды аналитиков рынка для отрасли цифровых сигнальных процессоров DSP
    • Предоставляет достоверную информацию о размере рынка, доле, росте и прогнозах цифровых сигнальных процессоров DSP
    Наши первичные исследовательские интервью и дискуссионные панели обычно состоят из наиболее опытных представители отрасли.Эти участники включают в себя; однако, не ограничиваясь:
    • Руководители и вице-президенты ведущих корпораций, относящиеся к отрасли цифровых сигнальных процессоров DSP
    • Отраслевые цифровые сигнальные процессоры DSP, менеджеры по продуктам и продажам или региональные руководители; торговые партнеры и дистрибьюторы высшего уровня; эксперты в области банковского дела, инвестиций и оценки Ключевые лидеры мнений (KOL)

    Спасибо, что прочитали эту статью; вы также можете получить версию отчета для отдельных глав или регионов, например, DSP Digital Signal Processor для Северной Америки, Европы или Азии.

    Проверить наличие скидки @  jcmarketresearch.com/report-details/29789/discount

     

    Ответы на основные вопросы в этом отчете – Глобальный отчет по обзору рынка цифровых сигнальных процессоров за 2022-2030 гг.

    Какими будут объем рынка и темпы роста в 2022 году?
    . Какие ключевые факторы влияют на рынок DSP Digital Signal Processor ?
    Кто являются ключевыми игроками на рынке DSP Цифровой сигнальный процессор и каковы их стратегии?
    Какие ключевые тенденции рынка влияют на рост мирового рынка DSP Digital Signal Processor ?
    Какие тенденции, проблемы и барьеры влияют на его рост в отрасли DSP Digital Signal Processor ?
    . С какими рыночными возможностями и угрозами сталкиваются продавцы на глобальном рынке DSP Digital Signal Processor ?
    Каковы основные результаты анализа пяти сил рынка DSP Digital Signal Processor ?

    Основные моменты TOC:
    Глава первая: глобальная Цифровой сигнальный процессор DSP Обзор рынка и отрасли
    1.1  Цифровой сигнальный процессор DSP  Промышленность
    1.1.1 Обзор
    1.1.2 Продукты крупных компаний
    1.2  Цифровой сигнальный процессор DSP  Сегмент рынка
    1.2.1 Промышленная цепочка
    1.2.2 Распределение потребителей
    1.3291 1.3291 1.3291 1.3291 1.3291 1.3291 1.3291

    Глава вторая и третья: глобальный рынок Цифровой сигнальный процессор DSP Рыночный спрос и типы
    2.1 Обзор сегмента цифрового сигнального процессора DSP

    [Сегменты]

    3.1 Global DSP Цифровой сигнал процессор Размер рынка по запросу
    3.2 Global DSP Цифровой сигнал процессор Рынок Прогноз по требованию
    3.3 DSP Цифровой сигнал процессор Рынок Размер рынка по типу
    3.4 DSP Цифровой сигнальный процессор Рынок прогноз на Тип

    Глава четвертая: Основной регион DSP Digital Signal Processor   Рынок
    4.1 Global DSP Digital Signal Processor  Продажи
    4.2 Global DSP Digital Signal Processor  Выручка и доля рынка

    Глава пятая: Процессор цифровых сигналов DSP Список основных компаний: Freescale, Fujitsu, Texas Instruments, Amptek Inc.,Wolfson Microelectronics, Broadcom, Cirrus Logic, CML Microcircuits, Conexant, Zilog, FURUKAWA ELECTRIC, IC-Haus, Microchip Technology, Microsemi, Mindspeed, NTT Electronics, NXP Semiconductors, ON Semiconductor, Swindon Silicon Systems, Tensilica,

    Глава шестая: Заключение

    Контакты США:

    https://jcmarketresearch.com/contact-us

    JCMARKETRESEARCH

    Марк Бакстер (руководитель отдела развития бизнеса)

    Телефон: +1 (925) 478-7203

    Электронная почта: [email protected]

    alexxlab

    Добавить комментарий

    Ваш адрес email не будет опубликован.