Конструкционное решение трансформаторного оборудования

Устройство сварочного трансформатора достаточно простое – это пара обмоток, намотанных на сердечник. Одна из них первичная, а вторая – вторичная.

Принцип работы аппарата трансформаторного типа состоит в понижении входящего напряжения. Сила тока при этом может составлять порядка 700А, что позволяет осуществлять сварку металлических конструкций. Такой принцип действия характерен для всех разновидностей трансформаторного оборудования.

Хотя сегодня, при использовании современных разработок и технологий удалось добиться создания более идеальных и эргономичных вариаций трансформаторов.

Разновидности трансформаторных аппаратов

Все сварочные трансформаторы принято делить на три вида, у каждого из которых свои сильные и слабые стороны. Выбирая аппарат для сварки трансформаторного типа, нужно знать, чем одна разновидность отличается от другой.

Как показывают фото сварочных трансформаторов, они могут быть:

• С минимальным и нормальным магнитным рассеиванием.
• С повышенным магнитным рассеиванием.
• Тиристорными.

Технические характеристики

Независимо от типа для каждого трансформатора характерен набор конкретных характеристик, определяющих эффективность и качество его работы, а также удобство эксплуатации. Выбирая агрегат, нужно знать, что означает каждая характеристика сварочного трансформатора.

Маркировка. Это первое, на что надо обратить внимание. Маркировка – это зашифрованная запись базовых параметров. Первая буква обозначает источник питания, вторая указывает на тип сварочных работ, а третья – на метод. Четвёртая и пятая – это тип внешней характеристики и число постов.

Значение номинальной силы электрического тока – это 1 или 2 цифры, округлённые до десятых или сотых. Два или одно последних цифровых обозначения – это регистрационный номер.

Далее буквами обозначается допустимые температурные условия. Цифра в конце указывает на уместное расположение. I- значит допустима работа устройства на улице, II – под навесом, III – в неотапливаемой комнате, IV – в помещении с отоплением.

Диапазон регулировки тока. Это одна из главных характеристик любого трансформаторного устройства. Первое, что она обозначает – это то, что регулирование тока возможно, а второе – это наибольшую возможную величину силы тока. Все вместе указывает на возможность применять электроды разных размеров.

Диаметр электрода. Зависит от силы тока оборудования.

Напряжение в электросети. Данная характеристика показывает, какое напряжение обязано быть в сети, чтобы трансформатор нормально работал.

Номинальный ток сварки и рабочее напряжение. Эти параметры очень важны. Номинальный ток – это наибольший показатель тока, который может выдать агрегат. А номинальное напряжение – напряжение, требуемое для того, чтобы сварочная дуга была в устойчивом состоянии.

Продолжительность включения. Это время, которое аппарат трансформаторного типа может находиться в режиме сварки. Данный показатель не оказывает особого влияния на выбор сварочного оборудования.

Потребляемая мощность. Обозначает количество энергии, требуемой для 1 часа работы агрегата. Предпочтительнее остановить выбор на устройстве с минимальным параметром мощности потребления.

КПД. Чем больше данное значение, тем лучше.

Напряжение холостого хода. Оно отвечает за сварочную дугу. Чем оно выше, тем проще создаётся дуга.

Число рабочих мест. Это число человек, которые могут одновременно заниматься сваркой от данного устройства.

Система охлаждения.

Вес и габариты сварочного аппарата.

Начинающему малоопытному сварщику достаточно непросто выбрать подходящую модель сварочного трансформатора, ведь типов аппаратов для сварки довольно много. Поэтому, чтобы сделать правильный выбор, важно знать значение каждой технической характеристики. Если у вас возникли трудности, то лучше обратиться за советом к профессионалу.

Фото сварочного трансформатора

Также рекомендуем посетить:

Охлаждение необходимо для долгой жизни трансформатора | Подстанции

Увеличение нагрузок за пределы ограничений конструкции

Как известно, охлаждение является действительно необходимым для обеспечения долгого периода эксплуатации трансформатора. Большинство трансформаторов спроектированы для работы при росте температуры до 55°- 65°C. Используя современные средства изоляции, такие как Nomex, можно достичь допустимого роста температуры в 95°C, и даже выше. Но такие температуры могут поддерживаться только в том случае, если рабочие условия трансформатора не превышают проектных ограничений.
К сожалению, в сегодняшних условиях работы, многие пользователи увеличивают нагрузку, превышая указанные для трансформатора ограничения конструкции, в результате чего увеличивается температура обмоток. Это увеличение, в основном, связано с увеличением потерь, таких как I2R.
Повышение нагрева оказывает значительное влияние на ухудшение качества изоляции, и весьма умешает ожидаемое время эксплуатации трансформатора. Поэтому, в качестве стандартной грубой оценки предполагается, что нагрев на 10°C вдвое сокращает время эксплуатации изоляции.
Если трансформаторы охлаждаются путем естественной конвенции масла, то в этом случае они классифицируются, как М (ONAN)  — Фото 1.  При охлаждении с помощью вентиляторов, трансформатор относится к категории Д (ONAF). Такие трансформаторы показаны на Рисунках 2 и 3. В исключительных случаях, для охлаждения трансформаторов используется принудительная циркуляция масла или принудительное охлаждение масла водой. Таки трансформаторы относятся к классу ДЦ (OFAF) или Ц (OFWF) — Фото 7.
В каждом случае, крайне важно, чтобы происходил правильный отвод температуры. Конструкция трансформатора основана на определенной передаче тепла между обмотками, маслом и радиатором, или на применении средств охлаждения для удаления тепла. Любое увеличение вырабатываемого тепла, или снижение теплопередачи приводит к более высоким температурам обмоток, и сокращает время жизни изоляции. Кроме того, разрушается диэлектрическая жидкость. Этот вопрос будет рассмотрен позже.

Фото 1  — Естественное охлаждение при помощи масла (М)

Фото 2 — Охлаждение категории Д, обеспечивается вентиляторами, применяемыми для дополнения конвекционного охлаждения (без внешних вентиляторов), использующего естественную конвенцию масла (движение снизу вверх).

Вентиляторы, устанавливаемые внизу, прогоняют воздух по всей длине теплообменника или радиатора, но имеют более высокий риск выхода мотора из строя, из-за попадания воды на уплотнение вала. Однако использование полностью герметичных моторов без отверстий, с высоким качеством уплотнения вала, способно увеличить время эксплуатации мотора вентилятора. Проверка таких моторов должна выполняться ежемесячно.
Вентиляторы, устанавливаемые сбоку, имеют большее время эксплуатации, но они направляют воздух только поперек секции теплообменника или радиатора, на котором они установлены. Такие вентиляторы также восприимчивы к превалирующему направлению ветра, которое может, как помогать, так и препятствовать движению воздуха вдоль поверхности, высвобождающей тепло.
В любом случае не рекомендуется использовать моторы с открытым каркасом, из-за повышенной частоты отказов, связанных с окружающей средой.

Фото 3 — Охлаждение категории Д, использующее вентиляторы для усиления охлаждения при естественной конвекции масла

Как правило, отказ одного вентилятора не вызывает серьезных проблем. Но он приводит к общему возрастанию температуры в трансформаторе, особенно, если трансформатор находится под излишней нагрузкой. Это можно увидеть на инфракрасном изображении, приведенном на Фото 4. Но обычно, вентиляторы отказывают пачками, так как они выпускаются одновременно, и работают в одном и том же окружении.
Выход одного вентилятора из строя может служить индикатором того, что и другие вентиляторы могут выйти из строя в ближайшее время, оставив трансформатор в опасности превышения температуры.

Фото 4 — Инфракрасное изображение роста температуры вентиляторов

На Фото 5 показано отсутствие охлаждения в некоторых вентиляторах, из-за просадки бетонной подушки, вызывающей наклон силового трансформатора. Это, в ряде случаев, можно скорректировать увеличением уровня масла в основном баке трансформатора, что позволит маслу течь через радиаторы.
Необходимо проявлять осторожность, не допуская переполнения масла, что может привести к проблемам, связанным с расширением масла при перегреве.

Фото 5 — потеря охлаждения в некоторых радиаторах трансформатора

На Фото 6 все вентили масла, ведущие в радиаторы, находятся выше уровня масла, что препятствует циркуляции масла. Пониженный уровень масла может быть результатом утечек, или неадекватного заполнения при последнем обслуживании. Еще одной проблема, вызывающая те же самые последствия, возникает, когда верхние дроссельные заслонки, ведущие в радиаторы, были закрыты во время обслуживания и не открыты после него, препятствуя движению масла.
Проблема такого рода выявляется простой термографической проверкой.

Фото 6 — Термографическое изображение масляных вентилей

Системы нагнетания масла ДЦ/Ц (FOA/FOW) (Фото 7) повышает скорость потока масла через радиаторы и, тем самым, предоставляют максимальный отвод тепла от трансформатора.

Фото 7 — Системы нагнетания масла ДЦ/Ц

Скорость нагнетания масла измерить сложно, и обычно применяется небольшой флюгерный индикатор, размещаемый на трубах. Он указывает на то, включен или отключен насос нагнетания масла. Такие указатели потока не всегда точны. Много раз во время обслуживания обнаруживалось, что такой индикатор заблокирован, и неправильно показывает наличие потока масла.
Можно выполнить несложную проверку, отключив насос, и посмотрев на индикатор, чтобы определить, правильно ли он показывает наличие потока.
Насосы, сами по себе создают собственный набор отказов трансформатора. Изготовленные с жесткими допусками, они не выдерживают свободных подшипников или втулок. В процессе старения, подшипники, втулки, и опорные шайбы изнашиваются, и могут вызвать смещение крыльчатки в корпусе насоса (Фото 8 и 9). Это приводит к тому, что в обмотки трансформатора попадает большое количество металлических опилок, что в конечном итоге, вызывает отказ изоляции, в связи с вибрацией опилок при рабочей частоте, вызывающей износ изоляции.

Фото 8 — Этапы износа опорной шайбы

Фото 9 — Разрушение шарика в подшипнике, приводящий к отказу трансформатора

Прекрасной проверкой износа подшипников является ультразвуковая инспекция, которая может быть выполнена в любое время, при работающем насосе, как показано на Фото 10.

Фото 10 — Ультразвуковая инспекция подшипников масляного насоса.

Трансформатор ТМФ 250/10/0,4

 Разместить заказ на трансформаторы ТМФ 250/10/0,4 или ТМГФ 250/10/0,4

Трансформатор ТМФ/ТМГФ производится только прямоугольной формы. Отличается от других типов трансформаторов расположением вводов ВН и НН по бокам слева или справа. Возможно исполнение вводов сверху на крышке бака или сбоку — по фланцам трансформатора.

По требованию заказчика возможно изготовление ТМФ/ТМГФ на салазках

Температурные изменения объема масла компенсируются маслорасширителем. Встроенный воздухоосушитель, предотвращают попадание в трансформатор влаги и промышленных загрязнений.

Для измерения температуры верхнего уровня масла в баке устанавливаются термометрические датчики, которые  контролируют внутреннее давление и сигнализируют о предельно допустимых величинах давления.

Для установки в условиях тропического климата используются только медные обмотки.

Диапазон мощности трансформатора ТМФ/ТМГФ — 160-2500 кВА

• Номинальное напряжение первичной обмотки ВН-6; 10 кВ
• Регулирование напряжения ПБВ со стороны ВН — ±2×2,5%
• Климатическое исполнение — У1, УЗ, УХЛ1
• Схема соединения — У/Ун-0 (звезда-звезда), Д/Ун-11 (треугольник-звезда)

Трансформаторы силовые трехфазные двухобмоточные с расширителем с естественным охлаждением масла. Маслорасширитель, установленный на крышке бака, имеет вентиляционное отверстие, соединенное через воздухосушитель. Давление масла в трансформаторе остается постоянным и не зависит от температуры. По заказу потребителя трансформатор может быть изготовлен с радиаторным или гофрированным баком

Трансформатор масляный ТМ с естественным воздушным охлаждением предназначен для преобразования электрической энергии одного напряжения в электрическую энергию другого напряжения. Регулирование напряжения трансформатора ТМ осуществляется в диапазоне до ± 5 % на полностью отключенном трансформаторе (ПБВ) переключением ответвлений обмотки ВН ступенями по 2,5 %.

ТМ cостоит из активной части, крышки и сварного бака овальной формы. На крышке расположены вводы ВН и НН, привод переключателя, расширитель с маслоуказателем и воздухоосушителем.

Активная часть масляного трансформатора ТМФ/ТМГФ состоит из магнитопровода с обмотками, нижних и верхних ярмовых балок. Трансформатор помещен в бак с маслом для охлаждения и предотвращения разрушение обмоток трансформатора от внешней среды.

Обмотки ТМ сделаны из алюминиевых обмоточных проводов, межслойная изоляция – из кабельной бумаги.

СТРУКТУРА УСЛОВНОГО ОБОЗНАЧЕНИЯ ТМ(Г)Ф-Х/10(6)-У1
Т — Трансформатор трехфазный
М — МасляныйТ
Г -Герметичный
Ф -Фланцевый
X — Номинальная мощность, кВА
У1 — Климатическое исполнение и категория
размещения по ГОСТ 15150

Условия эксплуатации трансформатора ТМ(Г)Ф

• Окружающая среда не взрывоопасная, не содержащая токопроводящей пыли;
• Высота установки над уровнем моря не более 1000 м;
• Режим работы длительный;
• Температура окружающей среды от -60°С до +40°С;
• Трансформаторы не предназначены для работы в условиях тряски, вибраций, ударов, в химически агрессивной среде.

Скачать опросный лист на трансформатор ТМ(Г)Ф

СА7190 Трансформатор повышающий

Трансформатор повышающий

Трансформатор СА7190 применяется в качестве повышающего трансформатора в схемах измерения электрической емкости и тангенса угла потерь. Представляет собой однофазный сухой незаземляемый трансформатор.
Максимальный выходной ток при напряжении 12 кВ – 300 мА.
Область применения – организации, разрабатывающие и производящие трансформаторы напряжения, поверочные и калибровочные лаборатории.

Качественное оборудование от производителя

Компания «ОЛТЕСТ Русь» является непосредственным производителем и поставщиком измерительного оборудования для энергетики. Мы имеем многолетний опыт на рынке и гарантируем качество и надежность своей продукции.
У нас Вы можете купить трансформатор повышающий СА7190 по лучшей цене.
Свяжитесь с нами для уточнения стоимости и других вопросов.

• Однофазный сухой незаземляемый трансформатор
• Максимальный выходной ток при 12 кВ − 300 мА
• Малые габариты и вес

ПРИМЕНЕНИЕ

СА7190 используется в качестве повышающего трансформатора в процессе контроля изоляции:

• Службами, осуществляющими контроль изоляции высоковольтного оборудования

Вас также могут заинтересовать

СА7100-2

Мост переменного тока высоковольтный автоматический

CA7100-3

Мост переменного тока высоковольтный автоматический

СА640

Измеритель сопротивления обмоток трансформаторов

СА540

Измеритель трехфазный

СА610

Измеритель коэффициента трансформации

Трансформеров 7 Set Photos Show Optimus Prime & Bumblebee

На новых фотографиях из фильма «Трансформеры: Восстание зверей» изображены Оптимус Прайм и Бамблби в форме автомобилей с классическим дизайном.

Оптимуса Прайма и Бамблби показаны на новых фотографиях из набора Трансформеры: Восстание зверей . Paramount Pictures и Майкл Бэй сделали франшизу Transformers одной из крупнейших в мире за последние почти 15 лет.Тем не менее, будущее франшизы связано с новым каноном и мифологией, которые помогли перезапустить Bumblebee 2018 года. Успех фильма привел Paramount к сотрудничеству со Стивеном Кэплом-младшим из Creed II над созданием седьмого фильма франшизы Transformers .

После работы над несколькими идеями для нового фильма Paramount ранее в этом году объявила, что Трансформеры: Восстание зверей — это то, что будет следующим.В фильме будут сниматься Энтони Рамос и Доминик Фишбэк в сюжете 1994 года. Трансформеры 7 будет включать в себя дебют различных персонажей Beast Wars , таких как Оптимус Праймал, но также и некоторых из них. самые узнаваемые автоботы: Оптимус Прайм и Бамблби. Эти два героя были во всех предыдущих фильмах Трансформеры .

Связанный: Трансформеры 7: Почему фильм Beast Wars — это то, что нужно бренду

Трансформеры: Восстание зверей в настоящее время находится в производстве с Caple Jr.воплощая в жизнь его свежее видение. Начало съемок означало несколько обновлений фильма, тем более, что именно тогда Paramount решила раскрыть несколько деталей о фильме. Но новостной поток новостей Transformers 7 не закончится только потому, что официальные подробности больше не разглашаются. Новые снимки из серии Transformers: Rise of the Beasts циркулируют в сети по мере того, как съемки продолжаются, а последняя утечка представляет собой первый взгляд на Оптимуса Прайма и Бамблби. Посмотрите фотографии, которыми поделился Крис Паркер в Twitter:

Caple Jr.Ранее говорилось, что конструкции G1 Transformers вернутся в Rise of the Beasts , и эти новые фотографии набора в основном подтверждают это утверждение. Дизайн Bumblebee G1 ранее использовался в Bumblebee , но в конце фильма он сменил внешний вид Volkswagen на Camaro. Это то, что Bumblebee продолжает иметь в Transformers 7 . Фактически, оба автобота выглядят почти так же, как в самом конце фильма 2018 года.Оптимус Прайм добавил большую решетку радиатора и немного изменил серебристую линию кабины.

Эти новые изображения Бамблби и Оптимуса Прайма в Трансформеры: Восстание зверей должны только увеличивать азарт фильма.В то время как у версий Бэя конструкций Transformer были свои поклонники, многим зрителям также понравилось, как Bumblebee упростил дизайн и трансформации. Будет интересно посмотреть, как Кэпл развивает последовательности трансформации в этом фильме, особенно с участием Максимов, Предаконов и Террорконов. В следующем фильме со всеми этими персонажами будет много трансформаций, поэтому теперь фанатам придется просто подождать и посмотреть, как выглядят альтернативные формы Оптимуса Прайма и Бамблби в Transformers: Rise of the Beasts .

БОЛЬШЕ: Почему Трансформеры, наконец, делают Beast Wars сейчас

Источник: Крис Паркер

• Трансформеры: Восстание зверей (2022) Дата выхода: 24.06.2022

Отряд самоубийц BTS Images Show Calendar Man With Polka Dot Man

Cooper Hood — автор новостей и очерков для Screen Rant.Он присоединился к Screen Rant в конце 2016 года, проработав год в MCU Exchange после того, как впервые создал собственный блог MCU. Он окончил колледж в 2016 году со степенью бакалавра в области СМИ и общественных коммуникаций, а также со специализацией в области медиа-производства. Любовь Купера к фильмам началась с повторного просмотра «Истории игрушек» и «Короля льва» в детстве, но только после «Мстителей» он проявил большой интерес к фильмам и процессу создания фильмов, что привело его к открытию мира киножурналистики.Каждый год Купер с нетерпением ждет последних блокбастеров из таких фильмов, как Marvel, DC и «Звездные войны», но также любит спешить, чтобы наверстать упущенное в фильмах «Оскар» ближе к концу года. Когда он не пишет и не смотрит новые релизы, Купер одержим фэнтези-футболом и стремится расширить свою коллекцию Blu-Ray, потому что физические носители по-прежнему являются королем! Следите за сообщениями Купера в Twitter @MovieCooper.

трансформаторов для распознавания изображений в масштабе

Хотя сверточные нейронные сети (CNN) использовались в компьютерном зрении с 1980-х годов, они не были на переднем крае до 2012 года, когда AlexNet с большим отрывом превзошел по производительности современные современные методы распознавания изображений.Два фактора помогли сделать этот прорыв: (i) доступность обучающих наборов, таких как ImageNet, и (ii) использование массового оборудования GPU, которое обеспечило значительно больше вычислений для обучения. Таким образом, с 2012 года CNN стали образцом для решения задач видения.

Преимущество использования CNN состояло в том, что они избегали необходимости создавать визуальные элементы, разработанные вручную, вместо этого они учились выполнять задачи напрямую от данных «от начала до конца». Однако, хотя CNN избегают ручного извлечения признаков, сама архитектура разработана специально для изображений и может потребовать вычислительных ресурсов.С нетерпением ожидая следующего поколения масштабируемых моделей видения, можно спросить, необходим ли этот предметно-ориентированный дизайн, или можно было бы успешно использовать более независимые от предметной области и вычислительно эффективные архитектуры для достижения современных результатов.

В качестве первого шага в этом направлении мы представляем Vision Transformer (ViT), модель машинного зрения, максимально основанную на архитектуре Transformer, изначально разработанной для текстовых задач. ViT представляет входное изображение как последовательность фрагментов изображения, аналогичную последовательности вложений слов, используемых при применении преобразователей к тексту, и напрямую предсказывает метки классов для изображения.ViT демонстрирует отличную производительность при обучении на достаточном количестве данных, превосходя сопоставимые современные CNN с в четыре раза меньшими вычислительными ресурсами. Чтобы способствовать дополнительным исследованиям в этой области, мы открыли исходный код как кода, так и моделей.

The Vision Transformer
Исходный текст Transformer принимает в качестве входных данных последовательность слов, которые затем используются для классификации, перевода или других задач НЛП.Что касается ViT, мы вносим минимально возможные изменения в конструкцию Transformer, чтобы заставить его работать непосредственно с изображениями, а не со словами, и наблюдаем, сколько информации о структуре изображения модель может узнать сама по себе.

ViT разделяет изображение на сетку квадратных участков. Каждый патч сглаживается в один вектор путем объединения каналов всех пикселей в патче и затем линейного проецирования его на желаемое входное измерение. Поскольку трансформеры не зависят от структуры входных элементов, мы добавляем обучаемые вложения позиций в каждый патч, что позволяет модели узнавать о структуре изображений. Априори , ViT не знает об относительном расположении пятен на изображении или даже о том, что изображение имеет двумерную структуру — он должен получить такую ​​релевантную информацию из обучающих данных и кодировать структурную информацию во вложенных позициях.

Увеличение масштаба

Сначала мы обучаем ViT на ImageNet, где он достигает максимальной точности 77,9%. Хотя это прилично для первой попытки, оно далеко отстает от современных достижений — текущий лучший CNN, обученный на ImageNet без дополнительных данных, достигает 85.8%. Несмотря на стратегии смягчения (например, регуляризацию), ViT превосходит задачу ImageNet из-за отсутствия встроенных знаний об изображениях.

Чтобы исследовать влияние размера набора данных на производительность модели, мы обучаем ViT на ImageNet-21k (14M изображений, 21k классов) и JFT (300M изображений, 18k классов) и сравниваем результаты с современной CNN, Big Transfer (BiT), обученный на тех же наборах данных. Как уже отмечалось ранее, ViT работает значительно хуже, чем эквивалент CNN (BiT) при обучении в ImageNet (1M изображений).Однако на ImageNet-21k (14M изображений) производительность сопоставима, а на JFT (300M изображений) ViT теперь превосходит BiT.

Наконец, мы исследуем влияние объема вычислений, связанных с обучением моделей. Для этого мы обучаем несколько различных моделей ViT и CNN на JFT. Эти модели охватывают диапазон размеров моделей и продолжительности обучения. В результате для обучения им требуется разное количество вычислений. Мы видим, что при заданном объеме вычислений ViT дает лучшую производительность, чем эквивалентные CNN.

Высокопроизводительное распознавание крупномасштабных изображений
Наши данные показывают, что (1) при достаточном обучении ViT может работать очень хорошо, и (2) ViT дает превосходный компромисс между производительностью и вычислительными ресурсами как в меньших, так и в больших масштабах вычислений. Поэтому, чтобы увидеть, распространятся ли улучшения производительности на еще большие масштабы, мы обучили модель ViT с 600M параметрами.

Эта большая модель ViT обеспечивает высочайшую производительность по нескольким популярным тестам, включая точность 88,55% наивысшего уровня в ImageNet и 99,50% на CIFAR-10. ViT также хорошо работает с очищенной версией набора оценок ImageNet «ImageNet-Real», достигая точности 90,72% наивысшего уровня. Наконец, ViT хорошо работает с разнообразными задачами, даже с небольшим количеством обучающих данных. Например, в пакете VTAB-1k (19 задач с 1000 точками данных каждая) ViT достигает 77,63%, что значительно опережает современное состояние с одной моделью (SOTA) (76.3%), и даже соответствие SOTA, полученное ансамблем нескольких моделей (77,6%). Что наиболее важно, эти результаты получены с использованием меньшего количества вычислительных ресурсов по сравнению с предыдущими SOTA CNN, например, в 4 раза меньше, чем предварительно обученные модели BiT.

Визуализации
Чтобы получить некоторое представление о том, что модель изучает, мы визуализируем некоторые из ее внутренних работ. Во-первых, мы смотрим на вложения позиций — параметры, которые модель учится кодировать относительное расположение пятен — и обнаруживаем, что ViT может воспроизводить интуитивно понятную структуру изображения. Встраивание каждой позиции наиболее похоже на другие в той же строке и столбце, что указывает на то, что модель восстановила сеточную структуру исходных изображений.Во-вторых, мы исследуем среднее пространственное расстояние между одним элементом и другим для каждого блока трансформатора. На более высоких уровнях (глубины 10-20) используются только глобальные особенности (т. Е. Большие расстояния внимания), но нижние слои (глубины 0-5) захватывают как глобальные, так и локальные особенности, на что указывает большой диапазон среднего внимания. расстояние. Напротив, в нижних слоях CNN присутствуют только локальные особенности. Эти эксперименты показывают, что ViT может изучать особенности, жестко закодированные в CNN (такие как понимание структуры сетки), но также может свободно изучать более общие шаблоны, такие как сочетание локальных и глобальных функций на нижних уровнях, которые могут помочь в обобщении.

Резюме
Хотя CNN произвели революцию в компьютерном зрении, наши результаты показывают, что модели, специально разработанные для задач визуализации, могут быть ненужными или даже неоптимальными.В связи с постоянно увеличивающимися размерами наборов данных и продолжающейся разработкой неконтролируемых и частично контролируемых методов разработка новых архитектур машинного зрения, которые более эффективно обучаются на этих наборах данных, становится все более важной. Мы считаем, что ViT — это предварительный шаг к универсальным масштабируемым архитектурам, которые могут решать многие задачи видения или даже задачи из многих областей, и с нетерпением ждем будущих разработок.

Препринт нашей работы, а также код и модели находятся в открытом доступе.

Благодарности
Мы хотели бы поблагодарить наших соавторов в Берлине, Цюрихе и Амстердаме: Алексея Досовицкого, Лукаса Бейера, Александра Колесникова, Сяохуа Чжая, Томаса Унтертинера, Мостафу Дехгани, Матиаса Миндерера, Георга Хейгольда, Сильвена Гелли и Якоб Ушкорит. Мы хотели бы поблагодарить Андреаса Штайнера за решающую помощь с инфраструктурой и открытым исходным кодом, Джоан Пучсервер и Максима Ноймана за работу над крупномасштабной учебной инфраструктурой, а также Дмитрия Лепихина, Аравинда Махендрана, Даниэля Кейзера, Марио Лучича, Ноама Шазира и Колина Раффеля. за полезные обсуждения.Наконец, мы благодарим Тома Смолла за создание анимации Visual Transformer в этом посте.

ONE: Уникальные фотоизображения — Трансформаторная подстанция Трансформаторная подстанция

Пятница, 18 сентября 2020 г. — воскресенье, 31 января 2021 г.

ДАТЫ РАСШИРЕННЫЕ, теперь доступны для просмотра до воскресенья, 31 января 2021 г.

Нажмите здесь чтобы зарезервировать БЕСПЛАТНЫЙ входной билет!

ONE: Уникальные фотообъекты

Эта выставка уникальных фотообъектов основана в основном на работах из коллекции Фреда и Лоры Рут Бидуэлл.Хотя среда фотографии характеризуется своей способностью воспроизводить несколько изображений одного и того же изображения, художники в ONE все манипулировали или разрушали среду для создания уникальных предметов ручной работы. Многие работы в ONE напоминают живопись или ремесло и исследуют идеи, выходящие за рамки традиционных ролей и функций фотографического изображения.

Пока мы временно закрыты для публики, просмотрите эти интервью с художниками на выставке ниже:

Работы Криса МакКо , Джозеф Майнек и Кристофер Рассел используют процессы и инструменты, которые изначально были разработаны для объективного представления, в качестве средств для создания личных и эмоциональных жестов, раскрывающих процесс ручной работы для зрителя.Крис Маккоу раскрывает жестокость западного солнца, чтобы выжег его путь по небу радикально переэкспонированных ландшафтов. В абстрактном экспрессионистском свитке Мэрайи Робертсон развернулась абстрактная картина длиной 130 дюймов в ядовитой цветовой фотохимии. Джозеф Минек создает строго дисциплинированные абстракции, заменяя инструкции производителя своими собственными процессами. Кристофер Рассел вписывает поверхность цветных абстракций с помощью фигуративных офортов, меняя традиционные роли фотографии и рисунка.

Фотографы всегда выборочно раскрывали или скрывали наш мир, помещая рамку вокруг своего поля зрения. Кайл Мейер и Уилмер Уилсон IV фокусируются на поверхности изображения, а не на его краях, как способ редактирования нашего обзора. Портреты Мейерса людей из сообщества ЛГБТК в Свазиленде прославляют их индивидуальность и культуру, защищая при этом их идентичность, ткут тканевые реквизиты, используемые в их портретах, вместе с фотопечатью, чтобы создать новую «ткань». Уилсон увеличивает найденные листовки из районов Вашингтона, округ Колумбия.C. и репостит их, покрытые завитками скоб, затемняя и обнажая изображения внизу и превращая их в бюллетени свободы и угнетения.

Сэм Фоллс, Лиз Ридил, Лорен Дэвис и Нобутака Аозаки создают уникальные работы, которые расширяют границы фотографического изображения за пределы представления до концептуального. Фоллс бросает вызов стереотипам искусства, смешивая условности коммерческой «товарной фотографии» с печатью и живописью. Аозаки также использует язык коммерческой фотографии, чтобы проиллюстрировать найденные списки покупок таким образом, чтобы дать зрителю открытый и слегка вуайеристский взгляд на жизнь незнакомцев.Лорен Дэвис создает смесь между фотографируемым предметом и скульптурным объектом и усложняет отношения между реальным и искусственным. Фотобудка из мелкого магазина была использована Лиз Райдал для активации натюрмортов с тюльпанами, которые напоминают голландские натюрморты и модернистские сетки.

В то время, когда многие художественные опыты были перенесены онлайн и на экран, все работы, представленные в ONE , отмечают важность физического объекта искусства, неся знаки и жесты руки и ума художника в Физический мир.

Параллельная выставка: Дэйв Джордано: (Человеческие) пейзажи

Эта выставка была организована Transformer Station при частичной поддержке жителей округа Кайахога за счет государственного гранта от Cuyahoga Arts & Culture.

Подробнее о CAC

Изображение GPT

Мы обнаружили, что точно так же, как большая модель преобразователя, обученная на языке, может генерировать связный текст, та же самая точная модель, обученная на последовательностях пикселей, может генерировать согласованные дополнения и образцы изображений.Устанавливая корреляцию между качеством выборки и точностью классификации изображений, мы показываем, что наша лучшая генеративная модель также содержит функции, конкурирующие с лучшими сверточными сетями в неконтролируемой настройке.

Содержание

1. Введение
2. Выполнено
3. Образцы
4. От языка GPT к образу GPT
5. На пути к общему обучению без учителя
6. Подход
7. Результаты экспериментов
8. Ограничения
9. Заключение

Введение

Неконтролируемое и самостоятельное обучение или обучение без данных, помеченных людьми, — давняя проблема машинного обучения.В последнее время он добился невероятных успехов в области языка, поскольку модели преобразователей, такие как BERT, GPT-2, RoBERTa, T5 и другие варианты, достигли максимальной производительности в широком спектре языковых задач. Однако тот же самый широкий класс моделей не смог создать сильных характеристик для классификации изображений. Наша работа направлена ​​на то, чтобы понять и восполнить этот пробел.

, такие как BERT и GPT-2, не зависят от предметной области, что означает, что их можно напрямую применять к одномерным последовательностям любой формы.Когда мы обучаем GPT-2 изображениям, развернутым в длинные последовательности пикселей, которые мы называем iGPT, мы обнаруживаем, что модель, похоже, понимает характеристики двухмерного изображения, такие как внешний вид и категория объекта. Об этом свидетельствует широкий спектр образцов когерентного изображения, которые он генерирует, даже без указания ярлыков, предоставленных человеком. В качестве дополнительного доказательства, функции модели обеспечивают высочайшую производительность для ряда наборов классификационных данных и почти самую современную неконтролируемую точность в ImageNet.

Чтобы подчеркнуть потенциал моделирования генеративной последовательности как универсального алгоритма неконтролируемого обучения, мы намеренно используем ту же архитектуру преобразователя, что и GPT-2 в языке. Как следствие, нам требуется значительно больше вычислительных ресурсов для создания функций, конкурентоспособных по сравнению с лучшими неконтролируемыми сверточными сетями.Однако наши результаты показывают, что, столкнувшись с новой областью, где правильные априорные значения модели неизвестны, большой GPT-2 может изучить отличные функции без необходимости выбора архитектурного дизайна для конкретной области.

Выполнено

Созданные на основе модели завершенные полуизображения, созданные человеком. Остальные половинки отбираем с температурой 1 и без уловок вроде поиска луча или отбора ядер. В то время как мы демонстрируем наши любимые завершения на первой панели, мы не выбираем изображения или завершения на всех следующих панелях.

Образцы

Образцы изображений, созданных на основе модели. Мы выбираем эти изображения с температурой 1 и без уловок вроде поиска луча или отбора проб ядра. Показаны все наши образцы, без сбора вишен. Почти все сгенерированные изображения содержат четко узнаваемые объекты.

От языка GPT к образу GPT

В области языка алгоритмы неконтролируемого обучения, основанные на предсказании слов (например, GPT-2 и BERT), оказались чрезвычайно успешными, достигнув максимальной производительности в широком спектре языковых задач.Одна из возможных причин этого успеха заключается в том, что экземпляры последующих языковых задач естественным образом появляются в тексте: вопросы часто сопровождаются ответами (которые могут помочь с ответами на вопросы), а отрывки часто сопровождаются резюме (которые могут помочь в резюмировании). Напротив, последовательности пикселей явно не содержат меток для изображений, которым они принадлежат.

Даже без этого явного надзора есть причина, по которой GPT-2 на изображениях может работать: достаточно большой преобразователь, обученный предсказанию следующего пикселя, может в конечном итоге научиться генерировать различные выборки с четко распознаваемыми объектами.Как только модель научится это делать, идея, известная как «Анализ путем синтеза», предполагает, что модель также будет знать о категориях объектов. Многие ранние генеративные модели были мотивированы этой идеей, и совсем недавно BigBiGAN был примером, который произвел обнадеживающие образцы и функции. В своей работе мы сначала показываем, что лучшие генеративные модели обеспечивают более высокую эффективность классификации. Затем, оптимизируя GPT-2 для генеративных возможностей, мы достигаем производительности классификации верхнего уровня во многих условиях, предоставляя дополнительные доказательства для анализа путем синтеза.

На пути к общему обучению без учителя

Моделирование генеративной последовательности — это универсальный алгоритм обучения без учителя: поскольку все типы данных могут быть представлены как последовательности байтов, преобразователь может быть напрямую применен к любому типу данных без дополнительной инженерии. Наша работа проверяет силу этой универсальности, напрямую применяя архитектуру, используемую для обучения GPT-2 на естественном языке, для создания изображений. Мы сознательно отказались от ручного кодирования каких-либо знаний, связанных с изображением, в форме сверток или техник, таких как относительное внимание, рассеянное внимание и встраивание двухмерных позиций.

Вследствие его универсальности, наш метод требует значительно больше вычислительных ресурсов для достижения конкурентоспособной производительности в неконтролируемой среде. В самом деле, контрастные методы по-прежнему являются наиболее эффективными с вычислительной точки зрения методами получения высококачественных элементов из изображений. Однако, показывая, что модель неконтролируемого преобразователя конкурентоспособна с лучшими неконтролируемыми сверточными сетями, мы предоставляем доказательства того, что можно обменять знания предметной области, кодированные вручную, на вычисления.В новых областях, где не так много знаний в коде, масштабирование вычислений кажется подходящим методом для тестирования.

Подход

Мы обучаем iGPT-S, iGPT-M и iGPT-L, трансформаторы, содержащие параметры 76M, 455M и 1.4B соответственно, в ImageNet. Мы также обучаем iGPT-XL, преобразователь 6,8 миллиардов параметров, на сочетании ImageNet и изображений из Интернета. Из-за больших вычислительных затрат на моделирование длинных последовательностей с повышенным вниманием, мы тренируемся с низкими разрешениями 32×32, 48×48 и 64×64.

Хотя заманчиво работать с еще более низкими разрешениями для дальнейшего снижения затрат на вычисления, предыдущие исследования показали, что производительность человека при классификации изображений начинает быстро падать ниже этих размеров. Вместо этого, руководствуясь ранними цветовыми палитрами отображения, мы создаем нашу собственную 9-битную цветовую палитру для представления пикселей. Использование этой палитры дает длину входной последовательности в 3 раза короче стандартной (R, G, B) палитры, при этом все еще точно кодирует цвет.

Результаты экспериментов

Есть два метода, которые мы используем для оценки производительности модели, каждый из которых включает задачу последующей классификации.Первый, который мы называем линейным зондом, использует обученную модель для извлечения функций из изображений в последующем наборе данных, а затем подгоняет логистическую регрессию к меткам. Второй метод точно настраивает всю модель в последующем наборе данных.

Поскольку предсказание следующего пикселя явно не имеет отношения к классификации изображений, признаки из последнего слоя могут не быть наиболее предсказуемыми для категории объектов. Наш первый результат показывает, что качество элементов резко возрастает, а затем слегка уменьшается от глубины.Такое поведение предполагает, что генеративная модель преобразователя работает в два этапа: на первом этапе каждая позиция собирает информацию из своего окружающего контекста, чтобы создать контекстуализированную функцию изображения. На втором этапе эта контекстуализированная функция используется для решения задачи условного прогнозирования следующего пикселя. Наблюдаемые двухступенчатые характеристики наших линейных зондов напоминают другую неконтролируемую нейронную сеть, автокодировщик узких мест, который спроектирован вручную таким образом, что используются функции в середине.

Качество элемента во многом зависит от слоя, который мы выбираем для оценки. В отличие от моделей с учителем, лучшие функции этих генеративных моделей находятся в середине сети.

Наш следующий результат устанавливает связь между производительностью генерации и качеством функций. Мы обнаружили, что как увеличение масштаба наших моделей, так и обучение для большего количества итераций приводят к лучшей генеративной производительности, что напрямую влияет на лучшее качество функций.

Наведите курсор, чтобы увидеть образцы изображений вверх

Каждая линия отслеживает модель на протяжении генеративного предварительного обучения: пунктирные маркеры обозначают контрольные точки на этапах 131K, 262K, 524K и 1000K.Положительные наклоны предполагают связь между улучшенной производительностью генерации и улучшением качества функций. Более крупные модели также обладают лучшими характеристиками, чем модели меньшего размера. iGPT-XL не включен, потому что он был обучен на другом наборе данных.

Когда мы оцениваем наши функции с помощью линейных датчиков на CIFAR-10, CIFAR-100 и STL-10, мы опережаем возможности всех контролируемых и неконтролируемых алгоритмов передачи. Наши результаты также убедительны при полной настройке.

Сравнение точности линейного датчика и точной настройки между нашими моделями и высокопроизводительными моделями, которые используют неконтролируемую или контролируемую передачу ImageNet. Мы также включаем AutoAugment, самую эффективную модель, полностью обученную на CIFAR.

Учитывая возрождение интереса к неконтролируемому и самостоятельному обучению в ImageNet, мы также оцениваем производительность наших моделей, используя линейные датчики в ImageNet.Это особенно сложная настройка, поскольку мы не тренируемся при стандартном входном разрешении ImageNet. Тем не менее, линейный зонд на 1536 функциях из лучшего слоя iGPT-L, обученный на изображениях 48×48, дает точность 65,2%, превосходя AlexNet.

Контрастные методы обычно сообщают о своих лучших результатах по 8192 функциям, поэтому в идеале мы бы оценили iGPT с размером встраивания 8192 для сравнения. Однако обучение такой модели непомерно дорого, поэтому вместо этого мы объединяем функции из нескольких слоев в качестве приближения.К сожалению, наши функции имеют тенденцию коррелировать по уровням, поэтому нам нужно их больше, чтобы быть конкурентоспособными. Использование 15360 функций из 5 уровней в iGPT-XL дает 72,0% точности, превосходя AMDIM, MoCo и CPC v2, но все же уступая SimCLR с приличным отрывом.

Сравнение точности линейных датчиков наших моделей и современных моделей с самоконтролем. Мы достигаем конкурентоспособных результатов при обучении с гораздо более низким входным разрешением, хотя наш метод требует большего количества параметров и вычислений.

Поскольку модели языка с масками, такие как BERT, превзошли генеративные модели в большинстве языковых задач, мы также оцениваем производительность BERT на наших моделях изображений. Вместо того, чтобы обучать нашу модель предсказанию следующего пикселя с учетом всех предыдущих пикселей, мы маскируем 15% пикселей и обучаем нашу модель предсказывать их на основе немаскированных. Мы обнаружили, что, хотя характеристики линейных пробников на моделях BERT значительно хуже, они превосходны во время точной настройки:

CIFAR-10

ImageNet

Сравнение генеративного предварительного обучения с предварительным обучением BERT с использованием iGPT-L при входном разрешении 32 ² × 3.Жирные цвета показывают повышение производительности за счет ансамбля масок BERT. Мы видим, что генеративные модели после предварительного обучения дают гораздо лучшие характеристики, чем модели BERT, но модели BERT догоняют после точной настройки.

В то время как неконтролируемое обучение обещает отличные возможности без необходимости в данных, помеченных людьми, в последнее время был достигнут значительный прогресс в рамках более щадящей структуры полууправляемого обучения, которая допускает ограниченные объемы данных, помеченных человеком. Успешные полууправляемые методы часто основываются на умных методах, таких как регуляризация согласованности, увеличение данных или псевдо-маркировка, а чисто генеративные подходы не были конкурентоспособными в течение многих лет.Мы оцениваем iGPT-L на конкурентном тесте для этого подполя и обнаруживаем, что простой линейный анализ функций из нерасширенных изображений превосходит Mean Teacher и MixMatch, хотя и уступает FixMatch.

Сравнение производительности на CIFAR-10 с низким объемом данных. Используя множество немаркированных изображений ImageNet, iGPT-L может превзойти такие методы, как Mean Teacher и MixMatch, но по-прежнему уступает современным методам. Наш подход к полу-контролируемому обучению очень прост, поскольку мы подбираем классификатор логистической регрессии только для функций iGPT-L без какого-либо дополнения или тонкой настройки данных — существенное отличие от специально разработанных полу-контролируемых подходов.

Ограничения

Хотя мы показали, что iGPT способен изучать мощные функции изображений, наш подход все же имеет существенные ограничения. Поскольку мы используем общий преобразователь последовательности, используемый для GPT-2 на языке, наш метод требует большого объема вычислений: iGPT-L был обучен примерно за 2500 V100-дней, в то время как аналогичная модель MoCo может быть обучена примерно за 70 V100-дней.

Соответственно, мы моделируем входы с низким разрешением с помощью трансформатора, в то время как большинство результатов с самоконтролем используют сверточные кодеры, которые могут легко потреблять входные данные с высоким разрешением.Для дальнейшего масштабирования может потребоваться новая архитектура, например, многомасштабный преобразователь, не зависящий от предметной области. Учитывая эти ограничения, наша работа в первую очередь служит доказательной демонстрацией способности больших языковых моделей, основанных на преобразователях, изучать отличные неконтролируемые представления в новых предметных областях без необходимости в жестко закодированных знаниях предметной области. Однако значительные затраты ресурсов на обучение этих моделей и более высокая точность методов на основе сверточных нейронных сетей исключают эти представления из практических приложений реального мира в области видения.

Наконец, генеративные модели могут демонстрировать смещения, которые являются следствием данных, на которых они были обучены. Многие из этих смещений полезны, например, если предположить, что комбинация коричневых и зеленых пикселей представляет собой ветвь, покрытую листьями, а затем использовать это смещение для продолжения изображения. Но некоторые из этих предубеждений будут вредными, если рассматривать их через призму справедливости и репрезентативности. Например, если модель развивает визуальное представление об ученом, которое искажает мужчину, то она может последовательно дополнять образы ученых с людьми, представляющими мужчин, а не смесью полов.Мы ожидаем, что разработчикам потребуется уделять больше внимания данным, которые они вводят в свои системы, и лучше понимать, как они связаны с предвзятостью в обученных моделях.

Заключение

Мы показали, что, жертвуя двумерными знаниями в пользу масштаба и выбирая функции прогнозирования из середины сети, преобразователь последовательности может быть конкурентоспособным с верхними сверточными сетями для классификации изображений без учителя. Примечательно, что мы достигли наших результатов, напрямую применив языковую модель GPT-2 к генерации изображений.Наши результаты показывают, что из-за своей простоты и универсальности преобразователь последовательности при достаточных вычислительных мощностях может в конечном итоге стать эффективным способом изучения отличных функций во многих областях.

Если вам нравится работать с нами в этой области исследований, мы ищем!

Создание изображений с высоким разрешением с использованием трансформаторов —

Трансформаторы известны своим долгосрочным взаимодействием с последовательными данными и легко адаптируются к различным задачам, будь то обработка естественного языка, компьютерное зрение или аудио.Трансформаторы могут свободно изучать все сложные взаимосвязи на заданном входе, поскольку они не содержат индуктивного смещения, в отличие от сверточных нейронных сетей (CNN). Это, с одной стороны, увеличивает выразительность, но делает его непрактичным с точки зрения вычислений для длинных последовательностей или высококачественных изображений. В декабре 2020 года Патрик Эссер, Робин Ромбах и Бьёрн Оммер, исследователи искусственного интеллекта из Гейдельбергского университета, Германия, опубликовали статью о сочетании сверточной нейронной сети (CNN) и трансформаторов для решения проблемы создания изображений с высоким разрешением: Taming Transformers для Синтез изображений высокого разрешения.

Чтобы сделать трансформаторы более эффективными, метод Taming Transformer объединяет индуктивное смещение CNN с выразительностью трансформаторов. Для получения изображений с высоким разрешением предлагаемые методы демонстрируют:

  Зарегистрируйтесь на наш бесплатный мастер-класс >>  

• Они используют VQGAN CNN для эффективного изучения кодовой книги контекстно-зависимых визуальных частей.

• Использование трансформаторов для эффективного моделирования их состава в изображениях с высоким разрешением.

Модель архитектуры приручивающих трансформаторов

Архитектура модели использует сверточный нейронный VQGAN, который содержит кодер-декодер и состязательные методы обучения для создания кодовой книги (эффективных и богатых представлений) изображений. Эта архитектура GAN используется для обучения генератора выводу изображений с высоким разрешением. По окончании обучения GAN архитектура модели принимает только часть декодера в качестве входных данных для архитектуры преобразователя, a.k.a кодовая книга. Эта кодовая книга содержит эффективное и богатое представление изображений (вместо пикселей) в сжатой форме, которая может быть прочитана последовательно. Затем преобразователь обучается с помощью этой кодовой книги для прогнозирования следующего распределения индексов в данном представлении, аналогично модели авторегрессии, чтобы синтезировать требуемый выходной сигнал.

Некоторые результаты Taming Transformer

Задачи, выполняемые Taming Transformers

• Завершение изображения
• Генерация глубины изображения
• Генерация метки в изображение
• Создание изображения позы для человека
• Сверхразрешение

Установка и зависимости

Клонируйте репозиторий через git и скачайте все необходимые модели и конфигурации.

! Git clone https: // github.com / CompVis / укрощение-трансформеры
 % cd приручение-трансформеры
 ! mkdir -p журналы / 2020-11-09T13-31-51_sflckr / контрольные точки
 ! wget 'https://heibox.uni-heidelberg.de/d/73487ab6e5314cb5adba/files/?p=%2Fcheckpoints%2Flast.ckpt&dl=1' -O 'журналы / 2020-11-09T13-31-51_sflckr / checkpoints / last.ckpt '
 ! mkdir журналы / 2020-11-09T13-31-51_sflckr / configs
 ! wget 'https://heibox.uni-heidelberg.de/d/73487ab6e5314cb5adba/files/?p=%2Fconfigs%2F2020-11-09T13-31-51-project.yaml&dl=1' -O 'журналы / 2020- 11-09T13-31-51_sflckr / configs / 2020-11-09T13-31-51-project.ямль '

Установите все зависимости через pip.

% pip install omegaconf == 2.0.0 pytorch-lightning == 1.0.8
 import sys
 sys.path.append (".") 

Демо — приручение трансформаторов с помощью предварительно обученной модели

1. Загрузите модель и распечатайте конфигурации.

 от omegaconf import OmegaConf
 config_path = "журналы / 2020-11-09T13-31-51_sflckr / configs / 2020-11-09T13-31-51-project.yaml"
 config = OmegaConf.load (config_path)
 импортировать ямл
 печать (ямл.дамп (OmegaConf.to_container (config))) 

2. Инициализировать модель.

 из taming.models.cond_transformer import Net2NetTransformer
 model = Net2NetTransformer (** config.model.params) 

3. Загрузите контрольные точки.

 импортная горелка
 ckpt_path = "журналы / 2020-11-09T13-31-51_sflckr / checkpoints / last.ckpt"
 sd = torch.load (ckpt_path, map_location = "cpu") ["state_dict"]
 отсутствует, неожиданно = model.load_state_dict (sd, strict = False)
 model.cuda ().eval ()
 torch.set_grad_enabled (Ложь) 

4. Загрузите пример семантического изображения и преобразуйте его в тензор. Здесь мы берем в качестве примера создание ярлыка к изображению.

 из изображения импорта PIL
 импортировать numpy как np
 segmentation_path = "данные / sflckr_segmentations / norway / 25735082181_999927fe5a_b.png"
 segmentation = Image.open (segmentation_path)
 segmentation = np.array (сегментация)
 segmentation = np.eye (182) [сегментация]
 segmentation = torch.tensor (segmentation.transpose (2,0,1) [Нет]).в (dtype = torch.float32, device = model.device) 

5. Визуализируйте сегментацию.

 def show_segmentation (s):
 s = s.detach (). cpu (). numpy (). transpose (0,2,3,1) [0,:,:, None ,:]
 colorize = np.random.RandomState (1) .randn (1,1, s.shape [-1], 3)
 colorize = colorize / colorize.sum (ось = 2, keepdims = True)
 s = [адрес электронной почты защищен]
 s = s [..., 0 ,:]
 s = ((s + 1.0) * 127.5) .clip (0,255) .astype (np.uint8)
 s = Image.fromarray (s)
 дисплей (ы)
 show_segmentation (сегментация)
  

6. Кодируйте вышеуказанные тензоры изображений, чтобы получить кодовую книгу через VQGAN.

 c_code, c_indices = model.encode_to_c (сегментация)
 print ("c_code", c_code.shape, c_code.dtype)
 print ("c_indices", c_indices.shape, c_indices.dtype)
 assert c_code.shape [2] * c_code.shape [3] == c_indices.shape [1]
 segmentation_rec = model.cond_stage_model.decode (c_code)
 show_segmentation (torch.softmax (segmentation_rec, dim = 1)) 

7. Возьмите выход декодера, чтобы передать его в качестве входа для модели трансформатора.

 def show_image (s):
 s = s.detach ().cpu (). numpy (). transpose (0,2,3,1) [0]
 s = ((s + 1.0) * 127.5) .clip (0,255) .astype (np.uint8)
 s = Image.fromarray (s)
 дисплей (ы)
 codebook_size = config.model.params.first_stage_config.params.embed_dim
 z_indices_shape = c_indices.shape
 z_code_shape = c_code.shape
 z_indices = torch.randint (codebook_size, z_indices_shape, device = model.device)
 x_sample = model.decode_to_img (z_indices, z_code_shape)
 show_image (x_sample)
  

8. Последний шаг — обучить трансформатор для получения требуемой мощности.Фрагмент кода доступен здесь. Вы можете проверить на каждом шаге, как трансформатор обучается на выходе декодера, чтобы получить окончательное изображение. Размер окна для обучения — 16 X 16.

Важные ссылки

• Щелкните эту ссылку, чтобы запустить Streamlit на Colab.
• Предварительно обученные модели для генерации изображений, генерации глубины изображения, сверхвысокого разрешения и т. Д. Доступны здесь.
• Для обучения данных с нуля вы можете обратиться сюда.

Заключение

В этой статье мы сделали обзор приручения преобразования для синтеза изображений с высоким разрешением.Вместо использования пикселей модель обучается в кодовой книге из VQGAN, декодер которой затем передается в архитектуру преобразователя для генерации требуемых результатов. В этом посте обсуждались необходимость, архитектура модели, результаты и задачи предлагаемого метода. Он также состоит из основных руководств по использованию предварительно обученных моделей Taming Transformers. Окончательный результат показывает, что этот метод превзошел предыдущие современные методы, основанные на сверточных архитектурах.

Официальные ссылки доступны по адресу: