В этой таблице показано, как логарифмическая шкала может описывать очень большие и очень маленькие числа, представляющие отношения мощности, энергии или амплитуды с гораздо более короткими обозначениями.

Человеческие уши очень чувствительны. Слышно все: от шепота на расстоянии 10 метров до шума реактивных двигателей. Что касается мощности, звук хлопушки может быть в 10000000000000000 раз мощнее самого слабого звука, который может уловить обычное человеческое ухо (20 микропаскалей). Это очень большая разница! Поскольку диапазон интенсивности звука, который может уловить человеческое ухо, очень велик, для измерения интенсивности звука используется логарифмическая шкала. По шкале децибел самый слабый звук, также известный как порог слышимости, получает уровень 0 децибел.Звуку, который в 10 раз интенсивнее, присваивается уровень 20 децибел. Звуку, который в 100 раз интенсивнее, присваивается уровень 30 децибел. В приведенном ниже списке показаны некоторые распространенные звуки и их уровень в децибелах:

• Порог слышимости — 0 дБ
• Шепот на расстоянии 1 м — 20 дБ
• Тихий разговор на расстоянии 1 м — 50 дБ
• Мощный пылесос на расстоянии 1 м — 80 дБ
• Порог потери слуха при длительном воздействии — 85 дБ
• Портативный медиаплеер на максимальной громкости — 100 дБ
• Порог боли — 130 дБ
• Реактивный двигатель истребителя на расстоянии 30 м — 150 дБ
• Оглушение граната М84 на 1.Расстояние 5 м — 170 дБ

Музыка

Уровень звука одиночной скрипки на близком расстоянии от 82 до 92 дБ. Выступление Детского оркестра Лос-Анджелеса в Центральном парке, Нью-Йорк, 2013.

Согласно археологам, музыка присутствует в жизни человека уже 50 000 лет. Он встречается в каждой культуре, и ученые считают, что он настолько широко распространен, потому что позволяет группам людей объединяться. Эти связи образуются между матерями и младенцами во время пения матери, между людьми во время традиционных танцевальных и певческих мероприятий и во время современных концертов.Большинству людей нравятся узоры, поэтому музыка привлекает нас своей структурированностью и ритмичностью.

Шумовое загрязнение

Некоторые из шумов очень неприятны; это часто называют шумовым загрязнением. Этот термин относится к нежелательному шуму в окружающей среде. Это может быть вызвано множеством источников и часто приводит к дискомфорту, раздражению и ряду неприятных физиологических и психологических реакций, таких как бессонница, усталость, нерегулярное кровяное давление, нарушение слуха при сильном шумовом загрязнении и другие проблемы.

Источники

Шумовое загрязнение часто вызывается транспортом, в частности самолетами, поездами и автомобилями. В промышленной зоне техника также способствует загрязнению. Иногда жители около ветряных турбин жалуются на шум, который производят турбины. Строительство также может вызвать шумовое загрязнение. В некоторых странах многие семьи держат собак на открытом воздухе, часто из соображений безопасности. Когда эти собаки начинают лаять из-за проходящих мимо людей и животных или из-за лая других собак, они вносят свой вклад в шумовое загрязнение.Наконец, музыка из баров, ресторанов и отдельных домов может приводить к значительным громким шумам.

Турбина WindShare Ex Place в Торонто, Онтарио, вырабатывает примерно 1 миллион кВтч в год чистой ветровой энергии

Ветровые турбины

Некоторые организации по наблюдению за ветроэнергетикой сообщают, что низкочастотный шум, производимый ветровыми турбинами, вызывает нарушения сна, головные боли и т. Д. и другие симптомы, которые достаточно неудобны, чтобы вынудить некоторых людей покинуть свои дома, расположенные рядом с ветряными турбинами.Энтузиасты ветроэнергетики заявляют, что проблема заключается в восприятии людьми того, как загрязнение влияет на них, а не в реальных негативных последствиях, которые звуковое загрязнение оказывает на людей. В настоящее время недостаточно надежных продольных исследований, поэтому сложно оценить проблемы со звуковым загрязнением, создаваемым турбинами. Важно продолжить исследования в этой области, чтобы гарантировать, что энергия ветра используется таким образом, чтобы не причинять вреда людям, живущим поблизости.

Поезда

Скрипящие дисковые тормоза железнодорожных вагонов

Из-за шума, вызываемого поездами, проектировщики, строящие пути, а также производители запчастей постоянно работают над улучшением конструкции, чтобы минимизировать это загрязнение.Одним из основных источников шума является звук, вызываемый волнами, возникающими при катании колес по рельсу. Звук называется шумом качения. Эта проблема изучается с помощью моделирования рельсового пути и колеса. Заставив колесо и рельс вибрировать меньше и с меньшей интенсивностью, можно уменьшить шум. Одним из решений является усовершенствование конструкции тормозов, и в последние годы были внесены значительные улучшения в снижение шума за счет использования новых конструкций некоторых частей тормозного механизма.

Шумозащитный барьер между железнодорожными путями и жилым районом

Способ строительства путей также может повлиять на этот шум. Некоторые из решений по ограничению шумового загрязнения включают строительство барьеров вокруг путей, подобных тем, которые используются вокруг автомагистралей.

Некоторое неизбежное шумовое загрязнение возникает из-за систем предупреждения, которые используют машинисты поездов. Например, железнодорожные переезды и поезда оснащены звуковыми сигналами и другими системами звукового оповещения, чтобы пешеходы и водители знали о приближении поезда.Это необходимо для обеспечения достаточной осведомленности, даже если видимость ограничена или пешеходы имеют слабое зрение.

Учебно-тренировочный самолет Fouga Magister, летящий в жилом районе в Торонто, Онтарио, Канада

Самолеты

Самолетный шум вызван в основном работой реактивных и турбовинтовых двигателей. Это проблема для пассажиров и экипажа внутри самолета, а также для людей, живущих рядом с аэропортами. Шум в салоне, когда самолет находится в воздухе, составляет около 80 децибел.Для решения этой проблемы некоторые пассажиры носят наушники с активным шумоподавлением, описанные ниже.

Даже в жилых районах многие страны не регулируют минимальную высоту полета самолета или максимальную продолжительность времени, в течение которого он может находиться над заданным районом. Как правило, воздушное пространство, открытое для полетов самолетов, может использоваться круглосуточно. Для решения проблемы шумового загрязнения, создаваемого самолетами, правительства часто выпускают список рекомендаций по снижению шумового загрязнения для компаний и организаций в авиационной отрасли.

Движение в Нью-Йорке

Автомобили

Автомобили долгое время были источником шумового загрязнения, особенно в городских районах. На более высоких скоростях колеса, катящиеся по дороге, производят наибольший шум. Когда водители используют зимние шины летом или ездят на вездеходах по шоссе, они усиливают шумовое загрязнение, потому что зимние и внедорожные шины имеют повышенное трение, поэтому они лучше сцепляются с дорогой даже в ледяной или ледяной дороге. внедорожные условия. Повышенное трение способствует шуму.

Когда автомобили движутся медленно, двигатель является большим источником шума. Чтобы свести к минимуму шумовое загрязнение, производители работают над созданием более тихих автомобилей. В то же время автомобили имеют звукоизоляцию, и разрабатываются новые методы активного шумоподавления для уменьшения шума внутри автомобиля. Это может быть достигнуто путем создания волны в противофазе для звуковой волны, вызывающей шум. Активный шумоподавитель, более подробно описанный ниже, также используется в других системах, например, в шумоподавлении для наушников.

Высокоэффективный стеклянный шумозащитный барьер на шоссе в Нагое, Япония

На автомагистралях и крупных дорогах часто есть защитные стены, которые удерживают звук в пределах области. Некоторые из этих стен работают настолько хорошо, что автомобили едва слышны для обычного человека, который слушает по другую сторону стены. Однако это зависит от конструкции стены. Некоторые звуковые барьеры хороши только для блокировки звука на уровне земли и не защищают людей, живущих в многоэтажках.

Электромобили намного тише бензиновых благодаря своей конструкции.Это долгожданное улучшение в борьбе с шумовым загрязнением, но слишком тихие электромобили не предупреждают пешеходов о приближении автомобиля; поэтому некоторый шум создается искусственно для обеспечения безопасности дорожного движения.

Строительство на стоянке на вокзале Clarkson GO в Миссиссаге, Онтарио, Канада

Строительство и техническое обслуживание

Строительные и ремонтные работы, включая инженерные работы на железнодорожных путях и дорогах, способствуют некоторому шумовому загрязнению.Некоторым предприятиям приходится выполнять эту работу в нерабочее время, когда строящиеся системы инфраструктуры не так широко используются населением. Большая часть этого шума неизбежна, и ее трудно регулировать. Во многих странах для начала строительства требуется разрешение и, возможно, придется соблюдать такие правила, как отказ от работы в ночное время или во время праздников.

Бытовой и прочий шум

Хотя регулировать уровень домашнего шума с помощью законодательства сложно, внешняя шумовая деятельность часто ограничивается подзаконными актами.Например, в некоторых районах запрещены все или некоторые виды фейерверков за пределами специальных национальных праздников. Максимальный предел уровня звука можно также установить для фейерверков. Многие государственные органы, контролирующие шумовое загрязнение, предоставляют жителям рекомендации по снижению уровня шума. Предложения включают в себя уведомление соседей о предстоящих событиях, связанных с шумом, выполнение действий, вызывающих шум в часы бодрствования большинства людей, обучение собак, чтобы они не шутили, и размещение приборов, генерирующих шум, подальше от стен, которые могут передавать звук в помещение. соседи.В некоторых странах можно вызвать полицию, если шум от деятельности соседей слишком беспокоит.

Некоторые здания, особенно квартиры, обладают плохой звукоизоляцией, поэтому важно тщательно проверить пространство перед тем, как сдавать или покупать его. Вот некоторые из вещей, которые вы можете сделать:

Шумный район в Нью-Йорке

Если, несмотря на ваши тщательные проверки, вы обнаружите, когда вы въезжаете, проблема с шумом существует, вы можете уменьшить количество шума, проникающего в вашу квартиру, выполните следующие действия:

Некоторые управляющие недвижимостью, которые сдают квартиры в аренду, требуют, чтобы жильцы покрывали полы ковровым покрытием, поэтому можно попросить администрацию здания выяснить, действительно ли пол у соседей наверху покрыт ковром.

Законодательство

Некоторые страны пытаются регулировать шумовое загрязнение с помощью законодательства; они часто имеют штрафы, связанные с определенным количеством шума. В таких случаях жители обычно могут подать жалобу на шум в соответствующий регулирующий орган в своем районе, и эта жалоба будет расследована. У некоторых домовладельцев также есть правила, запрещающие жителям в определенное время шуметь, например играть на музыкальных инструментах.

Рестораны и другие заведения могут подавать заявки на получение лицензии, в которой указывается, сколько шума разрешено и когда.Им может быть разрешено работать только в определенных районах города, а также от них может потребоваться звукоизоляция своих помещений. Зонирование или ограничение определенных видов деятельности определенной зоной в городе во время городского планирования также является способом ограничения шумового загрязнения. Например, промышленная зона с заводами часто располагается вдали от жилых домов, больниц и учебных заведений.

Шумомер

Измерение уровней звука

Уровни звука часто измеряются, чтобы убедиться, что уровни подходят для данной цели, например, чтобы микрофоны были достаточно громкими для события.Уровни также измеряются, чтобы гарантировать, что шум в окружающей среде безопасен для людей, которые должны работать в этой среде.

Измерители уровня звука

Если уровень звука превышает 85 дБ в течение длительного периода времени, слух может быть нарушен. Однако порог боли для большинства людей начинается от 115 дБ и может достигать 140 дБ. Люди не воспринимают слишком громкий звук как опасный, поэтому важно измерять звук в условиях, когда люди могут слышать потенциально громкие звуки для продолжительное время.Часто в этом случае используются шумомеры. Большинство из них портативны и доступны для широкой публики.

Персональный дозиметр шума

Дозиметры шума

Дозиметры используются, когда необходимо измерить общую степень воздействия громких звуков. Это может быть полезно для людей, которые работают в шумной среде и которым нужно знать, нужно ли им носить защитное снаряжение. Дозиметры полезны, если уровень шума колеблется в течение дня. Обычно их носят рабочие, но не все принимают их использование в промышленности.Некоторые проблемы с их использованием включают легкость вмешательства в устройство, потенциальное вмешательство в работу и опасность, что кабель дозиметра застрянет в оборудовании. В качестве альтернативы можно использовать шумомеры для измерения в разных местах и ​​в разное время дня, чтобы создать звуковую карту. Эта карта позволяет оценить суточный уровень шума для данного рабочего в зависимости от его или ее местонахождения. Новые дозиметры предназначены для устранения этих проблем, поскольку они маленькие и ненавязчивые, без дисплея, чтобы не допустить фальсификации данных.

Снижение уровня шума

Это имеет первостепенное значение для снижения воздействия шума на фабрики, авиаперевозки и других сред с высоким уровнем шума, чтобы предотвратить потерю слуха. Шум может нарушить концентрацию рабочих или сделать невозможным слышать предупреждения и сигналы тревоги, что приведет к несчастным случаям. Шум также способствует комфорту людей. Если измеритель уровня звука недоступен, рекомендуется использовать защиту, когда нельзя услышать без крика.

Шум можно контролировать, блокируя его и подавляя входящий шум сгенерированным исходящим шумом.Первый является пассивным, а второй — активным шумоподавлением. В зависимости от ситуации выбирается любой из этих методов, но иногда их можно комбинировать. Также можно комбинировать несколько различных типов пассивной защиты от шума. Например, наземный экипаж в аэропортах может носить как беруши, так и наушники.

В некоторых местах, например, на заводах, также используются звуковые экраны. Они сделаны из абсорбирующего материала и не позволяют звуку отражаться от поверхностей и усиливаться.

Пассивное шумоподавление

В пассивном шумоподавлении используются материалы, поглощающие шум. Большинство приведенных выше советов по снижению шума в квартирах работают по этому принципу. В наушниках такими материалами являются поролон и губка.

Наушники с шумоподавлением

Активное шумоподавление

Этот тип шумоподавления помогает снизить внешний шум примерно до 20 дБ. Принцип активного шумоподавления заключается в подавлении всей или части входящей звуковой волны звуковой волной той же амплитуды, которая находится в противофазе с входящей волной.Эта излучаемая волна создается наушниками.

Работник аэропорта в шумоподавляющих наушниках. Международный аэропорт Торонто Пирсон YYZ, Канада.

Эту идею можно проиллюстрировать, представив качели. Когда один человек толкает движущиеся качели сзади, а затем подходит другой человек и начинает толкать его вперед с одинаковой амплитудой, и в то же время их толчки будут идти в противофазе, и движение качелей будет отменено. , так что он остановится.

Оборудование шумоподавления должно предсказывать, каким будет входящий звук, на основе звука, преобладающего в окружающей среде, поэтому это хорошо работает с монотонным звуком.Если шум постоянно меняется, то эти наушники менее эффективны или вообще не работают. Входящий звук улавливается микрофоном, встроенным в наушники. Технологии активного шумоподавления также используются в средствах защиты слуха для наземного персонала аэропорта.

Техническое обслуживание защитного снаряжения

Чрезвычайно важно регулярно проверять средства индивидуальной защиты, такие как наушники, поскольку износ пены и трещины в пластике могут приводить к возникновению нежелательного звука. Хотя компании, ответственные за рабочих, имеют кодексы и правила обслуживания защитного оборудования, ошибки все же случаются, поэтому в конечном итоге ответственность за личную безопасность ложится на самого работника.

Список литературы

Эту статью написала Екатерина Юрий

Статьи «Конвертер единиц измерения» отредактировал и проиллюстрировал Анатолий Золотков

У вас возникли трудности с переводом единиц измерения на другой язык? Помощь доступна! Задайте свой вопрос в TCTerms , и вы получите ответ от опытных технических переводчиков в считанные минуты.

О децибелах (дБ) | GPII DeveloperSpace

дБ или децибел — это логарифмическая единица измерения отношения между двумя числами.

Когда мы говорим о мощности, 3 дБ представляет собой отношение два к одному или удвоение мощности.

• Таким образом, усиление в 10 дБ будет представлять отношение мощности десять к одному, то есть 10 дБ будут в 10 раз больше мощности
• Прирост мощности на 40 дБ будет в 10 000 раз больше мощности.

Когда говорят о напряжении, 6 дБ представляет собой отношение два к одному или удвоение напряжения.

• 20 дБ будет представлять собой отношение десяти к одному для напряжения, поэтому 20 дБ будут в 10 раз больше напряжения.
• Прирост напряжения 40 дБ будет в 100 раз больше напряжения.

Термин «SPL» означает уровень звукового давления. Меры SPL принимаются в отношении минимального порога слышимости человека. Разница в уровне звукового давления в 20 дБ представляет собой отношение звукового давления десять к одному.

• Таким образом, 40 дБ SPL будет уровнем звукового давления, который в 100 раз превышает уровень звукового давления самого тихого звука, который может уловить нормальный человеческий слух.

Интересно, что наше восприятие громкости отличается от уровня звукового давления. Хотя актуальные формулы

несколько сложен, как показывает пример, увеличение уровня звукового давления на 10 дБ воспринимается примерно вдвое громче.

• Таким образом, усиление в 20 дБ будет примерно в 4 раза громче.
• А усиление 40 дБ кажется примерно в 16 раз громче.

Чтобы дать вам представление о том, как измерения уровня звукового давления в дБ связаны с повседневной жизнью, ниже приведен список приблизительных уровней звукового давления для различных звуков. (Из http://www.state.me.us/spo/landuse/docs/NoiseTABulletin.pdf — с добавленным столбцом «Приблизительная громкость») (см. Также обсуждение дБ SPL и дБ (A) SPL на следующая страница)

Хороший ресурс по этой теме (ссылка на сайт Акустического общества Америки http://asa.aip.org/)

В чем разница между дБ SPL и дБ (A) SPL?

Следующее из FAQ по Campanella Acoustics

Шумомер, который измеряет уровень звукового давления с «плоской» характеристикой, будет указывать силу низкочастотного звука с таким же акцентом, как и более высокочастотные звуки. Тем не менее, наше ухо воспринимает низкочастотный звук меньшей громкости, чем более высокочастотный.Система барабанной перепонки, стремени и круглого окна ведет себя как механический трансформатор с конечной полосой пропускания. Выражаясь языком EE, частота переключения «3 дБ» составляет примерно 500 Гц на нижнем конце и 8 кГц на верхнем. Используя электронный фильтр затухания, равный тому, который, по-видимому, предлагается человеческим ухом для звука каждой частоты (кривая отклика с 40 сигналами), измеритель уровня звука теперь будет сообщать числовое значение, пропорциональное человеческому восприятию силы этого звука. не зависит от частоты.В разделе 8.2 приведена таблица этих весов.

К сожалению, человеческое восприятие громкости по отношению к частоте меняется с громкостью. Когда звук очень громкий — 100 дБ или более, восприятие громкости более стабильно во всем слышимом диапазоне частот. Веса «B» и «C» отражают эту тенденцию. Взвешивание «B» сейчас мало используется, но «Взвешивание» стало популярным в оценке раздражающих шумов сообщества, таких как низкочастотный звук, издаваемый артиллерийским огнем и рок-концертами на открытом воздухе.C-взвешивание также приведено в таблице в 8.2.

Первый электрический шумомер был описан Джорджем Пирсом в Proceedings of the American Academy of Arts and Sciences, v 43 (1907-8). Пару десятилетий спустя переход с конных повозок на автомобили в городах привел к большим изменениям. в фоновом шумном климате. Появление «звуковых фильмов» — кинозвука — было большим стимулом для патентования шумомеров того времени, но стандартного метода измерения звука все еще не существовало. «Шум» (нежелательный звук) стал общественным вопросом.

Первый предварительный стандарт для шумомеров (Z24.3) был опубликован Американской ассоциацией стандартов в 1936 году при финансовой поддержке Американского акустического общества. Предварительный стандарт показывает две кривые частотного взвешивания «А» и «В», которые были смоделированы на основе реакции человеческого уха на низкий и высокий уровни звука соответственно.

С приходом в 1969 г. закона Уолша-Хили, A-Weighting звука фактически считался «подходящим» взвешиванием для представления уровня звука в виде единственного числа (а не в виде спектра).С появлением в 70-х годах интересов Федерального управления гражданской авиации США и Агентства по охране окружающей среды США метрика дБА также была адаптирована ими. (Наряду с метрикой дБА возникла связанная с этим нехватка точности в точном представлении способности данного звука вызывать потерю слуха и способности вызывать раздражение.)

[Примечание редактора: единый числовой показатель, такой как dBA, более понятен юридическим и административным должностным лицам, так что обнародование, правоприменение и административные критерии и действия понятны большему количеству сторон, часто за счет более точного понимания и инженерных действий возможности.Например, контроль может осуществляться на основе дБА, но для управления шумом требуется метрика спектральных данных октавной полосы или даже третьей октавной полосы.]

Наиболее часто упоминаемым взвешиванием является «A-взвешивание» дБ (A), которое аналогично тому, которое первоначально было определено как кривая «A» в стандарте 1936 года. «C-Weighting» дБ (C), который используется время от времени, имеет относительно ровный отклик. «U-Weighting» — это недавнее взвешивание, которое используется для измерения слышимого звука в присутствии ультразвука и может быть объединено с A-Weighting для получения AU-Weighting.Формула A-взвешивания приведена в разделе 8 этого файла часто задаваемых вопросов.

В дополнение к частотному взвешиванию, измерение уровня звукового давления может быть взвешено по времени как «Быстрая», «Медленная» или «Импульсная» характеристика. Измерения уровня звукового давления с помощью A-Weighting и быстрой реакции также известны как «уровень звука».

Многие современные шумомеры могут измерять среднюю звуковую энергию за определенный период времени. эта метрика называется «эквивалентным непрерывным уровнем звука» (L sub eq). В последнее время в некоторых кругах стало принято предполагать, что это измерение звука было A-взвешенным, если не указан дескриптор веса.

Эта краткая таблица была подготовлена ​​Греггом Вандерхайденом из Центра исследований и разработок Trace Университета Висконсин-Мэдисон.

Оптимизация стоимости ваших запросов в Azure Cosmos DB

• 26.08.2021
• 7 минут на чтение

Оцените свой опыт

да Нет

Любой дополнительный отзыв?

Отзыв будет отправлен в Microsoft: при нажатии кнопки отправки ваш отзыв будет использован для улучшения продуктов и услуг Microsoft.Политика конфиденциальности.

Представлять на рассмотрение

Спасибо.

В этой статье

ПРИМЕНЯЕТСЯ К: SQL API Cassandra API Gremlin API Таблица API API Azure Cosmos DB для MongoDB

В этой статье описывается, как запросы на чтение и запись преобразуются в единицы запроса и как оптимизировать стоимость этих запросов. Операции чтения включают точечное чтение и запросы.Операции записи включают вставку, замену, удаление и вставку элементов.

Azure Cosmos DB предлагает богатый набор операций с базой данных, которые работают с элементами в контейнере. Стоимость, связанная с каждой из этих операций, зависит от ЦП, ввода-вывода и памяти, необходимых для выполнения операции. Вместо того, чтобы думать об аппаратных ресурсах и управлять ими, вы можете рассматривать единицу запроса (RU) как единую меру ресурсов, необходимых для выполнения различных операций с базой данных для обслуживания запроса.

Измерение стоимости RU запроса

Важно измерить стоимость RU ваших запросов, чтобы понять их фактическую стоимость, а также оценить эффективность ваших оптимизаций. Вы можете получить эту стоимость, используя портал Azure или просмотрев ответ, отправленный обратно из Azure Cosmos DB с помощью одного из пакетов SDK. Подробные инструкции о том, как этого добиться, см. В статье Как найти плату за единицу запроса в Azure Cosmos DB.

Чтение данных: чтение точек и запросы

Операции чтения в Azure Cosmos DB обычно упорядочиваются от самых быстрых / наиболее эффективных до более медленных / менее эффективных с точки зрения потребления RU следующим образом:

• Считывание точек (поиск ключа / значения для одного идентификатора элемента и ключа раздела).
• Запрос с предложением фильтра в одном ключе раздела.
• Запрос без условия равенства или фильтра диапазона для любого свойства.
• Запрос без фильтров.

Роль уровня согласованности

При использовании уровней согласованности strong или с ограниченным устареванием стоимость RU любой операции чтения (точечное чтение или запрос) удваивается.

Точка означает

Единственный фактор, влияющий на плату RU при чтении точки (помимо используемого уровня согласованности), — это размер извлеченного элемента.В следующей таблице показана стоимость единицы чтения точек для элементов размером 1 КБ и 100 КБ.

Поскольку точечное чтение (поиск ключей / значений по идентификатору элемента) является наиболее эффективным видом чтения, вы должны убедиться, что ваш идентификатор элемента имеет значимое значение, чтобы вы могли извлекать свои элементы с помощью точечного чтения (вместо запрос), когда это возможно.

Запросы

Единицы запроса для запросов зависят от ряда факторов. Например, количество загруженных / возвращенных элементов Azure Cosmos, количество поисков по индексу, время компиляции запроса и т. Д. Детали. Azure Cosmos DB гарантирует, что один и тот же запрос при выполнении для одних и тех же данных всегда будет потреблять одинаковое количество единиц запроса даже при повторных выполнениях. Профиль запроса, использующий метрики выполнения запроса, дает вам хорошее представление о том, как расходуются единицы запроса.

В некоторых случаях вы можете увидеть последовательность из 200 и 429 ответов, а также переменные единицы запроса при постраничном выполнении запросов, потому что запросы будут выполняться с максимально возможной скоростью в зависимости от доступных RU. Вы можете увидеть, что выполнение запроса прерывается на несколько страниц / циклов между сервером и клиентом. Например, 10 000 элементов могут быть возвращены как несколько страниц, каждая из которых оплачивается на основе вычислений, выполненных для этой страницы. Когда вы суммируете эти страницы, вы должны получить то же количество RU, что и для всего запроса.

Метрики для запросов на устранение неполадок

Производительность и пропускная способность, потребляемые запросами (включая определяемые пользователем функции), в основном зависят от тела функции. Самый простой способ узнать, сколько времени выполняется запрос в UDF и сколько потребляемых RU, — это включить метрики запроса. Если вы используете .NET SDK, вот примеры метрик запроса, возвращаемые SDK:

  Количество извлеченных документов: 1
Размер полученного документа: 9 963 байта.
Количество выходных документов: 1
Размер выходного документа: 10012 байт.
Использование индекса: 100.00%
Общее время выполнения запроса: 0,48 миллисекунды
Время подготовки запроса
Время компиляции запроса: 0,07 миллисекунды.
Время построения логического плана: 0,03 миллисекунды
Время создания физического плана: 0,05 миллисекунды
Время оптимизации запроса: 0,00 миллисекунды
Время поиска индекса: 0,06 миллисекунды
Время загрузки документа: 0.03 миллисекунды
Время выполнения во время выполнения
Время выполнения механизма запросов: 0,03 миллисекунды
Время выполнения системной функции: 0,00 миллисекунды
Время выполнения пользовательской функции: 0,00 миллисекунды
Время записи документа: 0,00 миллисекунды
Метрики на стороне клиента
Количество повторов: 1
Стоимость запроса: 3,19 RU
  

Рекомендации по оптимизации затрат на запросы

При оптимизации запросов по стоимости учитывайте следующие передовые практики:

• Разместите несколько типов объектов

  Попробуйте разместить несколько типов объектов в одном или меньшем количестве контейнеров.Этот метод дает преимущества не только с точки зрения ценообразования, но также с точки зрения выполнения запросов и транзакций. Запросы ограничены одним контейнером; а атомарные транзакции по нескольким записям через хранимые процедуры / триггеры ограничены ключом раздела в одном контейнере. Размещение сущностей в одном контейнере может уменьшить количество сетевых циклов для разрешения взаимосвязей между записями. Таким образом, увеличивается сквозная производительность, возможны атомарные транзакции по нескольким записям для большего набора данных и, как следствие, снижаются затраты.Если размещение нескольких типов сущностей в одном или меньшем количестве контейнеров затруднительно для вашего сценария, обычно из-за того, что вы переносите существующее приложение и не хотите вносить какие-либо изменения в код, тогда вам следует подумать о предоставлении пропускной способности на уровне базы данных.

• Измерение и настройка при использовании более низких единиц запроса в секунду

  Сложность запроса влияет на количество единиц запроса (RU), потребляемых для операции. Количество предикатов, характер предикатов, количество пользовательских функций и размер исходного набора данных.Все эти факторы влияют на стоимость операций запроса.

Azure Cosmos DB обеспечивает предсказуемую производительность с точки зрения пропускной способности и задержки за счет использования подготовленной модели пропускной способности. Предоставленная пропускная способность выражается в единицах запросов в секунду или RU / s. Блок запроса (RU) — это логическая абстракция над вычислительными ресурсами, такими как ЦП, память, ввод-вывод и т. Д., Которые требуются для выполнения запроса. Предоставленная пропускная способность (RU) выделяется и выделяется для вашего контейнера или базы данных, чтобы обеспечить предсказуемую пропускную способность и задержку.Выделенная пропускная способность позволяет Azure Cosmos DB обеспечивать предсказуемую и стабильную производительность, гарантированно низкую задержку и высокую доступность в любом масштабе. Единицы запроса представляют собой нормализованную валюту, которая упрощает рассуждения о том, сколько ресурсов необходимо приложению.

Стоимость запроса, возвращенная в заголовке запроса, указывает стоимость данного запроса. Например, если запрос возвращает 1000 элементов размером 1 КБ, стоимость операции составляет 1000. Таким образом, в течение одной секунды сервер выполняет только два таких запроса, прежде чем ограничить скорость последующих запросов.Дополнительные сведения см. В статье о единицах запроса и в калькуляторе единиц запроса.

Запись данных

Стоимость написания статьи в RU зависит от:

• Размер товара.
• Количество свойств, на которые распространяется политика индексирования и которые необходимо проиндексировать.

Вставка элемента размером 1 КБ без индексации стоит около 5,5 RU. Замена элемента стоит в два раза больше, чем требуется для вставки того же элемента.

Оптимизация записи

Лучший способ оптимизировать затраты RU на операции записи — это оптимизировать ваши элементы и количество индексируемых свойств.

• Хранение очень больших элементов в Azure Cosmos DB приводит к высоким расходам RU и может рассматриваться как анти-шаблон. В частности, не храните двоичный контент или большие фрагменты текста, которые вам не нужно запрашивать. Лучше всего поместить такие данные в хранилище BLOB-объектов Azure и сохранить ссылку (или ссылку) на большой двоичный объект в элементе, который вы записываете в Azure Cosmos DB.
• Оптимизация вашей политики индексирования для индексации только тех свойств, по которым фильтруются ваши запросы, может существенно повлиять на количество RU, потребляемых вашими операциями записи.При создании нового контейнера политика индексации по умолчанию индексирует каждое свойство, обнаруженное в ваших элементах. Хотя это хороший вариант по умолчанию для разработки, настоятельно рекомендуется переоценить и настроить политику индексирования при переходе к производственной среде или когда ваша рабочая нагрузка начинает получать значительный трафик.

При выполнении массового приема данных также рекомендуется использовать библиотеку массового исполнителя Azure Cosmos DB, так как она предназначена для оптимизации потребления RU такими операциями.При желании вы также можете использовать фабрику данных Azure, основанную на той же библиотеке.

Следующие шаги

Далее вы можете перейти к дополнительным сведениям об оптимизации затрат в Azure Cosmos DB в следующих статьях:

Перенос базы данных Access на SQL Server

У всех нас есть ограничения, и база данных Access не исключение. Например, база данных Access имеет ограничение на размер 2 ГБ и не может поддерживать более 255 одновременных пользователей. Поэтому, когда вашей базе данных Access пора перейти на следующий уровень, вы можете перейти на SQL Server.SQL Server (локально или в облаке Azure) поддерживает большие объемы данных, большее количество одновременных пользователей и имеет большую емкость, чем ядро ​​базы данных JET / ACE. Это руководство поможет вам легко начать путь к SQL Server, поможет сохранить созданные вами интерфейсные решения Access и, надеюсь, побудит вас использовать Access для будущих решений для баз данных. Мастер изменения размера был удален из Access в Access 2013, поэтому теперь вы можете использовать помощник по миграции Microsoft SQL Server (SSMA). Чтобы успешно выполнить миграцию, выполните следующие действия.

Прежде чем начать

В следующих разделах представлены общие сведения и другая информация, которая поможет вам начать работу.

О разделенных базах данных

Все объекты базы данных Access могут находиться в одном файле базы данных или в двух файлах базы данных: во внешней базе данных и во внутренней базе данных. Это называется разделением базы данных и призвано облегчить совместное использование в сетевой среде.Файл серверной базы данных должен содержать только таблицы и отношения. Внешний файл должен содержать только все остальные объекты, включая формы, отчеты, запросы, макросы, модули VBA и связанные таблицы с внутренней базой данных. Когда вы переносите базу данных Access, она похожа на разделенную базу данных, поскольку SQL Server действует как новый сервер для данных, которые теперь находятся на сервере.

В результате вы по-прежнему можете поддерживать внешнюю базу данных Access со связанными таблицами с таблицами SQL Server.Фактически, вы можете получить преимущества быстрой разработки приложений, которые предоставляет база данных Access, наряду с масштабируемостью SQL Server.

Преимущества SQL Server

По-прежнему нужны убедительные доказательства для перехода на SQL Server? Вот некоторые дополнительные преимущества, о которых стоит подумать:

• Больше одновременных пользователей SQL Server может обрабатывать намного больше одновременных пользователей, чем Access, и минимизирует требования к памяти при добавлении большего количества пользователей.

• Повышенная доступность С помощью SQL Server вы можете динамически создавать резервные копии, инкрементные или полные, базы данных во время ее использования. Следовательно, вам не нужно заставлять пользователей выходить из базы данных для резервного копирования данных.

• Высокая производительность и масштабируемость База данных SQL Server обычно работает лучше, чем база данных Access, особенно с большой базой данных размером в терабайт.Кроме того, SQL Server обрабатывает запросы намного быстрее и эффективнее, обрабатывая запросы параллельно, используя несколько собственных потоков в одном процессе для обработки пользовательских запросов.

• Повышенная безопасность Используя надежное соединение, SQL Server интегрируется с системой безопасности Windows для обеспечения единого интегрированного доступа к сети и базе данных, используя лучшее из обеих систем безопасности.Это значительно упрощает администрирование сложных схем безопасности. SQL Server — идеальное хранилище для конфиденциальной информации, такой как номера социального страхования, данные кредитных карт и конфиденциальные адреса.

• Немедленное восстановление В случае сбоя операционной системы или отключения питания SQL Server может автоматически восстановить базу данных до согласованного состояния за считанные минуты и без вмешательства администратора базы данных.

• Использование VPN Доступ и виртуальные частные сети (VPN) не ладят друг с другом. Но с SQL Server удаленные пользователи могут по-прежнему использовать внешнюю базу данных Access на рабочем столе и внутреннюю часть SQL Server, расположенную за брандмауэром VPN.

• Azure SQL Server В дополнение к преимуществам SQL Server предлагает динамическую масштабируемость без простоев, интеллектуальную оптимизацию, глобальную масштабируемость и доступность, устранение затрат на оборудование и сокращение объема администрирования.

Выберите лучший вариант Azure SQL Server

Если вы переходите на Azure SQL Server, вы можете выбрать один из трех вариантов, каждый из которых имеет свои преимущества:

• Единая база данных / эластичные пулы У этого параметра есть собственный набор ресурсов, управляемых через сервер базы данных SQL. Единая база данных похожа на автономную базу данных в SQL Server.Вы также можете добавить эластичный пул, который представляет собой набор баз данных с общим набором ресурсов, управляемый через сервер базы данных SQL. Наиболее часто используемые функции SQL Server доступны со встроенными функциями резервного копирования, исправления и восстановления. Но нет гарантированного точного времени обслуживания, и переход с SQL Server может быть затруднен.

• Управляемый экземпляр Этот параметр представляет собой набор системных и пользовательских баз данных с общим набором ресурсов.Управляемый экземпляр похож на экземпляр базы данных SQL Server, который хорошо совместим с локальным SQL Server. Управляемый экземпляр имеет встроенные средства резервного копирования, исправления, восстановления и легко переносится с SQL Server. Однако есть небольшое количество функций SQL Server, которые недоступны, и нет гарантированного точного времени обслуживания.

• Виртуальная машина Azure Этот параметр позволяет запускать SQL Server внутри виртуальной машины в облаке Azure.У вас есть полный контроль над ядром SQL Server и простой способ миграции. Но вам нужно управлять своими резервными копиями, исправлениями и восстановлением.

Дополнительные сведения см. В разделах Выбор пути миграции базы данных в Azure и Выбор правильного варианта SQL Server в Azure.

Первые шаги

Есть несколько проблем, которые вы можете решить заранее и которые помогут упростить процесс миграции, прежде чем запускать SSMA:

• Добавьте индексы таблиц и первичные ключи Убедитесь, что каждая таблица Access имеет индекс и первичный ключ.SQL Server требует, чтобы все таблицы имели хотя бы один индекс, а в связанной таблице должен быть первичный ключ, если таблица может быть обновлена.

• Проверить отношения первичного / внешнего ключей Убедитесь, что эти отношения основаны на полях с согласованными типами и размерами данных. SQL Server не поддерживает объединенные столбцы с разными типами данных и размерами в ограничениях внешнего ключа.

• Удалить столбец вложения SSMA не переносит таблицы, содержащие столбец вложения.

Перед запуском SSMA сделайте следующие первые шаги.

1. Закройте базу данных Access.

2. Убедитесь, что текущие пользователи, подключенные к базе данных, также закрывают базу данных.

3. Если база данных находится в формате файла .mdb, то снимите защиту на уровне пользователя.

4. Создайте резервную копию своей базы данных. Дополнительные сведения см. В разделе Защита данных с помощью процессов резервного копирования и восстановления.

Подсказка Подумайте об установке Microsoft SQL Server Express на рабочий стол, который поддерживает до 10 ГБ и является бесплатным и более простым способом выполнить и проверить миграцию. При подключении используйте LocalDB в качестве экземпляра базы данных.

Совет По возможности используйте автономную версию Access. Если вы можете использовать только Microsoft 365, используйте ядро ​​базы данных Access 2010 для переноса базы данных Access при использовании SSMA. Дополнительные сведения см. В разделе Распространяемый компонент ядра СУБД Microsoft Access 2010.

Запуск SSMA

Microsoft предоставляет помощник по миграции Microsoft SQL Server (SSMA), чтобы упростить миграцию.SSMA в основном переносит таблицы и выбирает запросы без параметров. Формы, отчеты, макросы и модули VBA не конвертируются. Обозреватель метаданных SQL Server отображает объекты базы данных Access и объекты SQL Server, позволяя просматривать текущее содержимое обеих баз данных. Эти два соединения сохраняются в вашем файле миграции, если вы решите перенести дополнительные объекты в будущем.

Примечание Процесс миграции может занять некоторое время в зависимости от размера объектов базы данных и объема данных, которые необходимо передать.

1. Чтобы перенести базу данных с помощью SSMA, сначала загрузите и установите программное обеспечение, дважды щелкнув загруженный файл MSI. Убедитесь, что вы установили соответствующую 32- или 64-разрядную версию для вашего компьютера.

2. После установки SSMA откройте его на рабочем столе, желательно с компьютера с файлом базы данных Access.

   Вы также можете открыть его на машине, имеющей доступ к базе данных Access из сети в общей папке.

3. Следуйте начальным инструкциям в SSMA, чтобы предоставить основную информацию, такую ​​как расположение SQL Server, база данных Access и объекты для переноса, сведения о подключении и необходимость создания связанных таблиц.

4. Если вы переходите на SQL Server 2016 или более поздней версии и хотите обновить связанную таблицу, добавьте столбец версии строки, выбрав Инструменты просмотра > Параметры проекта > Общие .

   Поле rowversion помогает избежать конфликтов записей. Access использует это поле версии строки в связанной таблице SQL Server, чтобы определить, когда запись была обновлена ​​в последний раз. Кроме того, если вы добавляете поле rowversion в запрос, Access использует его для повторного выбора строки после операции обновления. Это повышает эффективность, помогая избежать ошибок конфликта записи и сценариев удаления записей, которые могут произойти, когда Access обнаруживает результаты, отличные от исходной отправки, например, может произойти с типами данных с плавающей запятой и триггерами, которые изменяют столбцы.Однако избегайте использования поля rowversion в формах, отчетах или коде VBA. Для получения дополнительной информации см. Rowversion.

   Примечание Не путайте версию строки с отметками времени. Хотя ключевое слово timestamp является синонимом rowversion в SQL Server, вы не можете использовать rowversion как способ отметки времени для записи данных.

5. Чтобы установить точные типы данных, выберите Review Tools > Project Settings > Type Mapping .Например, если вы храните только английский текст, вы можете использовать тип данных varchar , а не nvarchar .

Конвертировать объекты

SSMA преобразует объекты Access в объекты SQL Server, но не копирует объекты сразу. SSMA предоставляет список следующих объектов для миграции, чтобы вы могли решить, хотите ли вы переместить их в базу данных SQL Server:

• Таблицы и столбцы

• Выберите запросы без параметров.

• Первичный и внешний ключи

• Индексы и значения по умолчанию

• Проверить ограничения (разрешить свойство столбца нулевой длины, правило проверки столбца, проверка таблицы)

Рекомендуется использовать отчет об оценке SSMA, в котором показаны результаты преобразования, включая ошибки, предупреждения, информационные сообщения, оценки времени выполнения миграции и отдельные шаги по исправлению ошибок, которые необходимо предпринять перед фактическим перемещением объектов.

Преобразование объектов базы данных берет определения объектов из метаданных Access, преобразует их в эквивалентный синтаксис Transact-SQL (T-SQL), а затем загружает эту информацию в проект. Затем вы можете просмотреть объекты SQL Server или SQL Azure и их свойства с помощью SQL Server или обозревателя метаданных SQL Azure.

Чтобы преобразовать, загрузить и перенести объекты в SQL Server, следуйте этому руководству.

Совет После успешного переноса базы данных Access сохраните файл проекта для дальнейшего использования, чтобы вы могли повторно перенести данные для тестирования или окончательной миграции.

Связанные таблицы

Рассмотрите возможность установки последней версии драйверов SQL Server OLE DB и ODBC вместо использования собственных драйверов SQL Server, поставляемых с Windows. Новые драйверы не только быстрее, но и поддерживают новые функции в SQL Azure, которых нет в предыдущих драйверах. Вы можете установить драйверы на каждый компьютер, на котором используется преобразованная база данных. Дополнительные сведения см. В разделах Драйвер Microsoft OLE DB 18 для SQL Server и Драйвер Microsoft ODBC 17 для SQL Server.

После миграции таблиц Access вы можете связать их с таблицами в SQL Server, на котором теперь размещаются ваши данные. Связывание напрямую из Access также предоставляет более простой способ просмотра данных, чем использование более сложных инструментов управления SQL Server. Вы можете запрашивать и редактировать связанные данные в зависимости от разрешений, установленных администратором базы данных SQL Server.

Примечание Если вы создаете ODBC DSN при связывании с базой данных SQL Server во время процесса связывания, либо создайте один и тот же DSN на всех машинах, которые используют новое приложение, либо программно используйте строку подключения, хранящуюся в файле DSN.

Дополнительные сведения см. В разделах Связывание или импорт данных из базы данных SQL Server Azure и Импорт или связывание данных в базе данных SQL Server.

Подсказка Не забудьте использовать диспетчер связанных таблиц в Access для удобного обновления и повторного связывания таблиц. Для получения дополнительной информации см. Управление связанными таблицами.

Испытание и проверка

В следующих разделах описаны общие проблемы, с которыми можно столкнуться во время миграции, и способы их решения.

Запросы

Преобразовываются только запросы выбора; другие запросы — нет, в том числе Select Queries, которые принимают параметры. Некоторые запросы могут не полностью преобразоваться, и SSMA сообщает об ошибках запроса в процессе преобразования. Вы можете вручную редактировать объекты, которые не конвертируются, используя синтаксис T-SQL. Синтаксические ошибки также могут потребовать ручного преобразования функций и типов данных Access в функции SQL Server.Дополнительные сведения см. В разделе Сравнение Access SQL с SQL Server TSQL.

Типы данных

Access и SQL Server имеют похожие типы данных, но имейте в виду следующие потенциальные проблемы.

Large Number Тип данных Large Number хранит неденежное числовое значение и совместим с типом данных bigint SQL. Вы можете использовать этот тип данных для эффективного вычисления больших чисел, но для этого требуется использование Access 16 (16.0.7812 или более поздней версии) .accdb и работает лучше с 64-разрядной версией Access. Дополнительные сведения см. В разделах Использование типа данных «Большое число» и «Выбор между 64-разрядной или 32-разрядной версией Office».

Да / Нет По умолчанию столбец Доступ Да / Нет преобразуется в битовое поле SQL Server. Чтобы избежать блокировки записи, убедитесь, что в битовом поле запрещены значения NULL. В SSMA вы можете выбрать битовый столбец, чтобы установить для свойства Allow Nulls значение NO.В TSQL используйте операторы CREATE TABLE или ALTER TABLE.

Дата и время Есть несколько соображений относительно даты и времени:

• Если уровень совместимости базы данных составляет 130 (SQL Server 2016) или выше, а связанная таблица содержит один или несколько столбцов datetime или datetime2, таблица может возвращать сообщение #deleted в результатах. Дополнительные сведения см. В разделе Связанная таблица Access с базой данных SQL-Server возвращает #deleted.

• Используйте тип данных Access Date / Time для сопоставления с типом данных datetime. Используйте тип данных Access Date / Time Extended для сопоставления с типом данных datetime2, который имеет больший диапазон даты и времени. Дополнительные сведения см. В разделе Использование типа данных «Дата / время».

• При запросе дат в SQL Server учитывайте время, а также дату.Например:

Вложение Тип данных «Вложение» хранит файл в базе данных Access. В SQL Server можно рассмотреть несколько вариантов. Вы можете извлечь файлы из базы данных Access, а затем рассмотреть возможность сохранения ссылок на файлы в базе данных SQL Server. В качестве альтернативы вы можете использовать FILESTREAM, FileTables или удаленное хранилище больших двоичных объектов (RBS) для хранения вложений в базе данных SQL Server.

Гиперссылка Таблицы доступа содержат столбцы гиперссылок, которые SQL Server не поддерживает.По умолчанию эти столбцы будут преобразованы в столбцы nvarchar (max) в SQL Server, но вы можете настроить сопоставление, чтобы выбрать меньший тип данных. В решении Access вы по-прежнему можете использовать поведение гиперссылки в формах и отчетах, если для свойства Hyperlink для элемента управления установлено значение true.

Многозначное поле Многозначное поле Access преобразуется в SQL Server как текстовое поле, содержащее набор значений с разделителями.Поскольку SQL Server не поддерживает многозначный тип данных, моделирующий отношение «многие ко многим», может потребоваться дополнительная работа по проектированию и преобразованию.

Дополнительные сведения о сопоставлении типов данных Access и SQL Server см. В разделе Сравнение типов данных.

Примечание Многозначные поля не преобразуются и больше не поддерживаются в Access 2010.

Для получения дополнительной информации см. Типы даты и времени, Строковые и двоичные типы и Числовые типы.

Visual Basic

Хотя VBA не поддерживается SQL Server, обратите внимание на следующие возможные проблемы:

Функции VBA в запросах Запросы Access поддерживают функции VBA для данных в столбце запроса. Но запросы Access, использующие функции VBA, не могут выполняться на SQL Server, поэтому все запрошенные данные передаются в Microsoft Access для обработки. В большинстве случаев эти запросы следует преобразовывать в сквозные запросы.

Пользовательские функции в запросах Запросы Microsoft Access поддерживают использование функций, определенных в модулях VBA, для обработки передаваемых им данных. Запросы могут быть автономными запросами, операторами SQL в источниках записей формы / отчета, источниками данных полей со списком и списками в формах, отчетах и ​​полях таблиц, а также выражениями правил по умолчанию или правил проверки. SQL Server не может запускать эти определяемые пользователем функции. Возможно, вам придется вручную перепроектировать эти функции и преобразовать их в хранимые процедуры на SQL Server.

Оптимизация производительности

Безусловно, самый важный способ оптимизировать производительность вашего нового серверного SQL Server — это решить, когда использовать локальные или удаленные запросы. Когда вы переносите данные на SQL Server, вы также переходите с файлового сервера на модель вычислений с базой данных клиент-сервер. Следуйте этим общим рекомендациям:

• Выполняйте небольшие запросы только для чтения на клиенте для максимально быстрого доступа.

• Выполняйте длинные запросы чтения / записи на сервере, чтобы воспользоваться преимуществами большей вычислительной мощности.

• Минимизируйте сетевой трафик с помощью фильтров и агрегирования для передачи только необходимых данных.

Дополнительные сведения см. В разделе Создание сквозного запроса.

Ниже приведены дополнительные рекомендуемые правила.

Поместите логику на сервер Ваше приложение также может использовать представления, определяемые пользователем функции, хранимые процедуры, вычисляемые поля и триггеры для централизации и совместного использования логики приложения, бизнес-правил и политик, сложных запросов, проверки данных и кода ссылочной целостности на сервер, а не на клиенте. Спросите себя, может ли этот запрос или задача выполняться на сервере лучше и быстрее? Наконец, протестируйте каждый запрос, чтобы убедиться в оптимальной производительности.

Использование представлений в формах и отчетах В Access выполните следующие действия:

• Для форм используйте представление SQL для формы только для чтения и индексированное представление SQL для формы для чтения / записи в качестве источника записей.

• Для отчетов используйте представление SQL в качестве источника записей. Однако создайте отдельное представление для каждого отчета, чтобы вам было легче обновлять конкретный отчет, не влияя на другие отчеты.

Свернуть загрузку данных в форму или отчет Не отображать данные, пока пользователь не запросит их. Например, оставьте свойство источника записей пустым, пусть пользователи выбирают фильтр в вашей форме, а затем заполните свойство источника записей вашим фильтром. Или используйте предложение where в DoCmd.OpenForm и DoCmd.OpenReport для отображения точных записей, необходимых пользователю. Рассмотрите возможность отключения навигации по записям.

Будьте осторожны с гетерогенными запросами Избегайте выполнения запроса, который объединяет локальную таблицу Access и связанную таблицу SQL Server, иногда называемый гибридным запросом.Этот тип запроса по-прежнему требует, чтобы Access загрузил все данные SQL Server на локальный компьютер и затем запустил запрос, он не запускает запрос в SQL Server.

Когда использовать локальные таблицы Рассмотрите возможность использования локальных таблиц для данных, которые редко меняются, таких как список штатов или провинций в стране или регионе. Статические таблицы часто используются для фильтрации и могут лучше работать во внешнем интерфейсе Access.

Дополнительные сведения см. В разделах Помощник по настройке ядра СУБД, Использование анализатора производительности для оптимизации базы данных Access и Оптимизация приложений Microsoft Office Access, связанных с SQL Server.

См. Также

Руководство по миграции базы данных Azure

Блог Microsoft Data Migration

Microsoft Access для миграции, преобразования и увеличения объема SQL Server

Способы предоставления общего доступа к базе данных рабочего стола Access

Терминологическая база данных переводов и локализаций

Как поставщик технических и научных переводов и локализации в США, мы обслуживаем более 1500 глобальных корпораций на более чем 215 языках.Мы предлагаем полный набор языковых услуг, сертифицированных по стандартам ISO 17100: 2015 и ISO 9001: 2015, чтобы помочь вам обеспечить точную глобальную коммуникацию. База данных терминологии (иногда называемая

Терминологическая база данных — это больше, чем просто глоссарий

Наша терминологическая база данных — это больше, чем просто глоссарий, этот веб-инструмент для совместной работы объединяет предварительно утвержденные термины, изображения и справочные материалы, которыми наши специалисты по знаниям могут делиться в режиме реального времени, повышая согласованность и ускорение процесса перевода.

Если у вас много специализированного контента, база данных терминологии устраняет двусмысленность и служит руководством для экспертов по переводу и локализации в том, как управлять ключевой терминологией, что гарантирует единообразие и точность каждый раз, когда ключевой термин встречается во всех ваших переводах и локализации. проекты.

Как мы создаем и используем вашу терминологическую базу данных

Мы можем работать с вашим существующим глоссарием или можем создать индивидуальную терминологическую базу данных специально для вашей организации или проекта.

Для создания вашей терминологической базы данных мы просматриваем ваши документы и файлы и заранее определяем ключевую терминологию, которая может не иметь общепринятого конкретного перевода на другой язык и которая должна переводиться единообразно для всех документов и языков. Эти ключевые термины могут включать аббревиатуры, имена, заголовки или очень тематическую терминологию или информацию. После того, как список ключевых терминов сформирован, мы создаем соответствующие переводы для этих терминов.

Ваша терминологическая база данных используется специалистами по переводу и локализации в сочетании с их существующей средой перевода.Во время работы над проектом ключевые термины автоматически выделяются, чтобы уведомить переводчика о стандартизированном подходе к его переводу. Затем терминологическая база данных предлагает переводчику утвержденный перевод для этого элемента, что снижает затраты на проект, экономит время и оптимизирует качество и согласованность проекта.

Ваша терминологическая база данных тщательно проверена и проверена

Ваша терминологическая база данных не статична. Он регулярно пересматривается, чтобы поддерживать его в актуальном состоянии, и постоянно расширяется и изменяется по мере добавления и уточнения ключевых терминов.Группа проверки управляет терминологической базой данных, утверждая все переводы. Наш процесс позволяет вам активно просматривать, изменять и утверждать все термины и изображения, обеспечивая полный контроль над терминологической базой данных и своей терминологией во всех проектах и ​​на всех языках.

Хотя разработка терминологической базы данных требует времени, долгосрочная экономия того стоит. Предоставляя четко определенные переводы, база данных терминологии экономит время, снижает затраты, повышает качество и поддерживает согласованность во всех ваших проектах по переводу и локализации.

Чтобы узнать больше о том, как терминологическая база данных может оптимизировать ваш перевод и проект локализации

Последовательности CRISPR иногда переводятся ошибочно и могут загрязнять общедоступные базы данных ложными белками, содержащими разнесенные повторы | База данных

Аннотация

Эпоха геномики привела к созданию множества биологических последовательностей, которые обычно хранятся в общедоступных базах данных. Существует множество вычислительных инструментов, которые упрощают аннотацию этих последовательностей, но иногда они приводят к ошибкам, которые попадают в базы данных и могут распространяться, когда ошибочные данные используются для вторичного анализа, такого как прогнозирование генов или поиск гомологии.При разработке вычислительного средства поиска генов на основе последовательностей, кодирующих белок, мы обнаружили, что эталонная база данных белков UniProtKB загрязнена некоторыми ложными последовательностями, транслируемыми с ДНК, содержащими сгруппированные короткие палиндромные повторы с регулярными интервалами. Поэтому мы призываем разработчиков прокариотических вычислительных средств поиска генов и кураторов белковых баз данных учитывать этот источник ошибок.

Введение

Эпоха геномики позволила резко увеличить последовательность полных геномов (1).Эти биологические последовательности обрабатываются и анализируются с помощью различных вычислительных инструментов. После сборки генома предсказание генов — один из первых шагов. Эта процедура проста с вычислительной точки зрения у прокариот, так как их геномы приблизительно на 90% кодируют белки, а межгенные области относительно короткие (2–4). По этой причине компьютерные геноискатели предсказывают прокариотические гены, рассматривая открытые рамки считывания (ORF) с минимальной длиной между сигналами запуска и остановки различных рамок считывания.

Общедоступные базы данных хранят и совместно используют последовательности белков, предположительно кодируемых предсказанными генами, что позволяет проводить дальнейшие вторичные анализы и эксперименты. К сожалению, базы данных часто содержат как ошибочные последовательности, так и данные, связанные с неправильными функциональными аннотациями (5–7). Например, предсказанные протеомы, полученные из полных геномов, иногда включают загрязняющие последовательности, которые поступают из процесса секвенирования или из окружающей среды (8, 9).

UniProtKB является базой данных эталонных белков и поддерживает два разных раздела, касающихся надежности последовательностей (10).В разделе Swiss-Prot есть белковые последовательности, по которым кураторы баз данных связывают рассмотренную литературу и проводят специальный вычислительный анализ, а раздел TrEMBL содержит последовательности, автоматически аннотированные и не проверенные кураторами. Однако оба раздела склонны к включению ложных последовательностей. Известными источниками ошибочных белковых последовательностей в UniProtKB являются белковые последовательности, которые происходят из ложных открытых рамок считывания внутри генов рибосомной РНК (11), и белки, возникающие из-за ошибок сборки генома из-за тандемных повторов ДНК (12).Это проблема не только в этой базе данных белков, но и в других, таких как NCBI RefSeq, который является одним из источников информации для двух секций UniProtKB, с одинаковым загрязнением (13).

При исследовании использования баз данных белков для прогнозирования генов мы обнаружили, что сгруппированные с регулярными интервалами короткие палиндромные повторы (CRISPR) -Cas системы теперь являются еще одним источником ложных последовательностей белков в базах данных белков. Они составляют систему приобретенного иммунитета у прокариот, состоящую из ряда CRISPR-ассоциированных генов, кодирующих белок ( cas ), за которыми следуют кластеры коротких (длиной 20-60 п.н.) палиндромных повторов (CRISPR), которые фланкируют гетерогенные последовательности (спейсеры). ) одинаковой длины между каждой парой повторов (14).Последовательности из областей CRISPR не кодируют белки, но автоматические предсказания генов могут найти в них ложные рамки считывания. Некоторые специалисты по поиску генов предотвращают аннотацию новых генов, кодирующих белок, когда предсказания перекрываются с некодирующими последовательностями, включая локусы CRISPR (3). И определенные искатели CRISPR-Cas более чувствительны в обнаружении этих последовательностей, но они работают независимо от более исчерпывающих искателей генов (15, 16). Это приводит к тому, что ошибочно аннотированные белковые последовательности иногда попадают в общедоступные базы данных.

Эти ложные белковые последовательности могут в конечном итоге дать значительное сходство при поиске гомологии, что еще больше усугубит исходную проблему. Здесь мы сообщаем о важности этих неправильных аннотаций, чтобы побудить разработчиков как методов прогнозирования генов, так и баз данных белков учитывать этот источник ошибок.

Материалы и методы

Базы данных

записей Swiss-Prot и TrEMBL из UniProtKB версии 2019_12 (декабрь 2019 г.) для видов архей и бактерий (10).Онлайн-база данных геномов (GOLD) использовалась для получения количества секвенированных геномов по годам (1). База данных CRISPRCasdb использовалась для получения повторов CRISPR (17), обнаруженных CRISPRCasFinder с уровнем доказательности 4, который представляет собой наиболее надежные из них (15). Домены Pfam (18) и даты создания были извлечены из записей UniProt.

Реализация

Несколько скриптов, написанных на языке Perl, были разработаны и хранятся в репозитории GitHub (https: // github.com / UPOBioinfo / crispr_spurious /). Все выполнения выполнялись в кластере C3UPO HPC (Университет Пабло де Олавиде, Севилья, Испания) с использованием узла с 24 ядрами и в глобальном масштабе длились примерно неделю.

Обнаружение ложных белков с использованием уже аннотированных повторов

Чтобы найти последовательности белка UniProtKB, происходящие из ложно транслированных последовательностей CRISPR, мы транслировали повторы CRISPR из базы данных CRISPRCasdb (версия от июня 2019 г.) в шесть возможных рамок считывания (переводы со стоп-кодонами были отброшены).Затем последовательности белков с как минимум двумя совпадениями из 3 пептидов одной цепи, разделенных 7–20 аминокислотами (что эквивалентно расстоянию 21–60 п.н. в ДНК), рассматривались как потенциальные ложные белки (начальные кандидаты). И имя гена (locus_tag), и геномная последовательность с минимальной длиной 500 т.п.н. (номер доступа в GenBank) были извлечены из этих кандидатов, и был проведен поиск гена cas в области 10 т.п.н. как выше, так и ниже по течению. Для поиска с использованием RPS-BLAST из BLAST 2 использовали в общей сложности 134 позиционно-зависимых скоринг-матриц доменов Cas из базы данных консервативных доменов (19).2.31+ пакет (20). Порогом для рассмотрения Cas-позитивного белка было значение E, равное или ниже 1e-05, 25% идентичности и 70% охвата домена. Белок рассматривался как потенциальный ложный белок (предполагаемый ложный белок; PFP), когда либо был полный кластер из генов cas (все гена cas из одного из 33 подтипов, классифицированных в Makarova et al., 2020 (21)) или, по крайней мере, обнаружены оба гена cas1 и cas2 .

Обнаружение ложных белков в поисках пептидных повторов

Чтобы найти ложные белки UniProtKB, происходящие из неправильно аннотированных последовательностей CRISPR, мы провели поиск белков с идеальными пептидными повторами длиной 7–20 аминокислот, разделенных спейсерами в том же диапазоне длин.Попадания снова оценивались путем поиска гена cas вокруг соответствующего кандидата, как описано ранее.

Перекрестная проверка

Spurio использовался для анализа всех PFP с параметрами по умолчанию (22). Этот инструмент основан на tblastn-поиске, и мы сочли, что он неправильно предсказывает ложный белок, когда он не находит ни одного совпадения в этом начальном поиске сходства, или совпадение не имеет значимого e-значения, или результат конечного результата прогноз не превышает значения по умолчанию.

Результаты и обсуждение

UniProtKB представляет ложные белки, полученные из транслированных последовательностей CRISPR

Ранее мы разработали вычислительный инструмент, AnABlast, для поиска кодирующих белки последовательностей в полных геномах на основе сравнений с низким показателем, называемых протомотивами, между трансляцией запрашиваемой геномной последовательности и белков из базы данных UniProtKB (23). Накопление протомотивов происходит в регионах, где представлены гены, кодирующие белок, но при анализе бактериального генома мы обнаружили странное скопление протомотивов, которые оказались последовательностью CRISPR (рис. 1).

Рисунок 1. Профиль

AnABlast области генома, который содержит последовательность CRISPR (CP001172.2: 1 057 766–1 068 943). Профиль показывает скопления низкоуровневых выравниваний последовательностей между областью генома и последовательностями белков базы данных, взятыми в качестве кодирующих белок сигналов (называемых протомотивами). Зеленые пики соответствуют скоплениям в прямой цепи, а красные пики соответствуют скоплениям в обратной цепи. Синие аннотации представляют собой рамки считывания, а красные аннотации — это гены, кодирующие белок, предсказанные исследователем прокариотических генов.Пики выше порогового значения высоты, совпадающие с предсказанными ORF, обозначают известные гены, кодирующие белок, которые в данном случае являются генами, связанными с CRISPR ( cas ) (зеленые пики). Но странный профиль в конце, который представляет собой серию коротких пиков и открытых рамок считывания в двух цепях, включая предполагаемый ген в обратной цепи (ген 7), на самом деле представляет собой последовательность CRISPR, состоящую из повторов (пиков) и спейсеров ( долины).

Рисунок 1. Профиль

AnABlast геномной области, которая содержит последовательность CRISPR (CP001172.2: 1 057 766–1 068 943). Профиль показывает скопления низкоуровневых выравниваний последовательностей между областью генома и последовательностями белков базы данных, взятыми в качестве кодирующих белок сигналов (называемых протомотивами). Зеленые пики соответствуют скоплениям в прямой цепи, а красные пики соответствуют скоплениям в обратной цепи. Синие аннотации представляют собой рамки считывания, а красные аннотации — это гены, кодирующие белок, предсказанные исследователем прокариотических генов. Пики выше порогового значения высоты, совпадающие с предсказанными ORF, обозначают известные гены, кодирующие белок, которые в данном случае являются генами, связанными с CRISPR ( cas ) (зеленые пики).Но странный профиль в конце, который представляет собой серию коротких пиков и открытых рамок считывания в двух цепях, включая предполагаемый ген в обратной цепи (ген 7), на самом деле представляет собой последовательность CRISPR, состоящую из повторов (пиков) и спейсеров ( долины).

Локус CRISPR-Cas в геномах прокариот обычно включает кластер из генов cas , за которым следует ряд повторов последовательности длиной 20–60 п.н. со спейсерами аналогичной длины (рис. 2а). Когда несколько последовательностей CRISPR, содержащих промежуточные повторы, транслируются в аминокислотные последовательности и хранятся в общедоступных базах данных, наш генный искатель найдет выравнивания белков, в которых сходство последовательностей сосредоточено на повторах.

Рисунок 2.

Структура локуса CRISPR-Cas и его внешний вид при трансляции, а также протокол для обнаружения неверно аннотированных последовательностей CRISPR в белковых базах данных. (a) Локус CRISPR-Cas включает серию из генов, кодирующих белок cas , за которыми следуют короткие нуклеотидные повторы, окружающие гетерогенные последовательности аналогичной длины, называемые спейсерами. Когда последовательность CRISPR транслируется ошибочно, соответствующая аминокислотная последовательность может представлять повторы, разделенные однородными спейсерами, и этот белок будет демонстрировать 50% -ное сходство (с центром в области повтора) с другими ложными белками. (b) Поиск предполагаемых ложных последовательностей, происходящих из транслированного CRISPR, в четырех подмножествах базы данных белков UniProtKB. Первый подход (I) заключался в поиске переводов повторяющихся последовательностей из базы данных CRISPRCasdb, разделенных предполагаемыми спейсерами. Второй подход (II) заключался в поиске аминокислотных повторов, разделенных предполагаемыми спейсерами, непосредственно в белковых последовательностях. Наконец, исходные кандидаты из двух подходов были сопоставлены с их соответствующими геномными последовательностями, и гены cas были найдены в пределах 10 т.п.н. вокруг кандидата (подробности см. В разделе «Методы»).Предполагается, что белки с двумя соседними генами, повторами и cas , происходят в результате трансляции ложных ORF из последовательностей CRISPR, так называемых предполагаемых ложных белков (PFP). Обратите внимание, что первый подход может учитывать три различные пептидные последовательности (взятые из трех возможных рамок считывания последовательности нуклеотидных повторов), тогда как второй подход может учитывать только одну пептидную последовательность для всех возможных повторов, но потенциально может открывать новые CRISPR повторы, кроме тех, которые уже аннотированы в базе данных CRISPR.

Рисунок 2.

Структура локуса CRISPR-Cas и его внешний вид при его трансляции, а также протокол для обнаружения неверно аннотированных последовательностей CRISPR в белковых базах данных. (a) Локус CRISPR-Cas включает серию из генов, кодирующих белок cas , за которыми следуют короткие нуклеотидные повторы, окружающие гетерогенные последовательности аналогичной длины, называемые спейсерами. Когда последовательность CRISPR транслируется ошибочно, соответствующая аминокислотная последовательность может представлять повторы, разделенные однородными спейсерами, и этот белок будет демонстрировать 50% -ное сходство (с центром в области повтора) с другими ложными белками. (b) Поиск предполагаемых ложных последовательностей, происходящих из транслированного CRISPR, в четырех подмножествах базы данных белков UniProtKB. Первый подход (I) заключался в поиске переводов повторяющихся последовательностей из базы данных CRISPRCasdb, разделенных предполагаемыми спейсерами. Второй подход (II) заключался в поиске аминокислотных повторов, разделенных предполагаемыми спейсерами, непосредственно в белковых последовательностях. Наконец, исходные кандидаты из двух подходов были сопоставлены с их соответствующими геномными последовательностями, и гены cas были найдены в пределах 10 т.п.н. вокруг кандидата (подробности см. В разделе «Методы»).Предполагается, что белки с двумя соседними генами, повторами и cas , происходят в результате трансляции ложных ORF из последовательностей CRISPR, так называемых предполагаемых ложных белков (PFP). Обратите внимание, что первый подход может учитывать три различные пептидные последовательности (взятые из трех возможных рамок считывания последовательности нуклеотидных повторов), тогда как второй подход может учитывать только одну пептидную последовательность для всех возможных повторов, но потенциально может открывать новые CRISPR повторы, кроме тех, которые уже аннотированы в базе данных CRISPR.

Чтобы установить степень загрязнения в текущих базах данных белков, мы провели поиск транслированных последовательностей CRISPR в базе данных UniProtKB. Для этого мы перевели повторы из базы данных CRISPR (CRISPRCasdb) и провели поиск сгруппированных, регулярно расположенных между собой совпадений этих переводов в архейных и бактериальных белках (рис. 2b; подробности см. В разделе «Методы»). Мы обнаружили большое количество предполагаемых ложных белков, транслируемых с повторов CRISPR (таблица 1). Это число было особенно высоким в TrEMBL (автоматически аннотируемый раздел UniProtKB), хотя Swiss-Prot (курируемый раздел UniProtKB) также представил несколько совпадений.

ложных белков, обнаруженных в четырех подмножествах UniProtKB при поиске уже аннотированных повторов. В таблице показано количество последовательностей в каждом разделе базы данных (sp = Swiss-Prot, tr = TrEMBL), количество исходных кандидатов, среднее и стандартное отклонение в год записи в базе данных UniProtKB, количество протестированных геномных последовательностей ( после отбрасывания геномных последовательностей ниже 500 т.п.н.), количество кандидатов (и процент) с генами cas рядом, количество кандидатов (и процент) с соседним кластером cas (PFP) и количество протестированных кандидатов с Pfam домены (Cas (+) и кандидаты PFP в скобках).

Ложные белки, обнаруженные в четырех подмножествах UniProtKB при поиске уже аннотированных повторов. В таблице показано количество последовательностей в каждом разделе базы данных (sp = Swiss-Prot, tr = TrEMBL), количество исходных кандидатов, среднее и стандартное отклонение в год записи в базе данных UniProtKB, количество протестированных геномных последовательностей ( после отбрасывания геномных последовательностей ниже 500 т.п.н.), количество кандидатов (и процент) с генами cas рядом, количество кандидатов (и процент) с соседним кластером cas (PFP) и количество протестированных кандидатов с Pfam домены (Cas (+) и кандидаты PFP в скобках).

Чтобы оценить эти предполагаемые ложные белки, мы сначала искали независимые гены cas , а затем полные кластеры cas (или, по крайней мере, пару cas1 , cas2) в окружающей геномной последовательности (подробности см. в разделе «Методы»).Примерно 50% ложных белков (всего 1286) имеют около одного или нескольких гена cas (1080 с полными кластерами cas ), и из этих белков 78% относятся к 3 или более генам cas (рис. 3а). ). Кроме того, половина ложных белков имеет гены cas в пределах 2 т.п.н. Таким образом, они представляют собой явные примеры неправильно аннотированных белков, которые на самом деле могут быть некодирующими последовательностями CRISPR (рисунок 4; дополнительная таблица S1). Эти белки в основном представляют собой короткие пептиды со средней длиной 79 аминокислот, что классифицирует их как небольшие ORF с длиной, близкой к ORF, обнаруженным в рандомизированной ДНК (рис. 3b).

Рисунок 3.

Характеристики кандидатов с генами cas рядом. (a) Расстояния от кандидатов до ближайшего гена cas для подхода I и II (вверху и внизу, соответственно). Цвет точки показывает количество гена cas , близких к кандидату. Слева показан процент кандидатов, близких к определенному числу из гена cas . Среднее значение показано вертикальной линией. (b) Распределение длин кандидатов для захода на посадку I и II (сверху и снизу, соответственно). Среднее значение выделено для всех кандидатов с одним или несколькими генами cas (M), а для конечных PFP (M (PFP) — синим цветом).

Рисунок 3.

Характеристики кандидатов с генами cas рядом. (a) Расстояния от кандидатов до ближайшего гена cas для подхода I и II (вверху и внизу, соответственно). Цвет точки показывает количество гена cas , близких к кандидату.Слева показан процент кандидатов, близких к определенному числу из гена cas . Среднее значение показано вертикальной линией. (b) Распределение длин кандидатов для захода на посадку I и II (сверху и снизу, соответственно). Среднее значение выделено для всех кандидатов с одним или несколькими генами cas (M), а для конечных PFP (M (PFP) — синим цветом).

Рисунок 4.

Геномная область Archaeoglobus fulgidus с несколькими ложными последовательностями CRISPR (AE000782.1: 1 671 367–1 694 202). Эта область содержит кластер из генов cas для системы CRISPR-Cas класса III-B (зеленый цвет), за которым следует другой кластер генов для системы CRISPR-Cas класса I-A (фиолетовый цвет). Они появляются рядом с двумя ложными белками с повторами, происходящими из трех разных рамок считывания. Красным цветом показаны неохарактеризованные или гипотетические белки внутри кластеров cas . Повторы выделены синим цветом, при этом один из них — серым, потому что он представляет собой вырожденную последовательность.Расстояние между элементами показано в п.н., а белки из Swiss-Prot показывают номер доступа, идентификатор, функциональную аннотацию (нехарактеризованный белок), имя гена и наличие белка (PE), что представляет собой свидетельство, подтверждающее существование белка (4 = предсказанный белок, и 3 = белок, выведенный из гомологии).

Рисунок 4.

Геномная область Archaeoglobus fulgidus с несколькими ложными последовательностями CRISPR (AE000782.1: 1 671 367–1 694 202).Эта область содержит кластер из генов cas для системы CRISPR-Cas класса III-B (зеленый цвет), за которым следует другой кластер генов для системы CRISPR-Cas класса I-A (фиолетовый цвет). Они появляются рядом с двумя ложными белками с повторами, происходящими из трех разных рамок считывания. Красным цветом показаны неохарактеризованные или гипотетические белки внутри кластеров cas . Повторы выделены синим цветом, при этом один из них — серым, потому что он представляет собой вырожденную последовательность.Расстояние между элементами показано в п.н., а белки из Swiss-Prot показывают номер доступа, идентификатор, функциональную аннотацию (нехарактеризованный белок), имя гена и наличие белка (PE), что представляет собой свидетельство, подтверждающее существование белка (4 = предсказанный белок, и 3 = белок, выведенный из гомологии).

Остальные 50% исходных кандидатов, которые не локализованы рядом с каким-либо геном cas , могут составлять последовательности CRISPR, которые ранее назывались « расщепленными массивами », потому что, несмотря на отсутствие поблизости генов cas , они имеют те же повторы, что и другие Массивы CRISPR (24).Однако кандидаты с большей уверенностью в том, что они являются последовательностями, происходящими из последовательностей CRISPR, которые можно рассматривать как ложные белки, — это кандидаты с полным кластером cas , и в дальнейшем они будут называться предполагаемыми ложными белками (PFP) (дополнительная таблица). S2).

Чтобы определить, являются ли ложные последовательности частью определенных семейств белков, мы провели поиск доменов Pfam. Мы обнаружили, что большинство последовательностей не имели доменов Pfam, а те, которые имели их, появлялись почти исключительно в кандидатах, отличных от cas .Поскольку домены Pfam обычно составляют хорошо известные семейства белков, а 77% последовательностей белков UniProt совпадают с базой данных Pfam (18), кандидаты, несущие эти домены, могут рассматриваться как истинные белки, не происходящие из трансляций CRISPR. Однако три последовательности с соседними генами cas , но не PFP, также имели домены Pfam. Два из них имеют С-концевой домен ДНК-гиразы (Pfam: PF03989), который представляет собой короткий повтор, появляющийся в тандеме в белках гиразы и по совпадению сходный с повторами CRISPR штамма Mycoplasma fermentans .Другой — домен, обнаруженный на N-конце многих белков, кодируемых транспозонами (Pfam: PF05598; DUF772).

Следует отметить, что ложные белки происходят не только из последовательностей CRISPR, но также из-за ошибок секвенирования и сборки или трансляции некодирующих последовательностей. Мы хотели сравнить наши PFP с теми, которые были получены с помощью инструмента Spurio, который способен обнаруживать эти типы последовательностей на основе как сходства нуклеотидов, так и наличия стоп-кодонов (22).Spurio обнаружил 789 из 1070 PFP (дополнительная таблица S2). Этот результат предполагает перекрестную проверку обоих методов, но также показывает, что текущий метод может находить новые ложные последовательности, которые могут ускользать от других. В этой процедуре важно иметь наиболее полную геномную последовательность, чтобы можно было обнаружить ген cas . Например, один из явных ложных белков, ранее обнаруженных Spurio, представляет собой не охарактеризованный белок из бактерии Acinetobacter bereziniae (UniProt: N8YUQ2).Он также был обнаружен с помощью текущего метода (дополнительная таблица S1), но он не может быть подтвержден, поскольку его геномная последовательность составляет всего 864 п.н., что делает невозможным обнаружение какого-либо гена cas .

Мы только что нашли более 1000 предполагаемых белков с интервалами между повторами, которые идентичны повторам в базе данных CRISPRCasdb и имеют гена cas поблизости.Но этот подход не позволяет найти последовательности, происходящие из неоткрытых последовательностей CRISPR, которые не хранятся в CRISPRCasdb. Чтобы учесть это, мы провели поиск белковых последовательностей, несущих расположенные через промежутки пептидные повторы. Следуя этому другому подходу, было найдено более 50% первоначальных кандидатов из предыдущего подхода, и было предложено более 467 000 новых кандидатов (Таблица 2). Несмотря на такое большое количество кандидатов, следует отметить, что с помощью этого протокола можно найти только белки с повторами одного из трех возможных пептидов, возникших из исходного нуклеотидного повтора.Если бы мы перевели три возможные рамки считывания, мы могли бы получить белки с двумя разными пептидами, разделенными спейсером. Поскольку мы не рассматриваем такие случаи, реальное количество кандидатов могло быть еще больше.

ложных белков, обнаруженных в четырех подмножествах UniProtKB при поиске уже аннотированных повторов. В таблице показано количество последовательностей в каждом разделе базы данных (sp = Swiss-Prot, tr = TrEMBL), количество исходных кандидатов, среднее и стандартное отклонение в год записи в базе данных UniProtKB, количество протестированных геномных последовательностей ( после отбрасывания геномных последовательностей ниже 500 т.п.н.), количество кандидатов (и процент) с генами cas рядом, количество кандидатов (и процент) с соседним кластером cas (PFP) и количество протестированных кандидатов с Pfam домены (Cas (+) и кандидаты PFP в скобках).

Ложные белки, обнаруженные в четырех подмножествах UniProtKB при поиске уже аннотированных повторов. В таблице показано количество последовательностей в каждом разделе базы данных (sp = Swiss-Prot, tr = TrEMBL), количество исходных кандидатов, среднее и стандартное отклонение в год записи в базе данных UniProtKB, количество протестированных геномных последовательностей ( после отбрасывания геномных последовательностей ниже 500 т.п.н.), количество кандидатов (и процент) с генами cas рядом, количество кандидатов (и процент) с соседним кластером cas (PFP) и количество протестированных кандидатов с Pfam домены (Cas (+) и кандидаты PFP в скобках).

Хотя этот подход нашел половину предыдущих кандидатов и предложил много новых, эти новые кандидаты редко имеют cas гена рядом. Фактически, только 271 новая ложная последовательность была подтверждена кластером cas поблизости из 467 057 проанализированных исходных кандидатов (Дополнение.Таблица S3). Следовательно, ожидается, что большинство из этих новых кандидатов будут настоящими белками. Фактически, многие из них показывают обращения к доменам из базы данных Pfam. Эти домены Pfam в основном представляют собой короткие аминокислотные повторы, демонстрирующие архитектуру, аналогичную транслированным последовательностям CRISPR. Одним из этих доменов является домен цинковой ленты (Pfam: PF13240), который появляется в белках РНК-полимеразы архей (25) и имеет структуру, аналогичную последовательности CRISPR с двумя повторами (FCXXCG-15/17-FCXXCG). Интересно, что этот домен появляется у 67 кандидатов из 467 057 проанализированных исходных кандидатов, включая один PFP, происходящий из не охарактеризованного белка Methanobrevibacter ruminantium , где найденный повтор был GRGLFNKKT, а домен Pfam обнаружен только случайно (UniProt: D3E280_METRM ).

Кроме того, кандидаты, найденные с помощью этого подхода, имеют меньше гена cas , близких к ним, и 43% из них показывают только 1-2 соседних гена cas (рис. 3a). Кроме того, их средняя длина снова короткая (в среднем 98 остатков), но они включают ряд последовательностей длиной около 400 аминокислот, что снова предполагает, что они являются истинными белками (рис. 3b). Однако PFP с полными кластерами cas имеют среднюю длину 86, что подтверждает их определение как ложные последовательности.

Наконец, инструмент Spurio был снова использован с PFP, и теперь он обнаружил только 66 из 271 ложных последовательностей, уникальных для этого подхода II (дополнительная таблица S2). В целом, эти результаты показывают, что поиск только по повторам белка может быть полезным методом для поиска неверно аннотированных последовательностей CRISPR в белковых базах данных, хотя большое количество обнаруженных ложноположительных результатов вместе с появлением доменов Pfam предполагает, что это не будет специфический метод обнаружения ложных белков.Однако проверка наличия проксимальных кластеров cas , по-видимому, является эффективным способом различения истинных неправильно аннотированных последовательностей CRISPR. Таким образом, используя этот дополнительный подход, мы обнаружили 271 PFP, пропущенный при первом скрининге, и 205 из которых не были обнаружены Spurio.

Число ложных белков увеличивается, несмотря на доступные вычислительные инструменты для поиска последовательностей CRISPR

Существуют специальные вычислительные инструменты для поиска последовательностей CRISPR с 2007 года.Следовательно, ложные последовательности в базе данных белков могут быть артефактами тех периодов, когда эти инструменты не были доступны. Чтобы проверить эту идею, даты создания ложных кандидатов сравнивались с ростом базы данных из-за увеличения скорости секвенирования геномов. Шесть PFP из вручную отобранной Swiss-Prot вошли в эту базу данных незадолго до приостановки роста базы данных в 2010 году (рис. 5). Но наиболее важное проникновение ложных белков произошло именно с 2010 года, и это параллельно с ускоренным ростом TrEMBL и секвенированием новых геномов архей и бактерий.На пике появления ложных последовательностей архей многие из современных CRISPR-специфичных искателей уже были разработаны, такие как CRISPRFinder / CRISPRCasFinder, PILER-CR и CRT (15, 26–28). А пик проникновения бактерий случился позже, когда геноискатели включили открытие CRISPR в свои алгоритмы, такие как Prokka, RASTtk и PGAP (3, 29, 30), и можно было ожидать более высокой точности аннотации последовательностей CRISPR. В настоящее время введение ложных белков не происходит параллельно с ростом базы данных, вероятно, потому, что геноискатели теперь правильно предсказывают большинство последовательностей CRISPR.

Рисунок 5.

Временная шкала с количеством предсказанных ложных белков по годам создания в сравнении с темпами появления новых белков и геномов в базах данных. На оси x показаны годы с 1985 по 2019 год. Под осью x (и заштрихованы серым цветом) выделены серии вех: открытие последовательностей CRISPR (обнаружение), начальный вычислительный анализ этих последовательностей ( in silico ), прогнозирование последовательностей CRISPR с использованием неспецифических вычислительных инструментов, предназначенных для поиска тандемных повторов (поиск повторов), специфичных для CRISPR вычислительных инструментов, таких как CRT и CRISPRFinder (поисковые системы CRISPR), и включение прогнозирования CRISPR в средства поиска генов, такие как Prokka , PGAP и RAST (поисковые системы).Сплошные линии представляют рост базы данных, а пунктирные линии представляют неверно аннотированные последовательности.

Рисунок 5.

Временная шкала с количеством предсказанных ложных белков по годам создания в сравнении с темпами появления новых белков и геномов в базах данных. На оси x показаны годы с 1985 по 2019 год. Под осью x (и заштрихованы серым цветом) выделены серии вех: открытие последовательностей CRISPR (обнаружение), начальный вычислительный анализ этих последовательностей ( in silico ), прогнозирование последовательностей CRISPR с использованием неспецифических вычислительных инструментов, предназначенных для поиска тандемных повторов (поиск повторов), специфичных для CRISPR вычислительных инструментов, таких как CRT и CRISPRFinder (поисковые системы CRISPR), и включение прогнозирования CRISPR в средства поиска генов, такие как Prokka , PGAP и RAST (поисковые системы).Сплошные линии представляют рост базы данных, а пунктирные линии представляют неверно аннотированные последовательности.

UniProtKB — это база данных, которая использует различные источники, в которых используемый инструмент аннотации также неоднороден. Таким образом, мы проверили входной источник этих ложных белков и обнаружили, что все базы данных нуклеотидных последовательностей предоставляют этот тип последовательностей: GenBank (778), EMBL (432) и DDBJ (126). Метод предсказания генов также отличался: 174 ложные последовательности были аннотированы Prodigal, 136 — AMIGene и 22 — GeneMarkS + (Suppl.Таблица S2).

Выводы

Транслируемые последовательности CRISPR загрязняют базы данных белков, несмотря на то, что современные специалисты по поиску генов специально предсказывают такие элементы в геномах бактерий и архей. Эти ложные белки поступают из гетерогенных источников аннотаций, поэтому необходимо проверить всех геноискателей, чтобы избежать этой проблемы. Примечательно, что эти ложные белки могут повлиять на последующие вторичные анализы, такие как предсказание или аннотация новых последовательностей, происходящих из полных геномов, и мы предлагаем базе данных удалить их, чтобы избежать потенциальных вредных последствий.

Мы предлагаем новый протокол для обнаружения этих ложных последовательностей. Он включает в себя сравнение белковых последовательностей с базой данных повторов CRISPR и последующее обнаружение генов cas , поскольку прямой поиск аминокислотных повторов в белковых последовательностях может найти короткие домены, которые, хотя и имеют структуру, аналогичную ложно транслированным повторам CRISPR. , может произойти в истинных белках.

В заключение мы проанализировали более 460 000 кандидатов ложных белков и предлагаем удалить 1341 из них из базы данных (Прил.Таблица S2). Мы также предлагаем, чтобы новые последовательности прокариотических белков были протестированы в соответствии с нашим протоколом, прежде чем они будут внесены в общедоступные базы данных белков.

Особенности

• Транслированные последовательности CRISPR загрязняют базы данных белков.

• Транслируемые последовательности CRISPR обычно образуют короткие белки.

• Новые аннотированные белковые последовательности следует проверять при представлении расположенных рядом повторов и кластеров cas .

Доступность данных

Скрипты доступны в репозитории GitHub вместе со ссылками на таблицы с необработанными результатами: https://github.com/UPOBioinfo/crispr_spurious/

Благодарности

Благодарим C3UPO за поддержку высокопроизводительных вычислений.

Финансирование

Это исследование было поддержано Хунтой Андалусии PAIDI Group BIO 147, а также частично поддержано местным контрактом Ayudas de Acciones Especiales с Университетом Пабло де Олавиде.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Дополнительные данные

Дополнительные данные доступны в базе данных Online.

Список литературы

Mukherjee

S.

Stamatis

D.

Bertsch

J.

2019

База данных Genomes OnLine (GOLD) v.7: обновления и новые функции

Nucleic Acids Res.

47

D649

D659

Hyatt

D.

Chen

G.-L.

Locascio

P.F.

2010

Prodigal: распознавание прокариотических генов и идентификация сайта инициации трансляции

BMC Bioinform.

11

Татусова

Т.

DiCuccio

M.

Badretdin

A.

2016

NCBI конвейер аннотации прокариотического генома

Nucleic Acids Res.

44

6614

6624

Bocs

S.

Cruveiller

S.

Vallenet

D.

2003

AMIGene: Аннотация микробных генов

Nucleic Acids Res.

31

3723

3726

Nagy

A.

Patthy

L.

2013

MisPred: ресурс для идентификации ошибочных последовательностей белков в общедоступных базах данных

База данных J. Biol. Базы данных Курация

2013

Denton

J.F.

Lugo-Martinez

J.

Tucker

A.E.

2014

Обширная ошибка в количестве генов, выведенная из черновых сборок генома

PLoS Comput. Биол.

10

Salzberg

S.L.

2019

Аннотации генома следующего поколения: мы все еще пытаемся понять это правильно

Genome Biol.

20

Mukherjee

S.

Huntemann

M.

Ivanova

N.

2015

Крупномасштабное заражение геномов микробных изолятов контролем Illumina PhiX

Stand Genomic Sci.

10

Arakawa

K.

2016

Нет доказательств обширного горизонтального переноса генов из чернового генома тихоходки

Proc.Natl. Акад. Sci. США

113

Консорциум UniProt

2019

UniProt: всемирный центр знаний о белках

Nucleic Acids Res.

47

D506

D515

Tripp

H.J.

Hewson

I.

Boyarsky

S.

2011

Ошибочные аннотации рРНК теперь могут генерировать 90% ложноположительных совпадений белков в метатранскриптомных исследованиях

Nucleic Acids Res.

39

8792

8802

Tørresen

O.K.

Star

B.

Mier

P.

2019

Тандемные повторы приводят к ошибкам сборки последовательностей и создают многоуровневые проблемы для баз данных генома и белков

Nucleic Acids Res.

47

10994

11006

Breitwieser

F.P.

Pertea

M.

Zimin

A.V.

2019

В результате заражения человека бактериальными геномами были созданы тысячи ложных белков

Genome Res.

29

954

960

Ishino

Y.

Krupovic

M.

Forterre

P.

2018

История CRISPR-Cas от встречи с загадочной повторяющейся последовательностью до технологии редактирования генома

J. Bacteriol.

Couvin

D.

Bernheim

A.

Toffano-Nioche

C.

2018

CRISPRCasFinder, обновление CRISRFinder, включает портативную версию, улучшенную производительность и интегрирует поиск белков Cas

Nucleic Acids Res.

46

W246

W251

Russel

J.

Pinilla-Redondo

R.

Mayo-Muñoz

D.

2020

CRISPRCasTyper: автоматизированный инструмент для идентификации, аннотации и классификации локусов CRISPR-Cas

bioRxiv

05

Pourcel

C.

Touchon

M.

Villeriot

N.

2020

CRISPRCasdb — преемник CRISPRdb, содержащий массивы CRISPR и гены cas из полных последовательностей генома, а также инструменты для загрузки и запроса списков повторов и спейсеров

Nucleic Acids Res.

48

D535

D544

Эль-Гебали

S.

Mistry

J.

Bateman

A.

2019

База данных семейств белков Pfam на 2019 год

Nucleic Acids Res.

47

D427

D432

Marchler-Bauer

A.

Bo

Y.

Han

L.

2017

CDD / SPARCLE: функциональная классификация белков с помощью архитектуры доменов подсемейства

Nucleic Acids Res.

45

D200

D203

Altschul

S.F.

Мэдден

T.L.

Schaffer

A.A.

1997

Gapped BLAST и PSI-BLAST: новое поколение программ поиска в базе данных белков

Nucleic Acids Res.

25

3389

3402

Макарова

К.С.

Вольф

Ю.И.

Иранзо

J.

2020

Эволюционная классификация систем CRISPR-Cas: выброс класса 2 и производные варианты

Нат. Rev. Microbiol.

18

67

83

Höps

W.

Jeffryes

M.

Bateman

A.

2018

Непредсказание генов с помощью Spurio: инструмент для выявления ложных последовательностей белков

F1000 Рез.

7

Хименес

J.

Дункан

C.D.S.

Gallardo

M.

2015

AnABlast: новая стратегия in silico для полногеномного поиска новых генов и ископаемых областей

DNA Res.

22

439

449

Crawley

A.B.

Хенриксен

J.R.

Barrangou

R.

2018

CRISPR disco: автоматизированный конвейер для обнаружения и анализа систем CRISPR-Cas

Криспр Дж.

1

171

181

Hahn

S.

Roberts

S.

2000

Домены цинковых лент общих факторов транскрипции TFIIB и Brf: консервативные функциональные поверхности, но разные роли в инициации транскрипции

Genes Dev.

14

719

730

Grissa

I.

Vergnaud

G.

Pourcel

C.

2007

CRISPRFinder: веб-инструмент для идентификации сгруппированных с регулярными интервалами коротких палиндромных повторов

Nucleic Acids Res.

35

W52

57

Эдгар

Р.C.

2007

PILER-CR: быстрая и точная идентификация CRISPR-повторов

BMC Bioinform.

8

Bland

C.

Ramsey

T.L.

Sabree

F.

2007

Инструмент распознавания CRISPR (CRT): инструмент для автоматического обнаружения сгруппированных регулярно расположенных палиндромных повторов

BMC Bioinform.

8

Seemann

T.

2014

Prokka: быстрое аннотирование генома прокариот

Bioinf. Oxf. Англ.

30

2068

2069

Brettin

T.

Davis

J.J.

Disz

T.

2015

RASTtk: модульная и расширяемая реализация алгоритма RAST для создания пользовательских конвейеров аннотации и аннотирования пакетов геномов

Sci. Реп.

5

Заметки автора

Сведения о цитировании: Rubio, A., Mier, P., Andrade-Navarro, M.A. et al. Последовательности CRISPR иногда ошибочно транслируются и могут загрязнять общедоступные базы данных ложными белками, содержащими разнесенные повторы. База данных (2020) Vol. XXXX: идентификатор статьи baaa088; 10.1093 / database / baaa088

© Автор (ы) 2020. Опубликовано Oxford University Press.

Использование утилиты перевода базы данных

Утилиту перевода базы данных можно использовать для упрощения настройки для комплексные анализы. Доступ к этой опции можно получить из раскрывающегося списка ФАЙЛ. меню с помощью «Перевод базы данных Утилита… «Команда . База данных » Появится диалоговое окно «Переводчик» .

Выберите файл .asd модели, для которой вы хотите редактировать базу данных. в «Модель для перевода» поле. Нажмите «Обзор …» кнопку, чтобы найти местоположение на вашем компьютере. Обратите внимание, что файл .asd находится в папке сценария проектирования, расположенной в папке «model.ds_data» папка, в которой была создана модель. (См. Страницу «Настройка и Выполнение анализа: расширения файлов »для обзора. папки и файловой структуры.)

Укажите исходный формат базу данных, которую вы хотите перевести в «Оригинал Формат «поле . Если вы переводите эту модель из исходная модель, вы можете установить в этом раскрывающемся списке значение «Исходный Формат — База данных FoxPro (* .dbf) «. Если вы переводите эту модель из другого формата обратно в родной формат, вы захотите для выбора формата, который вы использовали для редактирования базы данных.

Выберите тип формата, который вы хотите, чтобы база данных была переведена в вывод » Формат « поле.Вы можете выбрать между «Microsoft База данных Access « (97 или 2000) и » Текст Файлы «. Если выбрать текстовые файлы, база данных будет переведена. в файлы .csv, которые можно открыть в программе для работы с электронными таблицами. Если у вас есть уже отредактировал базу данных, и вы хотите перевести ее обратно в собственный формат, выберите «Исходный формат — База данных FoxPro (* .dbf) «.

Вы можете указать, когда хотите переводчик, чтобы предупредить вас о замене базы данных в поле «Когда Выпадающий список «Предупредить».Если вы выберете «Всегда, когда заменив ««, вы будете получать предупреждение каждый раз, когда нажимаете кнопку «Перевести» (кроме в первый раз). Если вы выберете «Когда заменена база данных более новая «, вы будете предупреждены каждый раз что вы пытаетесь заменить новую базу данных на более старую. Если вы выберете «Никогда» , никогда Будьте предупреждены, и существующие файлы всегда будут перезаписаны.

Когда вы указали желаемый настройки, нажмите «Перевести» кнопка.Появится диалоговое окно состояния, в котором будет указано, сколько записей было конвертируется в каждую базу данных. Если вы перевели файл на Microsoft Доступ к базе данных, там будет файл filename.mdb в расположении модель. Если вы перевели файл в текстовые файлы, будет пять .csv файлы в подпапке filename.mod каталога, в котором находится модель. расположен. Эти файлы представляют собой текстовые файлы, которые вы можете редактировать. .Csv файлы можно открывать в Microsoft Excel, а также в любой программе для работы с электронными таблицами или текстовый редактор.

После того, как вы сделали необходимые изменения в базе данных, вы должны выполнить перевод еще раз, чтобы перевести модель обратно в «Родной Формат — База данных FoxPro (* .

alexxlab