пример простой системы / Хабр

Разработчик по имени Питер, как и многие из нас, попал на долгое время в ловушку карантина. У него появилось свободное время, причем много, и Питер решил разработать систему распознавания речи на базе Arduino Nano.

Оборудование, как можно догадаться, не особо сложное. Основной компонент в этой системе — программное обеспечение. Питеру пришлось повозиться не только с обычным софтом, но и заняться низкоуровневым программированием контроллера.

Основные элементы системы

Главный аппаратный компонент — Arduino Nano. Контроллер используется для запуска алгоритма распознавания речи. Также есть микрофонный усилитель MAX9814 для захвата голосовых команд.

Что касается софта, то разработчик научил взаимодействовать написанный им софт для ПК и Arduino Nano. Обучение алгоритма выполняется на ПК, но реализация выполняется в реальном времени на Arduino Nano. В целом, это типичный подход для большинства систем машинного обучения, разворачиваемых на микроконтроллере. Чтобы записать образцы звуковых команд или высказываний, создатель системы сначала должен был оптимизировать АЦП Nano, чтобы он мог получить достаточную частоту дискретизации для обработки речи. Немного запрограммировав низкоуровневую систему, он достиг частоты дискретизации 9 кбит / с, чего уже вполне достаточно для обработки звука.

Чтобы проанализировать речь, он сначала разделил каждый образец на сегменты по 50 мс. Это необходимо для разделении одного произнесенного слова на разные слоги. Возьмем, например, слово «seven». Как анализировать «se-» в «семи» отдельно от «-ven»? Нужно определить сегменты, каждый из которых сможет уместить произнесенный слог. 50 мс, как посчитал разработчик — оптимальное время для сегмента. Затем он рассчитал энергию 5 различных частотных диапазонов для каждого сегмента каждого высказывания. Обычно это делается с помощью преобразования Фурье, но у Nano недостаточно вычислительной мощности для вычисления преобразования Фурье в реальном времени.

Поэтому Питер попробовал другой подход: он реализовал 5 наборов цифровых полосовых фильтров, что позволило ему более легко вычислять энергию сигнала в каждой полосе частот.

Энергия каждой полосы частот для каждого сегмента затем отправляется на ПК, где специализированный софт создает «шаблоны» на основе образцовых высказываний, которые он генерирует. Суть его алгоритма заключается в сравнении того, насколько близка энергия каждой полосы частот для каждого высказывания (и для каждого сегмента) к шаблону. Программа для ПК создает файл .h, который можно скомпилировать прямо на Nano. Питер использует пример распознавания произнесенных чисел — от 0 до 9, но вы можете изменить эти команды, например, на «старт» или «стоп», если захотите.

Результат

Что получилось в итоге? Миниатюрная система распознавания отдельных команд. Конечно, все слова она распознавать не может, лишь те из них, что заданы изначально. На основе этой системы можно создать нечто более совершенное, но в качестве демонстрации возможностей систем распознавания речи этот проект неплох. Более подробно о проекте можно узнать по этой ссылке.

характеристики, фото и отзывы покупателей

1 522 ₽Перейти в магазин

Товар больше не продаётся, посмотрите похожие

Ссылка скопирована, поделитесь ею

Или отправьте через соцсети

Данный товар больше не продаётся, но есть аналогичные и похожие

Цена снизилась на 16.02 ₽

Дешевле средней, незначительно

-1

%

Продавец надежный – 100%

Можно смело покупать, FYD Open Source Hardware

• На площадке более 8 лет
• Высокий общий рейтинг (97361)
• Покупатели довольны общением
• Товары соответствуют описанию
• Быстро отправляет товары
• 1.5% покупателей остались недовольны за последние 3 месяца

Цены у других продавцов от 1357.

98 ₽

1 363 ₽

Модуль распознавания голоса с микрофоном Dupont перемычка провода распознавания речи Голосовое управление для Arduino совместимый

1оценка

2заказа

Надежность – 100%

Продавец ElectronicFans

В магазинПерейти в магазин

2 743 ₽

1 комплект модуль распознавания речи голосовое неконкретное распознавание голоса Голосовое управление модуль для Arduino Raspberry электронный комплект

1оценка

1заказ

Надежность – 100%

Продавец diymore Official Store

В магазинПерейти в магазин

1 509 ₽

Модуль распознавания голоса с микрофоном Dupont распознавание речи Голосовая плата управления для Arduino совместимый

1оценка

0заказов

Надежность – 72%

Продавец ABSY Accessories Store

В магазинПерейти в магазин

Найдено 41 похожих товаров

1 661 ₽

Ffyy-модуль распознавания голоса с микрофоном dupont плата голосового управления распознавания речи для arduino совместима

0

0

Надёжность продавца 89%

2 324 ₽

1 комплект, модуль голосового распознавания речи sp, определенное распознавание голоса, модуль голосового управления для arduino raspberry

0

0

Надёжность продавца 72%

-2

%

1 503 ₽

Быстрое распознавание распознавания голоса v3 модуль совестимая плата для arduino поддержка 80 видов голосового высокая точность микрофон

0

1

Надёжность продавца 89%

750. 69 ₽

Модуль распознавания речи ld3320, неспецифическая речь человека, модуль голосового управления, плата разработки

1

1

Надёжность продавца 100%

2 713 ₽

Модуль распознавания голоса, 1 комплект, голосовой модуль, неспецифический модуль голосового управления для arduino raspberry

1

2

Надёжность продавца 89%

-4

%

3 272 ₽

Модуль распознавания голоса и микрофон dupont скорость распознавания совместимый для arduino записи голоса датчик 3d принтер части

0

0

Надёжность продавца 83%

1 866 ₽

Голосовой модуль ld3320, модуль распознавания речи, неконкретное голосовое управление с контактом

0

0

Надёжность продавца 100%

-2

%

3 272 ₽

Модуль распознавания голоса и микрофон dupont распознавание скорости совместимость с arduino датчик записи голоса части 3d принтера

0

0

Надёжность продавца 72%

-3

%

12 660 – 12 967 ₽

Iflytek распознавание речи на дальнем расстоянии, 6mic микрофон, модуль распознавания речи, макетная оценочная плата

0

1

Надёжность продавца 72%

1 904 ₽

Модуль распознавания голоса ld3320, неспецифическое голосовое управление

0

0

Надёжность продавца 100%

678. 59 ₽

Ld3320 модуль распознавания голоса речи неспецифический голосовой контроллер речи человека 3,3 в 5 в макетная плата

2

1

Надёжность продавца 100%

1 324 ₽

Микрофон diymore 6 + 1 i2s, модуль распознавания голоса, макетная плата k210 с 10-контактным двухрядным перемычным проводом для arduino

1

1

Надёжность продавца 100%

1 560 ₽

Распознавание скорости, модуль распознавания голоса v3, совместим с

1

1

Надёжность продавца 100%

407.79 – 484.71 ₽

Интеллектуальный автономный модуль распознавания речи ai nrk10, модуль голосового управления, чип распознавания речи, управление голосом

1

1

Надёжность продавца 51%

1 138 ₽

Модуль распознавания речи ld3320, неспецифическая плата разработки голосового голоса, интегрированный микроконтроллер stc

0

1

Надёжность продавца 100%

1 827 ₽

1 комплект модуль распознавания голоса v3 для arduino совместим с распознаванием речи

1

1

Надёжность продавца 83%

4 144 ₽

Модуль распознавания речи модуль голосового управления распознавание звука rec-v2 специальная плата (c3b5) 0,12-x

0

0

Надёжность продавца 55%

-5

%

1 474 ₽

Микрофон dupont с модульным распознаванием голоса и перемычкой для arduino

1

0

Надёжность продавца 100%

3 798 ₽

Модуль распознавания речи, модуль голосового управления, устройство распознавания звука, специальная плата (c3b5) 0,12-x

0

1

Надёжность продавца 100%

-3

%

1 525 ₽

Модуль распознавания голоса для arduino

0

0

Надёжность продавца 100%

-9

%

3 465 ₽

Плата модуля распознавания речи 2x и 4-контактный провод для

0

0

Надёжность продавца 65%

1 908 ₽

Модуль распознавания голоса v3, совместим с arduino, поддержка 80 видов голосовой звуковой платы

0

0

Надёжность продавца 9%

2 359 ₽

Китайский и английский модуль синтеза речи tts xfs5152ce, модуль синтеза речи с поддержкой записи и распознавания голоса, 1 шт.

0

1

Надёжность продавца 100%

1 522 ₽

1 комплект распознавания скорости, модуль распознавания голоса v3

0

0

Надёжность продавца 100%

1 683 ₽

1 комплект распознавания скорости, модуль распознавания голоса v3, совместим с ard

0

0

Надёжность продавца 100%

1 818 ₽

Модуль распознавания голоса v3, распознавание скорости, совместим с ard для arduino, поддерживает 80 видов звуковой платы

0

0

Надёжность продавца 54%

-7

%

1 782 ₽

Модуль распознавания голоса речевой модуль, управляемый последовательным портом микрофона

0

0

Надёжность продавца 25%

2 496 ₽

Модуль esp32 для arduino, 2-мегапиксельная камера с распознаванием лица и речи, модуль для разработки, цифровой микрофон для arduino

1

4

Надёжность продавца 100%

1 705 ₽

Модуль распознавания голоса v3, совместим с ard для arduino, с поддержкой 80 видов звуковой платы, 1 компл.

1

2

Надёжность продавца 89%

-4

%

1 920 ₽

Бесплатная доставка, 1 шт., asr mo8-b, неспецифический модуль распознавания голоса, голосовое управление, выход из комнаты, голосовой модуль

0

0

Надёжность продавца 100%

1 553 ₽

Модуль распознавания голоса diymore v3 с микрофоном для ardiuno

1

1

Надёжность продавца 100%

1 478 ₽

1 комплект распознавания скорости, модуль распознавания голоса v3

1

1

Надёжность продавца 89%

1 446 ₽

Модуль распознавания голоса (совместимость с ard uino, простое управление) с микро-4-контактным проводом

3

1

Надёжность продавца 100%

-0. 8

%

854.04 ₽

Ac108 модуль декодирования аудио смарт распознавание речи модуль 4 mic вход декодер расширения для платы микрофон для raspberry pi

0

0

Надёжность продавца 100%

-3

%

852.44 ₽

Для raspberry pi ac108 модуль декодирования аудио смарт распознавание речи модуль 4 mic вход декодер расширения для платы микрофон

1

1

Надёжность продавца 100%

-4

%

865.26 ₽

Ld3320 распознавание речи модуль неспецифичные голос голосового управления голосовой модуль совет по развитию

0

0

Надёжность продавца 100%

-4

%

205. 90 ₽

1 шт. vl6180 vl6180x дальномер модуль оптического датчика для arduino i2c интерфейс 3,3 v 5v распознавание жестов для arduino

2

2

Надёжность продавца 100%

-1

%

1 392 ₽

Модуль распознавания речи ld3320 интегрирован с одним чипом, io плата (c2b5)

0

0

Надёжность продавца 100%

-22

%

1 122 ₽

Бесплатная доставка ld3320 asr голосовой чип модуль спикер-независимое распознавание речи/модуль управления stm32 источник

0

0

Надёжность продавца 89%

947.78 ₽

Wm8960 аудио модуль декодирования hi-fi звуковая карта для raspberry pi стерео запись i2s порт двойной микрофон плата распознавания голоса

1

1

Надёжность продавца 100%

81. 72 ₽

Mt8870 dtmf модуль декодирования голоса модуль декодирования речи голосовая плата модуль телефона светодиодные индикаторы с контактами

0

0

Надёжность продавца 100%

0оценок

1заказ

Фото от покупателей пока нет

Характеристики товара

• Название бренда: SZFYDOSH
• Происхождение: Китай
• Состояние: Новый

Показать все

Автономный голосовой ИИ на Arduino. Знаете ли вы, что теперь можно… | Мохаммадреза Ростам | Picovoice

Автономный голосовой ИИ на Arduino. Знаете ли вы, что теперь можно… | Мохаммадреза Ростам | Пиковице | Medium

Знаете ли вы, что теперь можно выполнять высокоточное распознавание речи на микроконтроллере? Достижения в области машинного обучения предоставили голосовые возможности для этих чрезвычайно ограниченных по ресурсам устройств с помощью Picovoice SDK. Arduino недавно присоединился к списку поддерживаемых устройств, начиная с Arduino Nano 33 BLE Sense. Мы собираемся добавить на эту плату цикл голосового помощника и продемонстрировать, как вы можете легко настроить его, чтобы ваш Arduino понимал естественно произносимые вами фразы.

Пакет Picovoice SDK может сделать вывод о намерениях пользователя по естественно произнесенному высказыванию, например:

«Picovoice, заставь синий индикатор быстро мигнуть десять раз».

Picovoice определяет слово пробуждения (« Picovoice » ), затем определяет намерение по последующей голосовой команде («заставить синие лампочки мигнуть десять раз быстрее»):

 { 
 «намерение»: « blinkLight», 
 «слоты»: { 
 «цвет»: «синий» 
 «Итерация»: «10» 
 «скорость»: «быстро» 
 } 
 } 

Arduino Nano 33 BLE Sense

Давайте начнем с демонстрационного проекта, который управляет встроенными светодиодами Arduino с помощью голосовых команд.

Я поделился исходным кодом здесь, так что вы можете попробовать сами:

1. Скачать проект (оба Control_LED_Picovoice.in и param.h ).
2. Откройте диспетчер библиотек в Arduino IDE, найдите пакет Picovoice и нажмите кнопку «Установить».
3. Зарегистрируйтесь в Picovoice Console, чтобы бесплатно получить AccessKey. Нам понадобится AccessKey для использования пакета Picovoice .
4. Откройте загруженный скетч и замените заполнитель своим AccessKey:

 static const char* ACCESS_KEY = "${YOUR_ACCESSKEY}"; // Строка AccessKey, полученная из консоли Picovoice (https://picovoice.ai/console/) 

1. Загрузите ее на доску.
2. Откройте последовательный монитор. Вы увидите грамматику контекста, описывающую все последующие голосовые команды, которые он понимает.
3. Скажите, например:

«Picovoice, сделайте красную вспышку»

Демонстрация с несколькими динамиками

Создайте пользовательскую контекстную модель голосовые взаимодействия, которые выполняются на Picovoice SDK. Я предлагаю посмотреть этот видеоурок или прочитать это руководство, если вы хотите узнать больше.

Редактор контекста

Добавление модели контекста в проект

1. Замените CONTEXT_ARRAY в файле param.h новой моделью контекста, выполнив шаги, описанные в документации Picovoice SDK для Arduino.
2. Обновите inference_callback , чтобы он выполнял соответствующие действия (например, мигал светодиодом) после распознавания намерения.

Логика внутри функции inference_callback для обработки нескольких намерений с разными слотами.

Узнайте больше о работе с Picovoice SDK для Arduino, посетив документацию.

Picovoice — это комплексная платформа для создания голосовых продуктов на ваших условиях. В отличие от сервисов Alexa и Google, Picovoice работает полностью на устройстве, будучи более точным.

Подробнее от Picovoice

---

Получить Medium App

Get Unlimited Access

Mohammadreza Rostam

19 подписчиков

Developer Developer

.

Careers

. Нано?

• автор:
Орландо Хойлетт

Как и у большинства из нас, у [Питера] было немного свободного времени во время карантина, и он решил оглянуться на технологию распознавания речи 1970-х годов. Он быстро начал думать про себя: «Хм… интересно, смогу ли я сделать это с помощью Arduino Nano?» У всех нас, вероятно, были похожие мысли, но [Питер] действительно проверил свою теорию.

Само оборудование довольно простое. Существует Arduino Nano для запуска алгоритма распознавания речи и MAX9.814 микрофонный усилитель для захвата голосовых команд. Однако красота подхода [Питера] заключается в его программной реализации. [Питер] немного взаимодействует между написанной им пользовательской программой для ПК и Arduino Nano. Аспект обучения его алгоритма выполняется на ПК, но реализация выполняется в режиме реального времени на Arduino Nano, что является типичным подходом для любого алгоритма машинного обучения, развернутого на микроконтроллере. Чтобы записать образцы аудиокоманд или высказываний, [Питеру] сначала пришлось оптимизировать АЦП Nano, чтобы он мог получить достаточную частоту дискретизации для обработки речи. Занявшись низкоуровневым программированием, он добился частоты дискретизации 9ksps, что достаточно быстро для обработки звука.

Чтобы проанализировать высказывания, он сначала разделил каждый образец высказывания на сегменты по 50 мс. Подумайте о разделении одного произнесенного слова на разные слоги. Например, анализировать «се-» в «семерке» отдельно от «-вен». 50 мс могут быть слишком длинными или слишком короткими для четкого захвата каждого слога, но, надеюсь, это даст вам хорошее представление о том, что делает программа [Питера]. Затем он рассчитал энергию 5 различных частотных диапазонов для каждого сегмента каждого высказывания. Обычно это делается с помощью преобразования Фурье, но у Nano недостаточно вычислительной мощности для вычисления преобразования Фурье в реальном времени, поэтому Питер попробовал другой подход.

Вместо этого он реализовал 5 наборов цифровых полосовых фильтров, что позволило ему легче вычислять энергию сигнала в каждой полосе частот.

Энергия каждой полосы частот для каждого сегмента затем отправляется на ПК, где специально написанная программа создает «шаблоны» на основе сгенерированных им образцов высказываний. Суть его алгоритма заключается в сравнении того, насколько близка энергия каждой полосы частот для каждого высказывания (и для каждого сегмента) к шаблону. Программа для ПК создает файл .h, который можно скомпилировать непосредственно на Nano. Он использует пример способности распознавать числа 0-9, но вы можете изменить эти команды, например, на «старт» или «стоп», если хотите.

[Питер] признает, что вы не можете реализовать тип распознавания речи на Arduino Nano, который мы привыкли ожидать от этих скрытых подслушивающих устройств, но он упоминает небольшие устройства без помощи рук, такие как мультиметр, установленный на голове. воспользуйтесь голосовой командой, состоящей из одного слова или одной фразы.