Этот чип «слышит», какую клавишу вы нажали

Может ли нейронная сеть работать на чипах, которые изначально не предназначались для этого? Вот две работающие демонстрации на платформе Nordic Edge AI: одна слушает, другая понимает движение. Никакого облака, сервера или графического процессора. Только нейронные сети, работающие прямо на маломощных чипах. Две реальные демонстрации, работающие на реальном оборудовании: Первая — акустическая классификация боковых каналов на отладочной плате — нейронный процессор Axon слушает высокочастотные звуки механических переключателей клавиш и сообщает, какую клавишу вы нажали, в реальном времени, полностью на устройстве. Затем — модель Neuton, работающая на крошечной плате акселерометра, классифицирующая паттерны движения — номинально удары — с помощью тренировочного приложения, которое называет комбинации и сообщает, попали ли вы по ним. Два разных датчика, два разных механизма вывода, одна платформа и один поток для запуска. Суть не в самих демонстрациях — а в том, что весь конвейер, от размеченных обучающих данных до оптимизированной модели, работающей на крошечной микросхеме, готов к использованию прямо сейчас. *Разделы* 00:00 Анонс: нейронные сети на микроконтроллерах 02:30 Создание Keysnoop с использованием машинного обучения 15:05 Итоговые результаты и выводы Keysnoop 16:09 Создание боксерского тренера Могучего Мика 25:18 Уроки и выводы *Ссылки* Оставайтесь на связи/получайте информацию: подпишитесь на мою рассылку! https://news.psychogenic.com/the-goods Демо-версии, которые я создал для двух чипов, а также некоторые утилиты, показанные в видео: https://github.com/psychogenic/edgeai... Лаборатория Edge AI — просто создайте учетную запись и начните работу, это бесплатно: https://app.lab.nordicsemi.com/ Страница с описанием EdgeAI: https://www.nordicsemi.com/Products/T... Документация к лаборатории Edge AI: https://docs.nordicsemi.com/r/bundle/... Отладочная плата LM20B, которую я использовал для перехвата ключей: https://www.nordicsemi.com/Products/D... Теги 54L15, которые я использовал для упаковки Тренажер https://www.nordicsemi.com/Products/D... *Благодарности/Признание* Компания NordicSemi прислала мне эти метки — как раз вовремя, кстати: эти штуковины были бы очень неудобными. Потрясающе подходящая музыка, использованная в монтаже, принадлежит filipposalaris830 https://pixabay.com/users/filipposala... Видео с милым тигром взято с сайта https://pixabay.com/users/royburi-312... а его рык — благодаря https://pixabay.com/users/sherimfal-4... Моя "человеческая веб-подпись" для этого видео (мой PGP-ключ находится в ссылках на канал, подробнее об этом можно узнать здесь:    • Anyone Can Fake My Face. They Can't Fake T...  ) -----BEGIN PGP SIGNED MESSAGE----- Хэш: SHA512 youtube . com/watch?v=dbXCghmnyEs Это беспроводная связь. Но это не Bluetooth: клавиатура вообще не питается. -----BEGIN PGP SIGNATURE----- iQJSBAEBCgA8FiEE2vTLDmO1JcG66nkGDEJILP9AzF0FAmqk64MeHHBhdGRlZWdh bnZpZHNAcHN5Y2hvZ2VuaWMuY29tAAoJEAxCSCz/QMxd7LwP/jp216Si1x7IkFiH Li/0jYvMx1+T2E6P84NVJsI37yAODlXYJt18eq8kJlRT5YTGN1XBCG3y90ZhzsW c ybIMSN84Bd6vu3JfZ+QURSNxbp1azuc2O4x50kjuph0TRwNpvP7qstfY3egzI1R0 74gw+Tbd1bRwaJC8XlHilnf84o5e7ScOlxpTxzugxR8O0cN4g/3OyoeuOPMT83vo 6N8E85td+cOJYJC9/LG6BVR8MF4YVqXJe4BwOZHX9gIiMPrV9eu0ZI8XnGiyil/q fT3ynDCaZUiWW 8pRR6cMYaNwX+/ZqLJWuDL10nPaYeInkkZCChKUQf14BYINkPvO 021BeGLbOfC7Y+FPGo7zuFMLKDp8Ax4fEaLbBdF+DZZnEqwLS8XIhEejSNYeIUSr QckS57NGYudGWIYrfL+XKRrm8liq8OGo5M/Ngr4ijJyzIaLvtfLoCxzE2ITTPeIi 2b4htUZEbQa85D7VaT9DfkEKRImS kGMIQ+gyUjeDCLw5fzkerIRi6GaVJXr2vyw8 vea3V4qN7bE39f4aS0u8MNmmFTdjZJAbVN4eS2896+NwPdzw9dtHtG59alX7glB5 bM7gKPwaYLE/yBbDd4KwujI7w0ZTLklDF8shHuEXNgbSAb8wPTTClUIrV4QID2iv VuvotqGygLKpgzZ7bvoRiaazgP+H =GnHa -----КОНЕЦ ПОДПИСИ PGP-----