July 18, 17:52

Любопытный проект полезный людям с ограниченными возможностями (мне термин не нравится, но лучше не знаю).

youtu.be/lhQzrZ3PrtU

Какое-то время назад у reddit пользователя chaosparrot начало болеть плечо во время игры в стратегии вроде Starcraft, поэтому он начал собирать систему, где можно не использовать мышь – он подключил устройство для отслеживание взгляда и какое-то время играл так.

Теперь он доработал систему с помощью ML – натренировав нейронку узнавать определенные звуки, u/chaosparrot смог привязать звуки к определенным клавишам (на 0:17 видно к каким именно), собрав таким образом «звуковую клавиатуру».

В итоге он теперь может играть в RTS вроде Starcraft, где есть очень много разных функций интерфейса – с помощью звуков и направления взгляда.

Очень клевый проект для людей у которых парализованы различные части тела.

Вот тут можно почитать историю проекта и найти исходный код, да и автор в комментариях отвечает:

www.reddit.com/r/MachineLearning/comments/ceovht/p_playing_rts_games_with_audio_recognition/

Hands-free Starcraft 2 - Demo vs Elite AI
Code can be found at https://github.com/chaosparrot/parrot.py I really want to start using this on the ladder vs other players, but I still have to ask Blizz...