May 31, 12:59

Наткнулся на отрытое письмо от известного ML-инженера из Канады которое называется «Горький урок», попробую пересказать его тезисно – если вам не интересна тема ML, можно пропустить пост:

– Стоимость «вычислительной операции» с каждым годом уменьшается;

– За 70 лет исследований ИИ, все прорывы в сфере ИИ связаны с теми моментами когда ученые значительно повышали вычислительные мощности «базовых алгоритмов» с помощью оборудования. Deep blue (Шахматы), Alpha Go (Игра Го) все это примеры алгоритмов когда ученые решали задачу не путем попытки научить алгоритм «мыслить» как человек, а инвестируя в вычислительные мощности;

– ИИ-инженеры пишут алгоритмы которые пытаются повторить «человеческие» способы обработки и получения данных, это приятная задача для ИИ-инженера, но долгосрочно она не принесет результата или результат будет хуже чем у «базовых алгоритмов»;

– «Горький урок» в том, что простые алгоритмы которые масштабируются если добавить вычислительных мощностей всегда лучше, чем «сложные алгоритмы». С вычислительными мощностями нет проблем сейчас и не будет в будущем.

– И еще урок в том, что человеческий мозг очень сложный механизм, нам нужно перестать самим писать алгоритмы которые пытаются «повторить» какие-то части этой бесконечно сложной системы. Нам лучше сфокусироваться на алгоритмах, которые помогут найти и описать принципы работы мышления, а не самим, людишкам, пытаться написать такие принципы – у нас не получается, потому что система которую мы пытаемся описать огромна и сложна, и ее по хорошему должны описывать роботы.

В общем, если ваш алгоритм показывает эффективность при увеличении вычислительной мощности, вы клевый ML-инженер.

Оригинал письма:

www.incompleteideas.net/IncIdeas/BitterLesson.html