02/06/2024
Прочитал на днях любопытную статью, в которой рассказывается об истории появления нейросетей-трансформеров. Все началось со статьи "Внимание – это все, что вам нужно", написанной Ашишем Васвани и его коллегам в 2017 году. В ней описан принцип "самовнимания", революционизировал обработку последовательностей данных, позволив обрабатывать их параллельно и значительно улучшив машинный перевод.
В этом посте я не буду останавливаться на философской стороне идеи "внимания, направленного внутрь", которая открывает перед нами целый портал смыслов и инсайтов. Напишу о другом.
Меня заинтересовало, что многие идеи, приведшие к созданию Трансформера, возникли из неформальных бесед между исследователями. Эти спонтанные обмены мнениями и, в целом, творческая атмосфера кампуса, в которой работали ученые, – оказалась своего рода плавильным котлом, в котором и зародилась прорывная идея.
Вот что пишет автор статьи: "Без среды Google не было бы и трансформеров. Мало того, что все авторы были сотрудниками Google, они еще и работали в одних и тех же офисах. Встречи в коридорах и подслушанные разговоры за обедом привели к важным открытиям. Группа также отличалась культурным разнообразием. Шесть из восьми авторов родились за пределами США; двое других - дети немцев, получивших грин-карту и временно проживавших в Калифорнии, и американца в первом поколении, чья семья бежала от преследований".
А вот еще одна цитата:
"Случайный разговор в коридоре стал началом многомесячного сотрудничества, которое в конечном итоге привело к созданию архитектуры для обработки языка, известной просто как "трансформер"... Яркая открытая рабочая среда Google, включая велосипеды на кампусе, оказалась плодотворной. Якоб Ушкорейт подъезжал к моему столу на велосипеде и чертил модель на белой доске позади меня, обсуждая свои мысли с теми, кто был рядом".
Эта атмосфера "переопыления" и обмена идеями напомнила о тех книги, которые вдохновляли меня в детстве. Например, и "Иду на грозу" Даниила Гранина, "Открытая книга" Вениамина Каверина или "Понедельник начинается в субботу" братьев Стругацких описывали мир научного поиска, инноваций и творчества, в котором так хочется жить.
Я вижу здесь несколько практических выводов.
Во-первых, офисы – это не так уж плохо. Конечно, я не про те офисы, куда надо идти, чтобы протирать штаны или "продавать" через холодные обзвоны. Но среда кампуса – это вообще другое. Это про проектную работу, про совместное движение к цели, драйв исследования и открытий.
Во-вторых, несмотря на все эти плюсы, крупные компании вроде Google все равно умудряются отставать. Да, идеи рождаются именно в их стенах, но видя инерцию, которая мешает поддерживать необходимый темп развития и внедрения инноваций, лучшие рано или поздно уходят в свободное плавание.
Не случайно Пол Грэм говорит о том, что работать в стартапе – это совсем другой уровень. Прежде всего ответственности, но и вдохновения тоже. И поэтому неудивительно, что многие продукты, казалось бы, всемогущего Google не взлетают или поразительным образом отстают, хотя имели все шансы быть в авангарде прогресса. Тут можно вспомнить и пресловутые Google Glass, и соцсеть Google+, и упомянутый в этой статье проекта нейросети-трансформера. Все сотрудники, причастные к разработке этого проекта, покинули компанию и отправились с свободное плавание. Многие стали долларовыми миллиардерам – в тексте все подробно описано.
Но дело не только в деньгах. Крупные игроки часто уступают мелким конкурентам, способным быстрее адаптироваться и внедрять новые идеи. История создания трансформера хорошо иллюстрирует так называемую "Дилемму инноваторов" – концепцию, которую описал великий бизнес-мыслитель Клейтон Кристенсен.
Согласно его теории, лидеры отрасли часто отстают от мелких новых игроков, несмотря на их ресурсы и потенциал. Это происходит из-за того, что крупные компании сосредоточены на поддержке существующих продуктов и удовлетворении текущих потребностей клиентов, в то время как новые игроки быстрее реагируют на изменения и внедряют инновации. В случае с Google, хотя у компании были все возможности для создания прорывных технологий, инерция и фокус на текущих продуктах замедлили их прогресс.
(использовались материалы FT.com, Wired) Как и многие научные открытия это произошло по счастливой случайности. В начале 2017 года два сотрудника Google, Ашиш Васвани и Якоб У....