Искусственный интеллект и Джеффри Хинтон: отец «глубокого обучения»

Искусствeнный интeллeкт. Скoлькo o нeм скaзaнo, a вeдь пишущий эти строки дaжe и гoвoрить eщe тoлкoм нe нaчинaли. Сoxрaнeниe тeмпoв прoгрeссa пoтрeбуeт oбxoдa сeрьeзныx oгрaничeний сeрьeзныx oгрaничeний. Дaлee oт пeрвoгo лицa — Джeймс Сoмeрс. Я стoю тaм, гдe скoрo будeт цeнтр мирa, иначе говоря прoстo в бoльшoй кoмнaтe нa сeдьмoм этaжe блeстящeй бaшни в цeнтрe Тoрoнтo —   с кaкoй стoрoны пoсмoтрeть. Наша сестра в Тoрoнтo, пoтoму чтo Джeффри Xинтoн в Тoрoнтo. A Джeффри Xинтoн —   oтeц «глубoкoгo oбучeния», тexники, лeжaщeй в oснoвe aжиoтaжa нa тeму ИИ. «Чeрeз 30 лeт я oглянeмся нaзaд и скaжeм, чтo Джeфф — Эйнштeйн угоду кому) ИИ, глубoкoгo oбучeния, всeгo, чтo мы зoвeм искусствeнным интeллeктoм», гoвoрит Джeйкoбс. Изо всex исслeдoвaтeлeй ИИ Xинтoнa цитируют чaщe, чeм трex идущиx зa ним, вмeстe взятыx. Прaктичeски любoe дoстижeниe в oблaсти ИИ зa пoслeдниe дeсять лeт —   в пeрeвoдe, рaспoзнaвaнии рeчи, рaспoзнaвaнии изoбрaжeний и играх — манером) или иначе касается работы Хинтона. Институт Градиент, этот памятник восхождению идей Хинтона, является исследовательским центром, в котором компании со всех США и Канады —   похоже Google, Uber и NVIDIA — спонсируют усилия по коммерциализации технологий ИИ. Деньжонки вливаются быстрее, чем Джейкобс успевает об этом запросить; двое из его соучредителей опрашивали компании в области Торонто, и нужда на экспертов в области ИИ оказался в 10 раз как-то выше, чем поставляет Канада каждый год. Заведение Вектор в некотором смысле непаханая целина для попытки привлечь мир вокруг глубокого обучения: чтобы вложиться в эту технику, посоветовать ей, отточить и применять. Дата-центры строятся, небоскребы наполняются стартапами, в местность вливаются целые поколения студентов. Когда стоишь получи и распишись полу «Вектора», складывается ощущение, что вы в начале что-то. Но глубокое обучение, по своей сути, беда старо. Прорывная статья Хинтона, написанная вместе с Дэвидом Румельхартом и Рональдом Уильямсом, была опубликована в 1986 году. Бэкпроп, до словам Джона Коэна, — это «все, бери чем основано глубокое обучение — вообще все». И сие поразительно, учитывая, что бэкпропу более 30 планирование. Разобраться в том, как так получилось, просто что же делать: как техника могла ждать так долго и а там стать причиной взрыва? Возможно, мы в конце таковой. Становится удобоваримо, почему Хинтон, который родом из Великобритании, переехал семо в 1980-х после работы в Университете Карнеги — Меллона в Питтсбурге. И сие видно, когда ходишь по городу. Толпа многонациональная. С сего начинается наш разговор перед обедом. «Они с чего-то считали, что Никарагуа принадлежит США». Хинтону 69 планирование. У него острое, худощавое английское лицо с тонким ртом, большими ушами и гордым носом. Возлюбленный родился в Уимблдоне и в разговоре напоминает рассказчика детской книжки оборона науку: любопытный, завлекающий, пытающийся все объяснить. Некто забавный и немного играет на публику. Ему ужасно сидеть из-за проблем со спиной, потому-то летать он не может, а на приеме у дантиста ложится получай приспособление, напоминающее доску для серфинга. В 1980-х Хинтон был, подобно ((тому) как) и сейчас, экспертом по нейронным сетям, значительно упрощенной модели засада нейронов и синапсов нашего мозга. Однако в то промежуток времени было твердо решено, что нейронные сети — безвыходность в исследованиях ИИ. У этих сетей было всего двое слоя нейронов: слой ввода и слой вывода. С-за «Перцептронов» от идеи нейронных сетей отказались под все за несколькими исключениями, включая Хинтона. Же потребовалось еще 26 лет, прежде чем увеличилась вычислительная мощь. Про Хинтона это была долгожданная победа. Эти сферы содержат искусственные нейроны, которые по своей сути представлены маленькими вычислительными единицами, которые возбуждаются — делать за скольких возбуждается настоящий нейрон —   и передают это волнение другим нейронам, с которыми соединены. Подбивание нейрона представлено числом, скажем, 0.13 или 32.39, которое определяет достоинство возбуждения нейрона. И есть другое важное число, получай каждом из соединений между двумя нейронами, определяющее, до (каких возбуждения должно передаваться от одного к другому. Сие число моделирует силу синапсов между нейронами мозга. Пока существуют программы, способные распознать, есть ли для картинке хот-дог. Каких-то десять планирование назад они были невозможны. Для простоты предполагать, что это черно-белое изображение 100 держи 100 пикселей. Наконец, верхний слой сэндвича — мазок вывода —   будет состоять из двух нейронов — одного, представляющего «хот-дог», а другого — «не хот-дог». Бэкпроп, средство обратного распространения ошибки, на котором Хинтон построил свою карьеру, делает особенно это. Бэкпроп крайне прост, хотя лучше только работает с огромным количеством данных. Вот почему старшие данные так важны для ИИ — почему ими с таким рвением занимаются Facebook и Google и вследствие чего Vector Institute решил наладить связь с четырьмя крупнейшими больницами Канады и делиться данными. В данном случае данные принимают форму миллионов изображений, некоторых с хот-догами, некоторых за исключением. Ant. с; трюк в том, чтобы пометить эти изображения подобно ((тому) как) имеющие хот-доги. Когда вы создаете нейронную уз впервые, соединения между нейронами имеют случайные веса – случайные числа, которые чу, сколько возбуждения передается через каждое соединение. Личиной синапсы мозга еще не настроены. Предположим, вам берете первую обучающую картинку с изображением пианино. Ваша сестра преобразуете интенсивность пикселей изображения 100 х 100 в 10 000 чисел, согласно одному на каждый нейрон нижнего слоя понцы. По мере того, как возбуждение распространяется за сети в соответствии с силой соединения нейронов в прилегающих слоях, до сей поры постепенно доходит до последнего слоя, одного с двух нейронов, которые определяют, есть на картинке хот-дог. Пусть, все работает не так. Допустим, сеть ошиблась касательно изображения. Как это работает? Вы начинаете с последних двух нейронов и выясняете, в какой мере они ошибаются: какова разница между их числами возбуждения и экой она должна быть на самом деле. Потому вы просматриваете каждое соединение, ведущее к этим нейронам — спускаясь вверху по слоям — и определяете их вклад в ошибку. К этому моменту вам знаете, каков вклад отдельного соединения в общую ошибку. Перед разлукой, вы меняете все веса, чтобы в целом убавить шансы на ошибку. Этот так называемый «метод обратного распространения ошибки» заключается в волюм, что вы как бы прогоняете ошибки отступать по сети, начиная с обратного конца, с выхода. Невероятное начинает совершаться, когда вы делаете это с миллионами или миллиардами изображений: мотня начинает хорошо определять, изображен на картинке хот-дог тож нет. И что еще более примечательно, так сие то, что отдельные слои этих сетей распознавания изображений начинают «видеть» изображения си же, как это делает наша собственная визуальная построение. Сеть организуется в иерархические слои, даже не суще запрограммированной таким образом. Настоящий интеллект не смущается, временами проблема немного меняется. С текстом это становится до этого часа более очевидно. Затем вы обучаете сеть круглым счетом, что слова, появляющиеся рядом на страницах Википедии, будут наделяться похожими координатами —   и вуаля, происходит кое-что странное: слова, имеющие похожие значения, будут замечаться рядом в этом пространстве. «Безумный» и «расстроенный» будут обок; «три» и «семь» тоже. Более того, векторная цифирное дело позволяет вычесть вектор «Франции» из «Парижа», подкидать его к «Италии» и найти «Рим»   поблизости. Никто маловыгодный говорил нейросети, что Рим для Италии — сие то же, что Париж для Франции. «Это удивительно», говорит Хинтон. «Это шокирует». «Если ваша милость хотите узнать, что такое мысль, — говорит возлюбленный, —   я могу передать ее вам серией слов. Я могу сообщить: «Джон подумал: «упс». Но если вы спросите: как такое мысль? Что значит для Джона что у кого принадлежности эту мысль? В его голове протекает некая нейронная активность». Старшие картины нейронной активности, если вы математик, дозволено уловить в векторном пространстве, где активность каждого нейрона короче соответствовать числу, а каждое число — координате очень большого вектора. В соответствии с мнению Хинтона, мысль — это танец векторов. Днесь понятно, почему Институт Вектор назвали так? В конце концов, они сделано создали самоуправляемые автомобили, выявляющие рак компьютеры, мгновенные переводчики разговорного языка. И исключительно когда вы покидаете комнату, вы вспоминаете, как эти системы «глубокого обучения»   все еще шабаш глупы, несмотря на свою демонстративную силу мысли. Миникомпьютер, который видит кучу пончиков на столе и непроизвольно подписывает ее как «кучу пончиков, лежащих получи и распишись столе», кажется понимающим мир; но когда та но программа видит девушку, которая чистит зубы, и говорит, что же это «мальчик с бейсбольной битой», вы осознаете, в какой мере неуловимое это понимание, если оно вообще питаться. Нейронные сети — это просто бездумные и расплывчатые распознаватели образов, и мере) полезными могут быть такие распознаватели образов —   при всем том их стремятся интегрировать в любое программное обеспечение — они в лучшем случае представляют ограниченную породу интеллекта, которую нетрудно обмануть. Глубокая нейронная сеть, которая распознает изображения, может фигурировать полностью сконфужена, если вы измените один пиксель река добавите визуальный шум, незаметный для человека. Близко так же часто, как мы находим новые способы применения глубокого обучения, неизвестно зачем же часто мы сталкиваемся с его ограниченностью. Самоуправляемые автомобили далеко не могут ехать в условиях, которых не видели по-старому. Машины не могут разбирать предложения, которые требуют здравого смысла и понимания того, (языко устроен мир. Глубокое обучение в некотором смысле имитирует происходившее в человеческом мозге, но поверхностно — что, возможно, объясняет, на хренищ его интеллект оказывается таким поверхностным иногда. Бэкпроп неважный (=маловажный) был обнаружен в процессе погружения в мозг, попытки зашифровать саму мысль; он вырос из моделей обучения животных методом проб и ошибок в старомодных экспериментах. Так, что мы знаем об интеллекте, ничто точно по сравнению с тем, чего мы о нем пока мало-: неграмотный знаем. Дэвид Дювенод, ассистент профессора из того но отделения, что и Хинтон, в Университете Торонто, говорит, зачем глубокое обучение похоже на инженерию до введения физики. «Кто-так пишет работу и говорит: «Я сделал этот понтон, и он стоит!». Другой пишет: «Я сделал настоящий мост, и он рухнул, но я добавил опоры и симпатия стоит». И все сходят с ума по опорам. Кто такой-то добавляет арку —   и все такие: арки сие круто! С физикой же вы можете на самом деле впереть, что будет работать и почему. С чем это связано? Выражение глаз со стороны трудно составить, когда все, яко вы видите — это продвижение за продвижением. Ежели и мы стали лучше понимать, какие изменения улучшат системы глубокого обучения, автор пока смутно представляем, как эти системы работают и смогут ли они часом-нибудь собраться в нечто столь же мощное, во вкусе человеческий разум. Важно понять, смогли ли да мы с тобой извлечь все, что можно, из бэкпропа. Если только да, то нас ждет плато в развитии искусственного интеллекта. Многотерпеливость
Если вы хотите увидеть следующий прорыв, черт-те что вроде основы для машин с гораздо более гибким интеллектом, ваша милость должны, по идее, обратиться к исследованиям, похожим получи и распишись исследования бэкпропа в 80-е годы: когда умные прислуга сдавались, потому что их идеи пока неважный (=маловажный) работали. Несколько месяцев назад я побывал в Center for Minds, Brains and Machines, многоцелевом учреждении, расквартированном в MIT, для того чтобы посмотреть, как мой друг Эял Дехтер защищает свою диссертацию после когнитивной науке. Перед началом выступления его губернатор Эми, его пес Руби и его дочь Сюзанна поддержали его и пожелали удачи. Эял начал свое вечер с увлекательного вопроса: как так получилось, что Сюзанна, которой лишь два года, научилась говорить, играть, следить вслед за рассказами? Что в мозге человеческом такого, что позволяет ему си хорошо учиться? Научится ли компьютер когда-нибудь штудировать так быстро и плавно? Мы разбиваем домен возьми куски и изучаем его по частям. Эял —   алгебраист и программист, он думает о задачах —   например, сделать сливки — как о сложных компьютерных программах. Но ведь ваша сестра не учитесь делать суфле, заучивая сотни мельчайших инструкций программы несколько «поверните локоть на 30 градусов, затем посмотрите держи столешницу, затем вытяните палец, затем…». Делать что бы нужно было делать это в каждом новом случае, школенье стало бы невыносимым, и вы бы остановились в развитии. Компьютеры сего не делают и поэтому кажутся глупыми. Чтобы теория глубокого обучения распознала хот-дог, вам придется скормить ей 40 миллионов изображений хот-догов. В признак от компьютера, в ее голове есть представление о томище, как работает мир. «Компьютеры смогут заменить юристов безлюдный (=малолюдный) потому, что юристы делают что-то сложное. Девяносто шестой про интеллект не смутится, если вы слегка измените запросы к решению проблемы. Она дает компьютеру функцию программиста, собирающего библиотеку многоразовых модульных компонентов, позволяющую организовывать более сложные программы. Его советник, Джошуа Тененбаум, — Вотан из самых цитируемых исследователей ИИ. Имя Тененбаума всплывало в половине разговоров, которые я имел с другими учеными. Отдельные люди из ключевых людей в DeepMind — команды разработчиков AlphaGo, вымышленно обыгравшего чемпиона мира по игре в го в 2016 году — работали по-под его началом. Он вовлечен в стартап, который пытается двинуть самоуправляемым автомобилям интуитивное понимание основ физики и намерений других водителей, для того чтобы те лучше предвосхищали происходящее в ситуациях, с которыми безлюдный (=малолюдный) сталкивались ранее. «Проблемы, над которыми работает Эял, чудо) как и очень сложные», говорит Тененбаум. «Нужно чтобы как рукой сняло много поколений». На протяжении десятилетий бэкпроп был проявлением отвесный математики, по большей части ни на зачем не способной. По мере того, как компьютеры становились быстрее, а сноровка сложнее, все менялось. Что касается Хинтона, некто убежден, что преодоление ограничений ИИ связано с созданием «моста в среде информатикой и биологией». Бэкпроп, с этой точки зрения, был триумфом биологически вдохновленных вычислений; идейка изначально исходила не из инженерии, а из психологии. Следовательно теперь Хинтон пытается повторить этот трюк. Сегодняшний день нейронные сети состоят из больших плоских слоев, же в неокортексе человека настоящие нейроны выстраиваются не один горизонтально, но и вертикально, в столбцы. Хинтон догадывается, в целях чего нужны эти столбцы — в зрении, например, они позволяют признавать объекты даже при изменении точки зрения. Почему он создает искусственную версию —   и называет их «капсулами» — чтобы проверки этой теории. Пока что ничего неважный (=маловажный) выходит: капсулы не особо улучшили производительность его сетей. Так ведь 30 лет назад с бэкпропом было так же самое. «Это должно сработать», говорит возлюбленный о теории капсул, смеясь над собственной бравадой. «А в таком случае, что пока не работает, это лишь временное раздражение».

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *