В тот самый момент, когда новая модель Open AI GPT-3 дебютировала в мае прошлого года, её производительность считалась буквально передовой. Способный генерировать текст, неотличимый от написанной человеком прозы, GPT-3, являющийся алгоритмом обработки естественного языка, в буквальном смысле установил новый стандарт в сфере глубокого машинного обучения. И кто бы мог подумать, но разница, которая была достигнута буквально за год, впечатляет ни на шутку.
Таким образом, как стало известно, группа исследователей из Пекинской академии искусственного интеллекта объявили в прошлый вторник о том, что они выпускают собственную генеративную модель системы глубокого обучения под названием «Wu Dao», так называемого гигантского искусственного интеллекта, по-видимому, способного делать буквально всё, на что способны алгоритмы GPT-3, и даже больше. И если же говорить об особенностях Wu Dao, то для начала следует упомянуть, что «опыт» у данной системы просто огромен. Она была обучена на 1,75 триллионах параметров, что в свою очередь в десять раз больше, нежели данные, на основе которых была обучена система GPT-3 — 175 миллиардов параметров.
Примечательно и то, что благодаря внутренним технологиям компании, процесс обучения модели системы на столько внушительному множеству различных, отличающихся друг от друга параметров, проходил весьма быстро. То есть, версия Wu Dao 2.0 появилась на свет всего-навсего через три месяца после того, как была выпущена версия 1.0. Изначально же исследователей из Пекинской академии искусственного интеллекта разрабатывали систему обучения с открытым исходным кодом, местами похожую на Google Mixture of Experts, получившую на тот момент название FastMoE. Данная система, на первом этапе своего существования работавшая на PyTorch, позволяла обучать искусственный интеллект как на кластерах суперкомпьютеров, так и на обычных графических процессорах.
Это дало FastMoE крайне большую гибкость, которая превосходила таковой показатель у системы от Google. От части это стало возможным благодаря тому, что FastMoE не требует проприетарного оборудования, такого как TPU от Google, и, следовательно, «может работать на абсолютно любом стандартном оборудовании», несмотря на «целевую приверженность» именно под функционирование с суперкомпьютерными кластерами. Другим же важнейшим отличием Wu Dao от большинства других моделей систем глубокого обучения, которые выполняют единственную задачу, а именно написание текста, создание глубоких подделок, либо же распознавание лиц, является то, что Wu Dao является мультимодальным, теоретически похожим на некий «искусственный интеллект для борьбы с ненавистью от Facebook». Проще говоря — Wu Dao способен выполнять свою работу крайне быстро, и при этом делать её крайне качественно и максимально приближенно к человеческому восприятию текста, аудио, картинки или чего-бы то ни было, на чём конечный ИИ будет специализироваться.
