Компания Meta Platforms Inc., являющаяся владельцем социальной сети Facebook, хочет обладать возможностью загрузки в один компьютер всех необходимых данных, которые у нее есть, чтобы обрабатывать их целиком. Это сравнимо с работой нейросетей GPT3 и GPT2, которые у всех на слуху, заявил 25 января «Известиям» сo-founder, технический директор Lia.chat Иван Дашкевич.
Накануне в Meta сообщили, что до конца 2022 года создадут самый мощный суперкомпьютер AI Research SuperCluster (RSC), работающий на базе искусственного интеллекта (ИИ). Новинка поможет в разработке технологий для создания метавселенной.
«Для работы с GPT2 были необходимы одни мощности, после появления новой нейросети GPT3, которая в 10 раз мощнее, необходим компьютер, который сможет потянуть требования софта», — сказал Дашкевич.
Эксперт сообщил, что разработчики GPT3 создали ее для возможного дальнейшего улучшения моделей работы с текстом (natural language processing) за счет экспоненциального роста самих моделей.
«Разумеется, при увеличении количества параметров модели и размера появляется необходимость в более производительных машинах. GPT3 запускается и на гораздо более простых машинах, но такие компьютеры могут использоваться для дальнейшего исследования подходов по созданию нейросетей, в которых будет больше параметров с более сложной структурой работы. Чем больше параметров, тем более сложные задачи может решать нейронная сеть», — пояснил он.
По словам Дашкевича, эти машины обрабатывают «огромные массивы данных», которые нужно интегрировать в нейросети и быстро обрабатывать.
«Проблема в том, чтобы сделать это именно быстро», — подчеркнул он.
Он добавил, что в метавселенной Facebook должно быть высокое время отклика, системы должны быстро давать ответ. Суперкомпьютеры позволяют ускорить работу подобного рода систем, помогут включить большее число параметров.
«Если мы говорим о социальной сети, где нужно рассмотреть большой граф взаимодействий людей, важно знать не только ближайших друзей, но и друзей друзей. В идеале необходимо построить полный граф того, кто с кем знаком и какие виды связи/обмена информацией есть», — пояснил специалист.
Чтобы не загружать эти данные отдельными массивами, нужны мощности, которые позволят сделать это целиком. Возможно, именно для этого Facebook могут понадобиться такого рода суперкомпьютеры, чтобы вместить всю информацию, считает эксперт. Система будет давать ответы, принимая во внимание более широкую картину. Компания будет использовать компьютеры в своих целях, продавая потребителям результаты работы суперкомпьютера, допустил он.
По его словам, в Meta также будут исследовать возможность построения более сложных нейросетей с увеличенным количеством параметров. Это позволит исследовать вектор развития нейросетей будущего — более крупных, с более сложной архитектурой. Через это компания сможет прийти к неожиданным результатам, считает IT-специалист.