В следующие 100 раз производительность оборудования искусственного интеллекта будет сложнее

Для тех из нас, кто любит аппаратное обеспечение и надеется на большую информацию о процессоре искусственного интеллекта TPUv5e и окружающей его системе, межсоединениях и программном стеке на конференции Hot Chips 2023 на этой неделе, вступительная речь Джеффа Дина и Амина Вахдата, двух наиболее важных технических специалистов в Google, было небольшим разочарованием. Но выступление Google все же дало нам пищу для мысленных экспериментов с ИИ.

Прошло десять лет с тех пор, как Дин, который сыграл важную роль в столь многих технологиях, созданных Google, что его, вероятно, никогда не следует пускать в самолет или заниматься скалолазанием, посчитал на клочке бумаги и выяснил, что Если Google добавит функции искусственного интеллекта в свою одноименную поисковую систему, ей придется удвоить размер своего центра обработки данных и отправить Google на путь создания собственных матричных математических механизмов Tensor Processing Unit, или TPU.

Десять лет спустя искусственный интеллект стал более сложным и требовательным к вычислениям, а широко обсуждаемое железо TPUv4, хотя и полезное сейчас и на многие годы вперед, выглядит немного устаревшим. Системы TPUv4 были дополнены системой TPUv5e, которая, скорее всего, основана на 5-нанометровых процессах и, весьма вероятно, имеет как минимум вдвое большую пиковую производительность и работает в центрах обработки данных Google. (Мы подробно изучили систему TPUv4 в октябре прошлого года и еще не обновили ее, добавив в нее межсоединение оптического коммутатора, которое было представлено ранее в этом году и которое будет подробно обсуждаться на Hot Chips на этой неделе.)

И, как мы и ожидали, некоторые подробности о варианте TPUv5e, используемом как для обучения, так и для вывода, были раскрыты на мероприятии Google Cloud Next 2023, которое проходило одновременно с Hot Chips 2023, и мы скоро ко всему этому вернемся. Мы также ожидаем, что как только облачные экземпляры будут доступны под управлением TPUv5e, они будут обеспечивать примерно на 30 процентов большую отдачу от затраченных средств, чем предыдущие экземпляры TPUv4 в Google Cloud. Может даже оказаться, что это принесет еще большую отдачу от вложенных средств. Нам придется посмотреть.

Мы предпочли доклады Google на Hot Chips программному докладу Google Next, потому что, когда говорит Дин, системным архитекторам нужно слушать. Дин приложил руку практически ко всем основным технологиям Google: способу обработки больших данных MapReduce, реляционному оверлею BigTable для распределенной системы хранения Spanner, программному обеспечению TensorFlow и Pathways, лежащему в основе крупнейших моделей искусственного интеллекта в семействе PaLM, Аппаратное обеспечение TPU, а теперь и большая языковая модель Gemini, которая составит конкуренцию моделям OpenAI GPT-4 и GPT-5. (Ну, все надеются, что где-то здесь, помимо полупроводниковых фабрик и производителей оборудования, есть деньги.) Дин много лет руководил Google Research и стал соучредителем команды Google Brain, которая объединила лучших исследователей искусственного интеллекта и приобретение DeepMind, и где в настоящее время он является главным научным сотрудником.

Его основной доклад был разделен с Амином Вахдатом, который, как и Дин, также является научным сотрудником Google и в настоящее время является вице-президентом по разработкам в компании, был профессором информатики и инженерии в Калифорнийском университете в Сан-Диего и директором его центра сетевых систем, прежде чем присоединиться к Google в 2010 году, где он был техническим руководителем по сетям, затем техническим руководителем по вычислениям, хранению и сетям, а в последнее время возглавляет команду машинного обучения, систем и облачного искусственного интеллекта в компании. а также отвечал за системные исследования в Google. MSCA разрабатывает и поддерживает Compute Engine и Borg — набор вычислительных механизмов CPU, TPU, GPU, сеть, объединяющую их, а также весь стек программного обеспечения для искусственного интеллекта, который используется в производстве Google и его облачными клиентами.

Дин и Вахдат в значительной степени определяют и создают инфраструктуру Google. Неясно, какую роль в настоящее время играет Урс Хёльцле, также член Google и первый вице-президент компании по инжинирингу, затем вице-президент по поиску и на протяжении более двух десятилетий старший вице-президент по инжинирингу, отвечающий за команду технической инфраструктуры. его новый дом в Окленде, Новая Зеландия. В Hot Chips Дин обрисовал местность для ИИ, а Вахдат рассказал о растущих требованиях и оборудовании для преодоления этой территории.