Илон Маск запустил обучение семи нейросетей на гигаваттном Colossus 2

Компания xAI Илона Маска ввела в эксплуатацию суперкомпьютерный кластер Colossus 2, на котором одновременно стартовало обучение семи масштабных языковых и мультимодальных моделей. Установка стала первой в мире ИИ-системой с энергопотреблением свыше 1 ГВт, что превышает пиковую нагрузку такого мегаполиса, как Сан-Франциско.

По словам Илона Маска, вычислительные мощности xAI сейчас задействованы в параллельном тренинге целой линейки нейросетей разной сложности. Флагманом проекта стала модель объемом 10 трлн параметров — на её предварительное обучение, по оценкам Маска, потребуется около двух месяцев.

Рекордная мощность и состав моделей

Технологический стек кластера Colossus 2 позволяет одновременно работать над проектами разного масштаба. В текущем цикле обучения задействованы:

• генеративная модель Imagine V2 для работы с изображениями и видео;
• две версии нейросетей по 1 трлн параметров и две — по 1,5 трлн;
• тяжеловесные решения на 6 трлн и 10 трлн параметров.

Запуск системы такого масштаба подтверждает стратегию Маска по созданию наиболее мощного ИИ-инструментария в мире. Огромное энергопотребление в 1 ГВт обусловлено необходимостью поддерживать беспрецедентную скорость вычислений, требуемую для обучения Grok и других перспективных моделей компании.