ОТП Банк разработал методику расчета мощностей для ИИ-сервисов

«Когда мы начинали внедрять генеративный ИИ, столкнулись с дилеммой: заложить избыток ресурсов и заморозить капитал или недооценить нагрузку и потерять клиентов», — признается Богдан Гарбар из ОТП Банка. Эксперт представил инженерный подход, который переводит бюджетирование инфраструктуры для LLM из области интуитивных догадок в плоскость точных расчетов.

Руководитель Центра платформенных ИИ-решений ОТП Банка Богдан Гарбар на форуме «Франкенштейн на кибербанке» предложил способ уйти от неточных экспертных оценок при закупке GPU-серверов. Раньше компании часто опирались на непрозрачные бенчмарки, что приводило либо к простою дорогостоящего оборудования, либо к сбоям в работе сервисов под нагрузкой.

Разработанный инструмент связывает бизнес-показатели с техническими требованиями проекта. Система вычисляет необходимый объем графических процессоров, исходя из реальных параметров: объема памяти на одну сессию, методов квантования моделей и техник обработки запросов. Такой подход позволяет компаниям заранее прогнозировать CapEx, совокупную стоимость владения и возврат инвестиций, обеспечивая выполнение SLA при минимально возможных затратах на инфраструктуру.