Как выбрать GPU-сервер для нейросетей: полное руководство по оборудованию

Представим ситуацию: вашей компании нужно запустить внутреннего помощника — обрабатывать документы или создавать изображения. При этом важно работать с ИИ в закрытом контуре, или вовсе — изолировано от сети. Для запуска нейросетей необходим специальный сервер с GPU. GPU — это графический процессор, изначально он использовался для работы с графикой, потому что он эффективно может запускать сразу несколько процессов. Именно поэтому для сложных вычислений начали использовать именно сервера на базе GPU в связке с CPU.

И дальше возникает вопрос: какую видеокарту выбрать, сколько памяти заложить и нужен ли вообще вам собственный сервер?

В этом руководстве пройдём путь от требований к модели до проверки готовой конфигурации. Отдельно разберём бюджет: что учитывать при покупке, аренде и приобретении оборудования, например в кредит или в лизинг.

Чтобы выбрать GPU-сервер для нейросетей, определите модель, режим работы и ожидаемую нагрузку. Оцените видеопамять для весов и рабочих данных, проверьте совместимость программ, подберите остальные компоненты. Затем испытайте конфигурацию на своих запросах: измерьте качество результата, скорость ответа и расход памяти. Сравнивайте стоимость вариантов при одинаковых требованиях.

Можно поступить проще - сформулируйте запрос, и наши специалисты бесплатно подберут конфигурацию под ваши задачи и бюджет.

Запуск готовой нейросети
Инференс — работа уже обученной модели: она получает запрос и выдаёт результат. Например, отвечает сотруднику, распознаёт текст или составляет описание товара. На этом этапе вы используете её параметры, а не обучаете их заново. Различия между памятью для инференса и обучением описаны в документации.

Дообучение на своих данных
LoRA - это способ дообучить нейросеть на новых примерах. Исходные параметры модели оставляют без изменений, а обучают небольшие дополнения — адаптеры. Например, так модель можно учить отвечать в принятом у компании формате. Дообучение адаптирует готовую модель. При полном дообучении обновляются все параметры модели; LoRA позволяет обучать небольшие добавленные матрицы, сохраняя исходные веса замороженными.

Обучение с нуля
Здесь конфигурацию следует считать вместе с командой разработки: по архитектуре, данным, настройкам обучения и сроку получения результата. Во время обучения память занимают не только веса, но и градиенты, состояния оптимизатора и промежуточные данные.

Подготовьте короткое техническое задание. Не обязательно сразу знать модель процессора или число накопителей. Для первого обсуждения рекомендуем ответить на шесть вопросов:

1. Какая задача? Чат с документами, распознавание изображений, генерация контента, дообучение.
2. Где будет работать система? В офисной серверной, в дата-центре или у облачного провайдера.
3. Какие входные данные? Длина документов, разрешение изображений, объём аудио или видео.
4. Какая нагрузка? Число одновременных запросов, заданий в сутки и ожидаемые пики.
5. Какая скорость нужна? Время до начала ответа и время выполнения всего задания.
6. Кто её обслуживает? Кто установит ПО, настроит доступ и восстановит сервис при сбое.

Видеопамять, или VRAM, хранит данные, с которыми работает ускоритель. Начальную оценку памяти для весов можно получить из числа параметров и количества байтов на параметр. Но это ещё не требования ко всему запуск. Этот расчёт показывает, сколько памяти занимают только веса модели. Для запуска понадобится дополнительная память.

Что такое веса?
Веса — это числовые коэффициенты (параметры), которые модель подобрала в процессе обучения. Они определяют силу связей между нейронами и хранят в себе все «знания» нейросети.

Возьмём для примера условную модель ровно на 8 миллиардов параметров. Для хранения каждого параметра в FP16 требуется 2 байта:

8 000 000 000 × 2 = 16 000 000 000 байт — 16 ГБ, или примерно 14,9 ГиБ.

Это память только для весов. Для запуска потребуются дополнительные ресурсы.

При генерации текста нейросеть тратит много сил на повторные вычисления. Чтобы этого избежать, она сохраняет уже обработанные слова в быструю память — это называется KV-кеш. KV-кеш хранит промежуточные результаты для уже обработанных частей текста. Это экономит повторные вычисления, но занимает память.

Проще говоря, вместо того чтобы каждый раз заново перечитывать весь текст с самого начала, модель просто заглядывает в свои «черновики». Этот кеш экономит время, но занимает место в видеопамяти. Сколько именно памяти ему нужно, зависит от настроек и того, как устроена сама нейросеть.

Название серии и объём VRAM — только часть выбора. Проверьте поддержку ускорителя в используемом ПО, доступные форматы вычислений, версии драйверов и библиотек на официальном сайте NVIDIA.

Сначала сформулируйте причину расширения. Нужно разместить более крупную модель? Обслуживать больше независимых запросов? Запускать отдельные задачи одновременно? Для каждого случая попросите разработчика описать схему использования GPU.

Не закладывайте в расчёт автоматическое объединение видеопамяти. Наличие нескольких ускорителей само по себе не объясняет, как программа распределит между ними модель и данные. До покупки нужно подтвердить поддержку выбранного способа распределения и испытать его.

Опираясь на опыт, мы создали таблицу для выбора вашего будущего сервера для нейросетей. Она помогает сформировать заявку и понимание базовых характеристик, но не заменяет тестирование и, разумеется, не обещает производительность конкретного оборудования.

GPU-сервера это не товар с постоянной ценой, она может сильно варьироваться в зависимости от ваших задач и требуемых спецификаций. Любой поставщик запросит у вас как минимум ТЗ, а как максимум - список оборудования. Для сравнения вариантов приобретения сервера рекомендуем собрать полный бюджет на один период и одну нагрузку. Обязательно включите в него разовые расходы и регулярные платежи, если выбираете лизинг или кредит.

Для варианта с покупкой собственного оборудования запросите стоимость сервера, доставки, установки, программного обеспечения, размещения и сопровождения. Добавьте резервное копирование и план действий при отказе. Уточните, какие услуги уже включены в предложение, чтобы не посчитать их дважды.

Для аренды сервера с GPU проверьте модель ускорителя, выделяемую память, доступные CPU и RAM, условия хранения данных и тарификацию. При почасовой оплате отдельно выясните, за что продолжают начисляться платежи после остановки вычислений. Все эти параметры нужно брать из условий конкретного провайдера.

Аренду облачного сервера с GPU можно рассмотреть для пилота и проверки конфигурации. При регулярной нагрузке сравните её с собственным оборудованием на выбранном горизонте. Не предполагайте заранее, что один вариант окажется дешевле.

Для приобретения сервера c GPU в лизинг запросите размер авансового платежа, график будущих платежей, условия выкупа и состав дополнительных расходов. Сравнивайте полную сумму по предложению, а не только платёж за месяц. Стоимость эксплуатации сервера включайте в расчёт отдельно, если её нет в договоре.

Если вы не хотите ничего искать самостоятельно, можно обратиться к нам - мы подберём оптимальную конфигурацию сервера с GPU под ваши задачи, а технические специалисты расскажут, как выгоднее его приобрети.

Резюмируя, что вам нужно будет проверить перед заказом сервера, в независимости от того, какой вариант вы выбрали:

• Тестовые данные. Подготовьте типичные и сложные примеры, а не только короткий демонстрационный запрос.
• Пиковую нагрузку. Проверьте согласованное число одновременных заданий и время ожидания.
• Требуемое качество ответов. Заранее определите, какие ошибки допустимы, а какие делают систему непригодной.
• Повторяемость. Сохраните версии модели, драйверов, библиотек и настройки запуска.
• Совместимость. Получите подтверждение по всей конфигурации, включая GPU, питание и охлаждение.
• Обслуживание. Уточните гарантию, порядок диагностики, сроки реакции и ответственность за настройку ПО.
• Восстановление. Проверьте, где хранятся копии и кто сможет восстановить работу.