NVIDIA A100 80GB

A100 80GB предназначен для команд, чей код обучения и инференса написан и проверен на архитектуре Ampere и которым нужны восемь GPU по 80 ГБ, соединённых через NVLink. Оставаясь на A100, вы избегаете повторной проверки ядер, численных результатов и пайплайнов на новой архитектуре в середине программы работ.

Он также подходит для вычислений двойной точности. По данным NVIDIA, производительность FP64 на тензорных ядрах составляет 19,5 TFLOPS на GPU, а плата HGX A100 на 8 GPU обеспечивает 156 TFLOPS FP64.

В спецификациях NVIDIA A100 указана поддержка тензорными ядрами форматов TF32, BF16, FP16 и INT8, а также FP64; FP8 и FP4 в этом списке нет. TDP каждого GPU в стандартной конфигурации составляет 400 Вт, а NVIDIA отмечает, что специализированная система охлаждения HGX A100 80GB поддерживает до 500 Вт.

Серверы A100 построены на плате NVIDIA HGX A100 на 8 GPU. Всё остальное, от CPU, системной памяти и локальных NVMe-накопителей до сети, подбирается под ваши требования и подтверждается в вашем коммерческом предложении.

Каждый сервер проходит нагрузочный прогон до передачи, а результаты фиксируются в отчёте о приёмке. Если вы планируете использовать серверы A100 группой, укажите это в запросе, чтобы коммерческое предложение охватывало и сеть между ними, а о том, как мы строим выделенные фабрики, читайте на странице «GPU-кластеры».

Серверы A100 80GB доступны по запросу. Сообщите, сколько серверов вам нужно, на какой срок и с какой даты, и мы подтвердим конфигурацию и график поставки в письменном коммерческом предложении.

Договоры заключаются на 36, 48 или 60 месяцев, и чем дольше срок, тем ниже ставка. Компания, которая будет использовать серверы, до подписания договора заполняет три формы для подключения. При подписании вы вносите авансовый платёж, а затем платите по единой фиксированной ежемесячной ставке в течение всего срока, без платы за исходящий трафик. Мы не предоставляем пробные периоды: их заменяют нагрузочный прогон и отчёт о приёмке, как описано на страницах «Нагрузочный прогон и приёмка» и «Как заказать».

A100 80GB подходит для обучения и дообучения, которые укладываются в 80 ГБ на GPU и 640 ГБ на сервер, для инференса с разделением на экземпляры MIG и для моделирования в FP64. На странице «Обучение ИИ» описаны хранение контрольных точек и обработка сбоев при длительных запусках.

Полное обучение в смешанной точности с оптимизатором Adam требует примерно от 16 до 20 байт на параметр без учёта активаций. Поэтому один сервер с 640 ГБ вмещает состояние обучения модели размером примерно от 32 до 40 млрд параметров; более крупные модели шардируются по нескольким серверам, и сеть между ними становится частью вашего коммерческого предложения.

Для расчёта конфигурации: статья «70 ГБ весов, четыре GPU» показывает, как мало места для KV-кэша остаётся на GPU с 80 ГБ после загрузки 70 ГБ весов, а статья «Узкие места обучения базовых моделей» объясняет, почему производительность обучения определяется пропускной способностью памяти и NVLink.

Для новых проектов HGX B200 даёт 180 ГБ на GPU, поддержку FP8 и FP4 и 37 TFLOPS FP64 на GPU, а HGX B300 даёт 270 ГБ на GPU.