AWS divide GPUs em até sete partes no SageMaker para ampliar uso e reduzir custos de IA

O Amazon SageMaker Inference, serviço da AWS para inferência de modelos de inteligência artificial, passou a oferecer suporte à tecnologia NVIDIA Multi-Instance GPU (MIG). A solução permite dividir uma GPU física em até sete instâncias isoladas, possibilitando a hospedagem de vários modelos no mesmo endpoint e prometendo melhor aproveitamento do hardware, além de redução de custos.

Até então, empresas que implantavam modelos em GPUs no SageMaker precisavam reservar uma placa inteira para cada modelo. Em uma instância ml.p4d.24xlarge, equipada com oito GPUs A100, isso limitava a capacidade a, no máximo, oito modelos por instância, mesmo quando cada aplicação utilizava apenas uma fração da memória e do processamento disponíveis.

Com o suporte ao NVIDIA MIG, cada GPU física pode ser dividida em até sete partições independentes. Cada uma conta com uma parcela fixa de capacidade computacional e um bloco próprio de memória de vídeo, com isolamento garantido por hardware. Na prática, um modelo diferente pode ser alocado em cada partição, aumentando a densidade de modelos por instância para além do número de GPUs físicas disponíveis.

O particionamento é configurado por meio do recurso de componentes de inferência, utilizado para implantar vários modelos em um mesmo endpoint e determinar a quantidade de CPU e memória destinada a cada um. Com a novidade, cada componente também pode solicitar um tipo específico de partição de GPU. Endpoints de modelo único, arquiteturas serverless e pools heterogêneos continuam sem suporte ao recurso.

O layout das partições é definido durante a criação do endpoint. O SageMaker distribui as divisões de maneira uniforme, aplica o mesmo desenho a todos os aceleradores da instância e gerencia automaticamente a configuração, a alocação e o escalonamento das partições. Modelos que exigem mais de uma GPU continuam dependendo de dispositivos inteiros, sem a possibilidade de combinar partes de várias placas em uma única aplicação.

Antes do MIG gerenciado, empresas com mais modelos do que GPUs tinham alternativas com limitações. Aumentar o tamanho dos lotes e reduzir o número de endpoints funcionava apenas quando os modelos eram intercambiáveis. Endpoints multimodelo permitiam compartilhar uma GPU, mas não ofereciam isolamento: uma requisição pesada poderia afetar as demais, além de haver atraso na primeira inicialização de modelos que estavam inativos.

Outra opção era criar e operar um cluster próprio de Kubernetes para ativar o MIG. Esse caminho exigia o gerenciamento de drivers, plugins, agendamento e padronização das configurações em toda a infraestrutura. Ao incorporar o particionamento ao SageMaker Inference, a AWS busca reduzir essa complexidade. As aplicações continuam acessando os endpoints da mesma forma, enquanto o nivelamento entre partições e a distribuição dos modelos são administrados pela camada gerenciada.

Segundo testes internos da plataforma, o processo de divisão das GPUs em partições acrescenta apenas alguns segundos ao tempo de provisionamento do endpoint.

A Salesforce participou da definição inicial dos requisitos e da validação da funcionalidade. A empresa considera o suporte ao MIG relevante para ampliar suas cargas de inferência de inteligência artificial, já que muitos de seus modelos não precisam de uma GPU inteira. Nesse cenário, a tecnologia pode ajudar a consolidar cargas com segurança, aumentar a utilização das GPUs, reduzir custos de inferência e manter desempenho previsível e isolamento entre os modelos.

Richard Chang, arquiteto de engenharia de software da Salesforce, afirmou que a companhia contribuiu para definir os requisitos e validar a versão inicial da solução. Segundo ele, a empresa se prepara para testar o recurso com cargas representativas de produção, com o objetivo de demonstrar à AWS a demanda de clientes. Chang também declarou que o suporte ao MIG pode gerar valor técnico e empresarial para clientes corporativos.

Para grandes usuários de GPUs em nuvem, como empresas de tecnologia, bancos e varejistas digitais, o principal ganho está na possibilidade de consolidar mais modelos em um número menor de instâncias. Uma GPU A100, por exemplo, pode ser dividida em partições menores, dimensionadas de acordo com a necessidade de cada modelo. A medida tende a reduzir a quantidade de GPUs ociosas, facilitar a escolha de frações de aceleradores mais recentes em vez de placas inteiras menos eficientes e melhorar o isolamento entre cargas críticas.

O benefício, porém, não se aplica imediatamente a todos os cenários. Equipes que utilizam endpoints de modelo único, arquiteturas serverless de inferência ou pools heterogêneos continuam sem acesso ao particionamento. Modelos muito pesados, que exigem múltiplas GPUs, ainda precisam reservar placas inteiras, mantendo parte das limitações para cargas de trabalho mais intensivas.

A próxima etapa é levar o recurso a ambientes de produção em escala e medir, na prática, os ganhos de desempenho e economia. A expectativa no setor é que a adoção mais ampla do particionamento pressione outros provedores de nuvem a oferecer soluções semelhantes, contribuindo para tornar os custos de inferência de IA mais baixos e previsíveis, especialmente para empresas que precisam executar muitos modelos de médio porte simultaneamente.

Fonte: Mirai Broadcast