SLATEMOTH / ARTIGO
Encaminhamento de modelos em sistemas de IA em produção
O que é o encaminhamento de modelos, que sinais o podem orientar e porque deve ser separado dos controlos de fiabilidade e de políticas.
Definição
O encaminhamento de modelos decide onde um pedido de IA deve ser executado. A decisão pode considerar capacidade, modalidade, latência, disponibilidade, políticas, preço e requisitos da carga de trabalho.
O encaminhamento não é todo o gateway
O encaminhamento responde para onde deve ir um pedido. Os controlos de fiabilidade respondem ao que acontece se a execução falhar. Os controlos de políticas determinam o que é permitido. A medição da utilização regista o que aconteceu.
Sinais que podem importar
Entre os sinais úteis podem estar a modalidade pedida, o tamanho do contexto, os requisitos das ferramentas, o estado dos fornecedores, as restrições regionais, os objetivos de latência e os limites económicos configurados.
Regras e seleção adaptativa
As políticas determinísticas são mais fáceis de auditar. A seleção adaptativa pode melhorar os resultados quando existe informação fiável para a avaliar. Um sistema prático pode aplicar primeiro critérios determinísticos de elegibilidade.
Princípio operacional
Uma decisão de encaminhamento deve poder ser explicada posteriormente. Preserve contexto suficiente para compreender por que motivo foi escolhido determinado fornecedor ou modelo.