Inteligência Artificial

Como escolher entre três arquiteturas de IA on-premise

· 4 min de leitura · SISCON Blog

Você já decidiu que a sua IA deve rodar dentro da sua rede. A próxima pergunta não é qual modelo usar, mas qual arquitetura você precisa hoje, e como crescer amanhã sem jogar fora o que foi construído.

Na SISCON trabalhamos com três arquiteturas. As três dão a mesma garantia de privacidade: nenhum prompt, documento ou resposta sai da sua infraestrutura. O que muda é a escala, a disponibilidade e a governança.

Três perguntas antes de escolher

  • Quantos casos de uso e quantas equipes? Um caso delimitado não precisa do mesmo que uma plataforma que várias áreas usam ao mesmo tempo.
  • O que acontece se a IA parar por uma hora? Se for um incômodo, basta um servidor com backup. Se parar a operação, você precisa de alta disponibilidade.
  • Alguém de fora vai pedir evidências? Se um regulador ou uma auditoria vai perguntar qual modelo respondeu, com quais dados e quem aprovou, a governança de IA deixa de ser opcional.

Opção 1 · Nó Local

Para quem: uma empresa com um primeiro caso de uso claro que quer resultados em semanas com um investimento contido.

É um servidor com componentes de código aberto: vLLM ou Ollama para servir o modelo sobre Docker Compose, LangGraph para os agentes, pgvector para a busca em documentos, LibreChat como interface e Langfuse para rastros e evals. Cada componente tem a sua licença (Apache-2.0, MIT ou a licença do PostgreSQL), e o Langfuse reserva alguns módulos empresariais a licença comercial, por isso eles são revisados antes de instalar.

O seu limite: é um único servidor com backup a frio. Funciona muito bem para um caso de uso, mas não para que várias equipes dependam dele em produção.

Opção 2 · Plataforma Privada

Para quem: uma empresa média-grande em que várias equipes já pedem IA e precisam de um serviço interno estável.

Roda sobre o Red Hat OpenShift AI 3 em alta disponibilidade. Os modelos são oferecidos como um serviço interno (Models-as-a-Service) com consumo medido por equipe, e a plataforma acrescenta avaliação e guardrails. É a opção quando a pergunta deixa de ser “funciona?” e passa a ser “quem usa, quanto e com que qualidade?”.

Opção 3 · IA Soberana Governada

Para quem: bancos, seguradoras, saúde, governo e qualquer organização que precise prestar contas sobre os seus modelos.

Soma o IBM watsonx (watsonx.ai, watsonx.data e watsonx.governance) sobre o OpenShift AI, em dois sites com recuperação de desastres e um ambiente desconectado da internet. Acrescenta inventário de modelos, controle de risco e evidências para auditoria. A operação desconectada é confirmada por produto e versão durante o desenho.

Um esclarecimento importante: a plataforma fornece evidências, mas não substitui a sua conformidade. A conformidade depende dos seus processos e do seu marco regulatório, e é revisada com a sua equipe jurídica.

Resumo

CritérioNó LocalPlataforma PrivadaIA Soberana Governada
Para quemPrimeiro caso de usoVárias equipesSetores regulados
BaseCódigo abertoRed Hat OpenShift AI 3IBM watsonx sobre OpenShift AI
DisponibilidadeUm servidor, backup a frioCluster em alta disponibilidadeDois sites, ambiente desconectado
GovernançaRastros e evals+ consumo medido, guardrails+ inventário, risco, evidências
Implantação4 a 6 semanas8 a 12 semanas12 a 20 semanas

Os prazos são faixas de referência, confirmadas no discovery com os seus casos de uso, os seus usuários e os seus volumes reais.

Quatro erros comuns

  • Comprar hardware antes de medir. O tamanho das GPUs depende do modelo, do número de usuários e do volume. Dimensiona-se depois de testar modelos com os seus dados, não antes.
  • Escolher pelo maior modelo. Para muitos casos, um modelo aberto médio bem avaliado e com bom contexto rende o mesmo e custa muito menos para operar.
  • Começar pela opção 3 sem caso de uso. A governança de IA protege algo que já funciona. Sem um caso validado, ela só acrescenta meses.
  • Não medir a qualidade. Sem um conjunto de referência e evals, não há como saber se o modelo local é suficiente ou se uma atualização o piorou.

Não é uma decisão para sempre

Os agentes, a busca em documentos e os evals que você constrói no Nó Local migram para a Plataforma Privada, e dali para a IA Soberana Governada, porque tudo roda em contêineres e usa APIs compatíveis com a OpenAI. Você pode começar com um servidor e crescer sem refazer.

Como decidir com evidências

Nas duas primeiras fases do nosso método (descobrir e desenhar) avaliamos modelos abertos com os seus dados, dimensionamos GPU, armazenamento e rede, e sai a opção recomendada com o seu escopo. Os evals são o critério de saída: nada vai para produção se piorar a qualidade medida. A Avaliação de IA fornece esses evals.

E se o que você quer é desenvolver software com agentes sem que o código saia da sua rede, a IA Factory roda sobre qualquer uma das três opções.

Compare as três arquiteturas →