Inteligencia Artificial

Cómo elegir entre tres arquitecturas de IA on-premise

· 4 min de lectura · SISCON Blog

Ya decidiste que tu IA debe correr dentro de tu red. La siguiente pregunta no es qué modelo usar, sino qué arquitectura necesitas hoy, y cómo crecer mañana sin tirar lo construido.

En SISCON trabajamos con tres arquitecturas. Las tres dan la misma garantía de privacidad: ningún prompt, documento ni respuesta sale de tu infraestructura. Lo que cambia es la escala, la disponibilidad y el gobierno.

Tres preguntas antes de elegir

  • ¿Cuántos casos de uso y cuántos equipos? Un caso acotado no necesita lo mismo que una plataforma que varias áreas consumen a la vez.
  • ¿Qué pasa si la IA se detiene una hora? Si es una molestia, basta un servidor con respaldo. Si detiene la operación, necesitas alta disponibilidad.
  • ¿Alguien externo te pedirá evidencia? Si un regulador o una auditoría va a preguntar qué modelo respondió, con qué datos y quién lo aprobó, el gobierno de IA deja de ser opcional.

Opción 1 · Nodo Local

Para quién: una empresa con un primer caso de uso claro que quiere resultados en semanas con una inversión contenida.

Es un servidor con componentes de código abierto: vLLM u Ollama para servir el modelo sobre Docker Compose, LangGraph para los agentes, pgvector para la búsqueda en documentos, LibreChat como interfaz y Langfuse para trazas y evals. Cada componente tiene su licencia (Apache-2.0, MIT o la licencia de PostgreSQL), y Langfuse reserva algunos módulos empresariales a licencia comercial, así que se revisan antes de instalar.

Su límite: es un solo servidor con respaldo en frío. Funciona muy bien para un caso de uso, pero no para que varios equipos dependan de él en producción.

Opción 2 · Plataforma Privada

Para quién: una empresa mediana-grande en la que varios equipos ya piden IA y necesitan un servicio interno estable.

Corre sobre Red Hat OpenShift AI 3 en alta disponibilidad. Los modelos se ofrecen como un servicio interno (Models-as-a-Service) con consumo medido por equipo, y la plataforma agrega evaluación y guardrails. Es la opción cuando la pregunta deja de ser “¿funciona?” y pasa a ser “¿quién la usa, cuánto y con qué calidad?”.

Opción 3 · IA Soberana Gobernada

Para quién: banca, seguros, salud, gobierno y cualquier organización que deba rendir cuentas sobre sus modelos.

Suma IBM watsonx (watsonx.ai, watsonx.data y watsonx.governance) sobre OpenShift AI, en dos sitios con recuperación ante desastres y un entorno desconectado de internet. Agrega inventario de modelos, control de riesgo y evidencia para auditoría. La operación desconectada se confirma por producto y versión durante el diseño.

Una aclaración importante: la plataforma aporta evidencia, pero no sustituye tu cumplimiento. El cumplimiento depende de tus procesos y de tu marco regulatorio, y se revisa con tu equipo legal.

Resumen

CriterioNodo LocalPlataforma PrivadaIA Soberana Gobernada
Para quiénPrimer caso de usoVarios equiposSectores regulados
BaseCódigo abiertoRed Hat OpenShift AI 3IBM watsonx sobre OpenShift AI
DisponibilidadUn servidor, respaldo en fríoClúster en alta disponibilidadDos sitios, entorno desconectado
GobiernoTrazas y evals+ consumo medido, guardrails+ inventario, riesgo, evidencia
Puesta en marcha4 a 6 semanas8 a 12 semanas12 a 20 semanas

Los plazos son rangos de referencia y se confirman en el discovery con tus casos de uso, tus usuarios y tus volúmenes reales.

Cuatro errores comunes

  • Comprar hardware antes de medir. El tamaño de las GPU depende del modelo, del número de usuarios y del volumen. Se dimensiona después de probar modelos con tus datos, no antes.
  • Elegir por el modelo más grande. Para muchos casos, un modelo abierto mediano bien evaluado y con buen contexto rinde igual y cuesta mucho menos de operar.
  • Empezar por la opción 3 sin caso de uso. El gobierno de IA protege algo que ya funciona. Sin un caso validado, solo agrega meses.
  • No medir la calidad. Sin un conjunto de referencia y evals, no hay forma de saber si el modelo local alcanza o si una actualización lo empeoró.

No es una decisión para siempre

Los agentes, la búsqueda en documentos y los evals que construyes en el Nodo Local migran a la Plataforma Privada, y de ahí a la IA Soberana Gobernada, porque todo corre en contenedores y usa APIs compatibles con OpenAI. Puedes empezar con un servidor y crecer sin rehacer.

Cómo decidir con evidencia

En las dos primeras fases de nuestro método (descubrir y diseñar) evaluamos modelos abiertos con tus datos, dimensionamos GPU, almacenamiento y red, y sale la opción recomendada con su alcance. Los evals son el criterio de salida: nada pasa a producción si degrada la calidad medida. La Evaluación de IA aporta esos evals.

Y si lo que quieres es desarrollar software con agentes sin que el código salga de tu red, IA Factory corre sobre cualquiera de las tres opciones.

Compara las tres arquitecturas →