Desarrollamos software con inteligencia artificial local, así que tenemos un interés evidente. Aun así, esta comparativa dice en qué gana la nube, porque elegir mal sale caro y no queremos clientes descontentos.
Datos medidos sobre un modelo de 8.000 millones de parámetros en un ordenador de oficina corriente.
Local: nunca salen del ordenador. Ni la pregunta, ni los datos de tus clientes, ni la respuesta.
Nube: viajan al servidor del proveedor, que puede estar fuera de la Unión Europea. Muchos proveedores prometen no entrenar con ellos; comprobarlo es cosa tuya.
Gana: local.
Local: entre 3 y 17 segundos por respuesta, según lo que se pida y el equipo. Medido en un ordenador con 16 GB de memoria y sin tarjeta gráfica dedicada.
Nube: normalmente 1 o 2 segundos.
Gana: nube, con claridad.
Local: un modelo que cabe en un ordenador normal es mucho más pequeño que los grandes. Resuelve bien tareas concretas y acotadas; no es para redactar un informe complejo.
Nube: acceso a los modelos más capaces que existen.
Gana: nube.
Local: cero por consulta. El coste es el ordenador, que ya tienes.
Nube: se paga por uso o por usuario. Con uso diario y varias personas, sube rápido y no para de subir.
Gana: local a medio plazo.
Local: sigue funcionando igual. La conexión solo hace falta para sincronizar entre puestos.
Nube: deja de funcionar.
Gana: local.
Local: el modelo hay que instalarlo y actualizarlo en cada equipo. Ocupa varios gigabytes.
Nube: no hay nada que mantener y siempre está actualizado.
Gana: nube.
Nuestra postura, por si sirve: para un programa de gestión, donde la IA registra movimientos, busca información y prepara documentos con datos de clientes reales, la opción local nos parece la correcta. Para redactar, investigar o programar, la nube sigue siendo mejor. No son excluyentes.
Una IA local ejecuta el modelo en el ordenador de la empresa: los datos no salen del equipo, funciona sin conexión y no hay coste por consulta, pero la velocidad depende del hardware que se tenga. Una IA en la nube ejecuta el modelo en servidores del proveedor: es más rápida y potente, pero la información viaja fuera, se paga por uso y deja de funcionar si cae internet.
Suele serlo. En un ordenador de oficina corriente, un modelo local de tamaño medio tarda entre 3 y 17 segundos en responder, frente a 1 o 2 segundos de un servicio en la nube. La diferencia se nota en una conversación larga, pero no tanto en el uso real de un programa de gestión, donde se le pide una acción concreta y se sigue trabajando.
Para un modelo de unos 8.000 millones de parámetros, que es lo razonable en gestión empresarial: Windows 10 u 11 de 64 bits y 8 GB de memoria como mínimo. Con 16 GB va notablemente mejor. No hace falta tarjeta gráfica dedicada, aunque si la hay, acelera bastante.
Cuando se manejan datos que no deberían salir de la empresa (información de salud, datos fiscales de terceros, precios y márgenes), cuando la conexión no es fiable, o cuando el coste por consulta se dispararía con el uso diario. Si lo que se necesita es la máxima capacidad de razonamiento y los datos no son sensibles, la nube sigue siendo mejor opción.
Simplifica bastante el cumplimiento, porque no hay transferencia de datos a un tercero ni, en muchos casos, fuera del Espacio Económico Europeo. Pero no exime de nada: la empresa sigue siendo responsable del tratamiento y necesita su registro de actividades, sus bases jurídicas y sus consentimientos igual que antes.
Carnage usa inteligencia artificial local. Te lo enseñamos con tu propio caso.
Solicitar una demostración