Edge AI: cómo correr modelos en el dispositivo sin depe…

Asistente en tienda física que responde sin internet, sin latencia, sin que los datos del cliente salgan del dispositivo. Eso es Edge AI. Y ya no es 2027, es ahora.

En 2023 tenías que llamar a la nube para hacer cualquier cosa con IA. Hoy puedes correr un LLM de 7 mil millones de parámetros en el navegador del usuario, sin servidor, sin internet, sin pagar API por inferencia. Eso cambia la ecuación de costos y privacidad de raíz.

Edge AI es ejecutar modelos de IA directamente en el dispositivo del usuario (navegador, celular, tablet, PC) en vez de en un servidor remoto. Las 3 razones principales para hacerlo:

Latencia: respuesta en menos de 100ms vs 1 a 3 segundos que toma la nube
Privacidad: los datos nunca salen del dispositivo
Costo: cero costo de inferencia después del setup inicial

En este artículo te explico qué es Edge AI técnicamente, cuándo conviene versus la nube, qué modelos usar y cómo lo implementamos en Codify Tech para clientes en Colombia.

Si quieres el contexto, lee nuestro pilar LangChain, LlamaIndex y LangGraph: frameworks para orquestar LLMs y la guía de LLM para SEO.

¿Qué es Edge AI exactamente?

Edge AI es IA que corre en el “edge” de la red, es decir, en el dispositivo del usuario final. El edge es el opuesto a la nube: en lugar de que tu solicitud viaje a un servidor lejano y vuelva, el modelo vive en el navegador del usuario, su celular o su tablet.

Las 3 formas de hacer Edge AI hoy:

En el navegador (WebLLM, Transformers.js): el modelo se descarga y corre con WebGPU o WebAssembly
Como app nativa en dispositivo (Core ML en iOS, TensorFlow Lite en Android): el modelo viene empaquetado
En dispositivo dedicado edge (Raspberry Pi, NVIDIA Jetson, Coral TPU): para kioskos, retail, IoT

¿Qué puedes correr hoy en el navegador?

LLMs pequeños (1B a 7B parámetros): Llama 3.2 1B y 3B, Phi-3.5 Mini, Qwen2.5 1.5B y 3B
Modelos de visión (CLIP, MobileNet, YOLO): detección de objetos, clasificación de imágenes
Whisper (tiny, base): transcripción de voz en tiempo real
Embeddings (all-MiniLM-L6-v2): búsqueda semántica local

Dato clave: un modelo de 3B parámetros cuantizado en Q4_K_M ocupa cerca de 2GB y corre en un celular gama media de 2024 con respuesta en 1 a 2 segundos por consulta.

Cómo funciona técnicamente

En el navegador:

[Primera visita del usuario]
    ↓
[Descarga del modelo (cerca de 2GB comprimido, cacheado en el navegador)]
    ↓ (1 a 3 minutos la primera vez, instantáneo después)
[Carga en memoria + WebGPU init]
    ↓ (3 a 5 segundos)
[Usuario hace pregunta]
    ↓
[Inferencia local: 1 a 3 segundos por respuesta en GPU integrada]
    ↓ (sin latencia de red)
[Respuesta al usuario]

Ventajas vs la nube:

Latencia: 50 a 200ms en local vs 800 a 3000ms en nube (incluye red)
Privacidad: datos del usuario nunca salen del dispositivo
Costo: cero por inferencia (después del download)
Offline: funciona sin internet
Escalabilidad: el costo no crece con usuarios

Desventajas vs la nube:

Tamaño inicial: el modelo debe descargarse (más de 2GB)
Dispositivo limitado: corre en GPU del usuario, no en datacenter
Modelos más pequeños: un LLM de 70B no cabe en un celular
Setup complejo: requiere WebGPU o WASM, no todos los navegadores lo soportan aún

Caso real 1: asistente offline en tienda física de retail

Cliente: cadena de ópticas con 8 tiendas en Bogotá y Medellín. Problema: los vendedores necesitaban consultar el catálogo de 3.000 monturas, lentes y tratamientos en tiempo real frente al cliente. La conexión a internet en las tiendas fallaba entre 15% y 20% del tiempo. Solución: asistente IA corriendo local en una tablet Android en cada tienda.

Arquitectura:

[Tablet Android en la tienda]
    ↓
[App nativa con modelo LLM pequeño + embeddings del catálogo]
    ↓
[Vendedor pregunta: "¿qué lentes sirven para alguien que trabaja mucho con computador?"]
    ↓
[Búsqueda semántica local sobre catálogo]
    ↓ (200 a 400ms)
[Respuesta: "Te recomiendo 3 opciones: 1. Lentes con filtro azul X, 2. Lentes progresivos Y, 3. Monofocales Z"]
    ↓
[Tablet sugiere: "¿Agendo cita para examen?"]

Stack técnico:

App: Flutter o React Native
Modelo LLM: Phi-3.5 Mini (3.8B parámetros, cuantizado Q4)
Embeddings: all-MiniLM-L6-v2 (cuantizado)
Base vectorial: SQLite con extensión vectorie
Catálogo: 3.000 productos en JSON local
Sincronización: nightly cuando hay internet (actualiza catálogo y modelos)

Resultados en 4 meses:

Tiempo de consulta en tienda: 3 minutos → 25 segundos (reducción de 86%)
Ventas cruzadas (cross-sell): +22% por consulta
Satisfacción del vendedor (NPS interno): 47 → 78
Caídas por falta de internet: 18% → 0% (funciona offline)
Ahorro vs contratar vendedor adicional: 1.5 empleados por tienda

Costo inicial: cerca de $3.500 USD por tablet más setup más modelo. Costo mensual: cerca de $50 USD por tienda (sincronización más mantenimiento). ROI: recuperado en 2 meses con el uplift de ventas.

Caso real 2: web turística que funciona offline

Cliente: operador de ecoturismo en zona rural de Santander con señal de internet limitada. Problema: los turistas querían consultar información de tours en el celular, pero no siempre tenían señal en zonas remotas. Solución: PWA con asistente IA offline más contenido cacheado.

Stack:

Frontend: Astro PWA con service worker
Modelo: Phi-3.5 Mini vía WebLLM (3B parámetros cuantizado)
Cache de tours: Workbox (cache de assets y API responses)
Embeddings del catálogo de tours: precalculados, descargados con la PWA
Sync: cuando detecta internet, actualiza tours y reseñas nuevas

Funcionamiento:

Primera visita (con internet): descarga la PWA y el modelo (cerca de 50MB total)
Sin internet: el usuario puede buscar tours, hacer preguntas al asistente, ver detalles
Con internet: sincroniza reseñas, disponibilidad, precios actualizados

Resultados:

Tiempo en sitio en zonas sin internet: 0% → 38%
Reservas desde zonas remotas: +18%
Costo de infraestructura: cero en zona rural (no necesita servidor)

Cuándo SÍ vale la pena Edge AI

✅ Latencia crítica (asistente en retail, kiosko, tiempo real) ✅ Datos sensibles (salud, legal, financiero, niños) ✅ Funcionamiento offline (zonas sin internet, experiencias en campo) ✅ Volumen alto con costo prohibitivo (millones de inferencias al mes) ✅ Privacidad por diseño (datos que no pueden salir del país o del dispositivo) ✅ Dispositivos con recursos (celulares gama media-alta, tablets, PC modernos)

Cuándo NO vale la pena

❌ Necesitas el modelo más potente (GPT-4, Claude Opus nivel) ❌ El usuario usa dispositivo viejo (sin WebGPU, sin GPU) ❌ Primera carga del modelo es inaceptable (el usuario no espera 2GB) ❌ El modelo cambia frecuentemente (no quieres re-descargar cada semana) ❌ El equipo no puede mantener infraestructura de modelos locales ❌ Es un prototipo pequeño (la nube es más rápida de iterar)

Stack técnico recomendado

Nivel 1 — Asistente simple (1 a 2 semanas):

Componente	Herramienta
Modelo	Phi-3.5 Mini (3B Q4)
Embeddings	all-MiniLM-L6-v2
Vector DB	LanceDB o SQLite con extensión vectorie
Orquestación	Transformers.js o WebLLM
Frontend	Tu web o app existente

Nivel 2 — Asistente producción (3 a 6 semanas):

Componente	Herramienta
Modelo	Llama 3.2 (3B u 8B), Qwen2.5 (3B o 7B) cuantizado
Embeddings	BGE-M3 o mxbai-embed-large
Vector DB	Chroma, Milvus Lite o Qdrant embedded
Orquestación	LangChain.js con adaptadores para local
Backend sync	FastAPI o Node.js con jobs de actualización
Monitoreo	Sentry más logs locales

Costos típicos (proyecto pequeño):

Modelos (open source, gratis)
Storage y distribución: $0 a $50 USD al mes (Cloudflare R2 o similar)
Backend de sincronización: $0 a $100 USD al mes (Workers o similar)
Total: $0 a $150 USD al mes (sin costo de inferencia)

Los 5 errores más comunes

❌ No probar el primer download. Si el modelo pesa 5GB y el usuario está en 3G, se va. Comprime y cuantiza agresivo (Q4_K_M).

❌ Asumir que todos tienen WebGPU. Safari acaba de activarlo en 2024. Chequea antes de prometer.

❌ No pensar en fallback. Si el modelo local falla (sin GPU, dispositivo viejo), debe haber un fallback a API en la nube.

❌ Olvidar el sync. El modelo y datos cambian. Necesitas un mecanismo de actualización silencioso.

❌ No medir latencia real. El “1 a 2 segundos” es en GPU moderna. En dispositivo viejo puede ser 10 segundos.

Cómo medir el ROI de Edge AI

Métricas que importan:

Métrica	Cómo medirla	Meta realista
Latencia p95	Percentil 95 de tiempo de respuesta	menor a 200ms
Tasa de fallback	% de sesiones que van a la nube	menor a 10%
Tiempo de carga inicial	Segundos hasta primera respuesta	menor a 10s
Engagement offline	% de uso sin internet	depende del caso
Costo por inferencia	Costo de infra dividido entre inferencias	cercano a cero

Siguiente paso

¿Quieres implementar Edge AI en tu proyecto? En Codify Tech diseñamos arquitecturas de IA local adaptadas a tu caso (retail, salud, zonas rurales, apps móviles).

Hacemos una auditoría más prototipo en 1 semana donde te mostramos:

Qué modelo y arquitectura funcionan para tu caso
Estimación de latencia y tamaño de descarga
Prototipo funcional con 3 casos reales
Análisis de costo vs nube

Sin compromiso. Sin venta forzada.

👉 Solicita tu auditoría de Edge AI o escríbenos a [email protected].

Otros artículos del cluster Edge AI que te van a servir:

Edge AI: cómo correr modelos en el dispositivo sin depender de la nube