RAG vs prompt simple: cuándo necesitas una base de conocimiento real
Cuándo un chatbot con prompt simple basta y cuándo necesitas invertir en RAG. Tabla de decisión, ejemplos y costos comparados.
No todos los chatbots necesitan RAG. A veces un prompt simple basta y gastar en RAG es overkill. Otras veces, un prompt simple es un desastre y necesitas RAG sí o sí.
En este artículo te doy el marco de decisión: cuándo usar prompt simple, cuándo RAG, cuándo fine-tuning. Con tabla de decisión, ejemplos y costos comparados.
Si quieres entender RAG a fondo, lee nuestro pilar RAG explicado: cómo los chatbots y buscadores modernos realmente saben lo que saben y nuestra guía de chatbots que venden con LLM.
Las 3 formas de darle “conocimiento” a un LLM
1. Prompt simple (zero-shot)
Le das al LLM toda la información en el prompt mismo. Sin herramientas externas, sin búsqueda.
Eres el asistente de [Empresa]. Tu información:
- Horario: lunes a viernes 9am-6pm
- Dirección: Calle 100 #15-20, Bogotá
- Teléfono: +57 1 234 5678
Responde las preguntas del usuario usando SOLO esta información.Cuándo funciona: cuando el bot tiene respuestas fijas y cortas (FAQ, horarios, info básica).
2. RAG (Retrieval Augmented Generation)
Le das al LLM una base de datos / documentos y el sistema busca los relevantes antes de generar.
Pregunta del usuario → buscar documentos relevantes → pasarlos al LLM → responderCuándo funciona: cuando tienes documentos extensos que cambian con frecuencia (catálogo, manuales, políticas, FAQs largas).
3. Fine-tuning
Entrenas un LLM base con tus datos para que “aprenda” tu información de memoria.
Cuándo funciona: cuando necesitas un modelo con personalidad única, tono específico, o conocimiento que no cambia (ej: jerga legal de un bufete).
Analogía simple:
- Prompt simple: memorizar un papel con la información antes de la reunión
- RAG: tener acceso a toda la biblioteca de la empresa y buscar lo que necesitas
- Fine-tuning: el empleado que lleva 20 años en la empresa y se sabe todo de memoria
La tabla de decisión: prompt vs RAG vs fine-tuning
| Criterio | Prompt simple | RAG | Fine-tuning |
|---|---|---|---|
| Volumen de información | < 2.000 palabras | 2.000 - millones de palabras | Cualquiera |
| Información cambia | Rara vez | Frecuentemente | Rara vez |
| Precisión requerida | Baja-media | Alta | Alta |
| Costo inicial | $0 | $3.000-15.000 | $20.000+ |
| Costo mensual operación | $5-50 | $100-500 | $200-1.000 |
| Complejidad técnica | Baja | Media | Alta |
| Tiempo de setup | 1 día | 2-4 semanas | 4-12 semanas |
| Mantenimiento | Cambiar prompt a mano | Re-indexar docs | Re-entrenar modelo |
Cuándo usar prompt simple
✅ Cuando:
- Tu información cabe en < 2.000 palabras
- La información cambia rara vez (ej: horarios, políticas fijas)
- La precisión no es crítica (errores son aceptables)
- Tienes poco presupuesto o quieres probar rápido
Ejemplos donde prompt simple es suficiente:
- Chatbot de FAQ con 10-20 preguntas
- Asistente de horarios y contacto
- Generador de respuestas para redes sociales (tono fijo)
- Asistente de onboarding interno (procesos fijos)
Ejemplo concreto:
Una panadería en Bogotá tiene un chatbot de WhatsApp Business con un prompt que dice “Hola, somos Panadería X. Horario lunes-sábado 6am-8pm. Haz tu pedido por este chat”. Resultado: 80% de los clientes piden directamente sin escalar a humano. Costo: $0/mes. Funciona perfecto.
Cuándo usar RAG
✅ Cuando:
- Tienes > 2.000 palabras de información
- La información cambia frecuentemente (catálogo, precios, políticas)
- La precisión es crítica (ej: info médica, legal, financiera)
- Necesitas que el bot cite fuentes
- Tienes documentos extensos (PDFs, manuales, bases de datos)
Ejemplos donde RAG es necesario:
- Buscador interno de ecommerce con 500+ productos
- Chatbot de soporte técnico con manuales extensos
- Asistente legal con base de jurisprudencia
- Buscador de documentos internos para empleados
- Marketplace con comparación de productos
Ejemplo concreto:
Una tienda de repuestos automotrices con 10.000 referencias en su catálogo. Prompt simple no funciona — no puedes meter 10.000 productos en un prompt. RAG sí funciona — indexas los 10.000 productos y el bot busca por descripción técnica del problema del cliente.
Cuándo usar fine-tuning
✅ Cuando:
- Necesitas que el modelo tenga una personalidad / tono específico
- El conocimiento es estable (no cambia frecuentemente)
- Tienes volumen suficiente para justificar el costo
- Necesitas reducir latencia / costo por inferencia
Ejemplos donde fine-tuning es útil:
- Asistente legal con jerga jurídica específica de un país
- Bot con personalidad de marca muy marcada
- Modelo de clasificación de documentos especializados
- Bot que debe responder en dialecto/jerga regional
Cuándo NO usar fine-tuning:
- Datos que cambian cada semana (mejor RAG)
- Pocos datos de entrenamiento (mejora un prompt)
- Quieres ahorrar dinero (RAG es más barato de mantener)
Las 6 señales de que necesitas RAG
Si respondes “sí” a 3 o más, tu bot necesita RAG:
- ❓ Tu bot recibe preguntas cuya respuesta está en documentos extensos (manuales, catálogos, políticas)
- ❓ Tu información cambia al menos 1 vez al mes
- ❓ Has intentado prompt simple y el bot “alucina” respuestas que no existen
- ❓ Tienes más de 50 documentos / productos / FAQs
- ❓ Tus clientes preguntan cosas específicas de tu negocio que el LLM no puede responder sin contexto
- ❓ Necesitas que el bot cite fuentes para temas sensibles (legal, salud, finanzas)
Test rápido: pregúntale a tu bot actual “¿cuál es la política de devoluciones de tu empresa?”. Si responde algo genérico (“depende”) o inventa, necesitas RAG.
Las 4 señales de que prompt simple basta
Si respondes “sí” a 3 o más, prompt simple es suficiente:
- ✅ Tu información cabe en 1-2 páginas
- ✅ La información cambia menos de 1 vez al mes
- ✅ Tus preguntas son básicas (horario, precio, contacto)
- ✅ Tienes presupuesto mínimo o quieres probar antes de invertir
Costo total de propiedad (TCO) en 12 meses
Escenario: chatbot de ecommerce con 500 productos
| Solución | Setup | Mensual | Total 12 meses |
|---|---|---|---|
| Prompt simple | $0 | $0 | $0 |
| RAG low-code | $8.000 | $200 | $10.400 |
| RAG gestionado | $15.000 | $1.000 | $27.000 |
| Fine-tuning | $25.000 | $500 | $31.000 |
Escenario: chatbot de soporte técnico con 50 FAQs
| Solución | Setup | Mensual | Total 12 meses |
|---|---|---|---|
| Prompt simple | $0 | $0 | $0 |
| RAG low-code | $3.000 | $80 | $3.960 |
| Fine-tuning | $15.000 | $200 | $17.400 |
Regla práctica: prompt simple cuando TCO sea menor que el costo de 1-2 errores graves del bot.
Cómo decidir en 5 minutos
Responde estas preguntas:
1. ¿Cuánta información tiene que manejar el bot?
- Menos de 2.000 palabras → prompt simple
- 2.000 - 50.000 palabras → RAG básico
- Más de 50.000 palabras → RAG con vector DB robusta
2. ¿Cambia la información frecuentemente?
- Cambia menos de 1 vez al mes → cualquier opción funciona
- Cambia semanalmente → RAG (re-indexas, no re-entrenas)
- Cambia diariamente → RAG con pipeline automático
3. ¿Necesitas que el bot cite fuentes?
- No → prompt simple o RAG básico
- Sí → RAG (con citation en la respuesta)
4. ¿Cuál es el costo de un error del bot?
- Bajo (ej: “no sé” es aceptable) → prompt simple
- Medio (ej: confusión del cliente) → RAG con validación
- Alto (ej: info legal/financiera) → RAG + circuit breakers + revisión humana
5. ¿Tienes datos de entrenamiento específicos?
- Sí (ej: transcripciones de ventas) → fine-tuning para tono + RAG para datos
- No → prompt simple o RAG
Si la mayoría de tus respuestas son 1-4 → prompt simple. Si 3-5 → RAG. Si 5 → RAG + fine-tuning.
Ejemplo combinado: lo mejor de cada uno
En Codify Tech usamos los 3 juntos en producción:
PREGUNTA DEL USUARIO
↓
[1. Prompt simple define personalidad y reglas]
↓
[2. RAG busca documentos relevantes en tu BD]
↓
[3. Fine-tuning del modelo con el tono de tu marca]
↓
RESPUESTA FINALEjemplo concreto (chatbot de Codify Tech):
- Prompt simple: define que somos expertos en SEO, GEO, AEO y chatbots en Colombia, tono cercano
- RAG: accede a nuestros 15 artículos del blog, casos de éxito, planes, precios
- Fine-tuning: ajustamos el modelo para que use el estilo de respuesta de nuestro equipo
Resultado: un chatbot que suena como nosotros y conoce todo lo que hemos publicado.
Insight: no es prompt vs RAG vs fine-tuning. Es cómo combinar los 3 según tu caso.
El error más caro que veo
“Contraté RAG porque es la última moda y ahora gasto $500/mes para responder 5 preguntas al día.”
Diagnóstico: para tu caso, prompt simple bastaba.
Costo: $6.000/año vs $0 con prompt simple. $6.000 tirados a la basura.
Regla práctica: empieza con prompt simple. Si después de 2-4 semanas ves que el bot alucina o no encuentra info, entonces evalúa RAG.
Siguiente paso
¿Quieres saber si tu chatbot necesita RAG o prompt simple? En Codify Tech hacemos una auditoría técnica de tu caso donde te mostramos:
- Qué solución técnica tiene sentido (prompt / RAG / fine-tuning)
- Por qué
- Estimación de costos a 12 meses
- Plan de migración si ya tienes bot
Sin compromiso. Sin venta forzada.
👉 Solicita tu auditoría de chatbot o escríbenos a [email protected].
Otros artículos del cluster RAG y chatbots que te van a servir: