AI Capabilities and Limitations — Resumen de estudio

Paths: Developer · Architect · FDE · 14 lecciones (incluye 3 simuladores interactivos), 9 videos

El modelo mental de la máquina: las 4 propiedades de la IA generativa. Es la contraparte del 4D Framework (las competencias humanas: Delegation, Description, Discernment, Diligence). (El quiz final no lo has presentado; hazlo en Skilljar.)

1. Qué significa "IA" en este curso

• IA generativa: modelos de texto basados en transformers que producen contenido nuevo token por token. No es la IA que clasifica o predice (filtros de spam, recomendaciones, detección de fraude).
• No es uniformemente capaz ni uniformemente poco fiable: es fuerte y débil a lo largo de 4 ejes predecibles, y cada uno es un continuo (el mismo mecanismo produce la capacidad y la limitación).
• Confianza calibrada: ubica tu tarea en cada continuo, en vez de confiar o desconfiar de todo.
• Es conocimiento durable: los límites se mueven a medida que mejoran los modelos, pero las propiedades no cambian.

2. Cómo adquiere su "carácter"

1. Pretraining: lee enormes cantidades de texto y aprende a predecir lo que sigue. El resultado es un completador de documentos que no tiene noción de ayudarte.
2. Fine-tuning: las preferencias humanas lo convierten en asistente (trata tu input como una petición, responde, rechaza lo dañino; helpful, honest, harmless).

Huellas del fine-tuning:

• Sycophancy (tiende a darte la razón).
• Verbosidad por defecto.
• Exceso de cautela a veces.
• Calibración floja entre la confianza con que habla y lo fiable que es.

Prueba: "creo que mi estrategia es infalible" frente a "quiero que me contradigas si estoy mal"; "responde en una oración".

3. Las 4 propiedades

Next Token Prediction

• Es un autocompletado sofisticado, no un buscador: la misma propiedad produce la fluidez y la alucinación.
• La fabricación se concentra en lo específico: nombres, fechas, estadísticas, citas, URLs. Mientras más preciso el dato, más hay que verificarlo.
• 4D: es la base de Discernment.
• Simulador "Text Your Friend Markov":
  • Una tabla de transiciones entre palabras (frecuencias → probabilidades).
  • Sampling = elegir la siguiente palabra.
  • Temperature (enfocado ↔ aleatorio), top-k (las N más probables) y top-p (el conjunto mínimo que suma p, que se adapta a la confianza).
  • Un LLM hace lo mismo en el paso de muestreo, pero lee todo el contexto y calcula la distribución con miles de millones de parámetros. Markov publicó la idea en 1906.

Knowledge

• Sale solo del entrenamiento y queda congelado en la fecha de corte. La pregunta útil es qué tan representado estaba el tema.
• Fallos típicos:
  • Información obsoleta.
  • Cobertura desigual.
  • Sesgo heredado en lo que considera "normal".
  • No sabe atribuir de dónde viene lo que sabe (source amnesia).
• 4D: es la base de Delegation (cuándo delegar, cuándo darle tú el contexto, cuándo ir a otra fuente).
• Simulador de embeddings:
  • El texto se convierte en coordenadas (~1,024 dimensiones; VoyageAI). Los conceptos similares quedan cerca.
  • Búsqueda por similitud = los k más cercanos, medidos con cosine similarity (de −1 a 1).
  • Los ejes surgen solos y no tienen nombre interpretable.

Working Memory

• Una ventana de contexto de tamaño fijo. Es un precipicio, no una pendiente: funciona hasta que deja de funcionar, y el truncado silencioso no siempre avisa.
• El modelo no aprende de tus correcciones; solo responde a lo que está en el contexto.
• Estrategias: pon lo importante primero (front-load), divide el trabajo largo, vuelve a dar el contexto crítico.
• 4D: sobre esto actúa Description.
• Simulador "Lost in the Middle":
  • Efecto primacía-recencia: se recuerda el inicio y el final.
  • En LLMs, la precisión cae más de 30% cuando el dato clave está en medio de un contexto largo (Liu et al., 2023).
  • Instrucción clave al inicio y repetida al final. Más contexto no significa mejores resultados: cura sin piedad y coloca con intención.

Steerability

• Sigue instrucciones por coincidencia de patrones, no por comprensión.
• Fallos típicos:
  • Reasoning drift: errores pequeños que se acumulan.
  • Letter over spirit: cumple la letra, no la intención.
  • Aritmética frágil.
• Si cumple al pie de la letra pero sin utilidad, enuncia el objetivo; repetir la instrucción con más fuerza no cierra la brecha.
  • "Hazlo más corto" → meta: que el ejecutivo llegue al hallazgo clave.
  • "Más profesional" → meta: reencuadrar para otra audiencia.
  • "Más detalle" → meta: ampliar solo lo que influye en la decisión.
• Pon checkpoints en tareas de varios pasos (p. ej. mostrar el resultado del paso 2 antes de seguir).

4. Cuando las propiedades chocan

La mayoría de los fallos reales son dos propiedades a la vez. Nombrarlas te dice qué arreglo usar.

• Next Token + Knowledge → citas o datos inventados → verifica lo específico o conecta una fuente.
• Working Memory + Steerability → deriva en conversaciones largas → vuelve a dar el contexto o empieza una conversación nueva.
• Next Token + Steerability → matemáticas equivocadas con seguridad → code execution.
• Huella de sycophancy + premisa → acepta una premisa mala → invita a que te contradiga.

Diagnosticar así es Discernment aplicado.

5. Cierre

• Un modelo pequeño y claro de la máquina: 4 continuos + fallos como intersecciones.
• Ambos marcos (capacidades y limitaciones + 4D) son un solo sistema.
• Compromiso práctico: elige una tarea y un cambio para esta semana (un paso de verificación, contexto fijo, un checkpoint, enunciar el objetivo y no solo el formato).