A presentation at NTT Data - QA Lab Innovation by Maribel Maza
Agentic Quality Colaboración entre AI agents - personas y el mindset QA AI actual. Maribel Maza | QS AI Innovation Noviembre 2026 © 2026 NTT DATA
Observa este system prompt v1 : © 2026 NTT DATA
Observa este system prompt v2 : © 2026 NTT DATA
Agenda © 2026 NTT DATA 1 Context Engineering 5 Skills 2 RAG empresarial 6 Agent Evals 3 Agents 7 Early Quality 4 Tools y MCP 8 Actividad final 4
Prompt Engineering La ingeniería de prompts es el arte y la ciencia de diseñar entradas para modelos de lenguaje con el fin de obtener respuestas útiles, coherentes y relevantes. ThePhoto by PhotoAuthor is licensed under CCYYSA. © 2026 NTT DATA 5
1 Context Engineering En lugar de pensar solo cómo escribir el prompt, pensamos qué debe saber el modelo ahora y qué debe quedar fuera. Diseñar contexto es diseñar la realidad disponible para una buena decisión. ThePhoto by PhotoAuthor is licensed under CCYYSA. © 2026 NTT DATA 5
Prompt vs. Context Engineering Prompt Engineering Context Engineering Define tarea, instrucciones, restricciones, ejemplos y formato de Define estado, memoria, evidencia, tools, permisos, tiempo, salida esperado para el modelo. versión y resultados previos. Diferencia clave Uno diseña la instrucción; el otro diseña la realidad operativa en la que trabaja el modelo. © 2026 NTT DATA 6
El Context Stack en Quality Engineering El contexto útil prioriza señal, autoridad, vigencia y permisos sobre la acumulación de documentos. Fuentes de contexto Señal sobre volumen Diseño del contexto Información clave que guía decisiones de calidad y pruebas. El valor está en filtrar lo relevante, no en sumar más documentos. Construir contexto implica reglas claras de acceso, uso e intención. Policies y requisitos Priorizar señal Permisos y acceso Normas, requisitos y criterios que definen qué validar y con qué prioridad. Separar datos útiles del ruido para enfocar análisis, pruebas y decisiones. Definir quién puede ver, usar o modificar contexto sensible o crítico. Arquitectura y APIs Validar autoridad Evidencia runtime Diseño técnico, contratos e integraciones que orientan cobertura y riesgos. Identificar qué fuente es confiable y quién la respalda dentro del proceso. Logs, métricas y resultados en ejecución enriquecen el análisis de calidad. Historial y defectos Revisar vigencia Intención del usuario Pruebas previas, fallas conocidas y patrones que aportan contexto útil. Confirmar que el contexto esté actualizado antes de usarlo en ejecución. Comprender el objetivo final ayuda a seleccionar el contexto más útil. © 2026 NTT DATA 7
¿A mayor contexto, es garantía de que tendremos mejor resultado? Un agente de Testing recibe la historia de usuario, toda la documentación del proyecto, conversaciones antiguas, logs completos y distintas versiones de los requisitos. Tiene más información que nunca, pero genera casos de prueba contradictorios. ¿Qué pudo haber ocurrido? © 2026 NTT DATA 2
Context Pollution Contaminación de contexto y pérdida de calidad La redundancia añade volumen sin mejorar la decisión La información obsoleta desvía respuestas y prioridades Contradicciones y ruido de tools degradan la señal útil Memoria mal usada podría introducir sesgos y anclaje innecesario Contenido no confiable gana autoridad sin merecerla © 2026 NTT DATA 8
¿Cómo le damos conocimiento actualizado a un modelo? Un asistente de IA debe responder utilizando documentos internos actualizados, pero esa información no forma parte de su entrenamiento. ¿Cómo haríamos para que consulte esos documentos antes de responder? © 2026 NTT DATA 2
2 RAG (Retrieval Augmentation Generation) © 2026 NTT DATA 12
RAG en 30 segundos 01 03 02 Pregunta y objetivo Primero se define qué validar y cuál es la pregunta que debe Luego se buscan fragmentos relevantes que aporten contexto y responder el sistema. sustento para la respuesta. Respuesta grounded El LLM responde con límites, cita fuentes y explica, pero depende de la calidad recuperada. © 2026 NTT DATA Recuperación y evidencia 10
Formas de recuperar evidencia Keyword Semantic Hybrid y control Búsqueda exacta para términos, códigos y endpoints específicos. Recuperación por significado para ampliar cobertura y contexto. Combinación y priorización con filtros antes de llegar al modelo. Coincidencia exacta Búsqueda por sentido Localiza valores precisos como INC-48392, IDs, nombres técnicos o rutas de endpoint. Encuentra contenido relacionado aunque no repita las mismas palabras de la consulta. Alta precisión Mayor contexto Reduce ambigüedad cuando el usuario conoce el término correcto que necesita encontrar. Identifica conceptos, intención y documentos cercanos en tema o explicación. Uso ideal Uso ideal Útil para tickets, logs, campos estructurados y referencias con formato fijo. Adecuado para preguntas abiertas, investigación y consultas con lenguaje natural. Hybrid Combina exactitud léxica y significado para mejorar relevancia y cobertura. Reranking Reordena candidatos y eleva primero los resultados más útiles para la respuesta. Metadata filtering Aplica autoridad y permisos antes de enviar contenido al modelo. Keyword encuentra coincidencias exactas, semantic entiende el sentido, hybrid combina ambos y reranking prioriza resultados. © 2026 NTT DATA 12
RAG empresarial Conocimiento autorizado Evidencia sin reentrenar Ideal para entornos cambiantes RAG conecta el modelo con fuentes aprobadas y trazables en el momento de la consulta, para responder con contexto confiable y verificable. No requiere reentrenar el modelo. Recupera evidencia relevante durante cada consulta, lo que permite usar información actual sin modificar el modelo base. Es especialmente útil cuando el conocimiento es privado, cambia con frecuencia o debe citarse de forma explícita para cumplir requisitos de control y trazabilidad. Cobertura de releases y policies Evaluación en dos niveles RAG aplicado a Quality Trazabilidad entre fuentes RAG puede vincular requirements con diseño de pruebas, incidentes con defectos conocidos y API specs con contract testing para dar contexto útil al análisis de calidad. © 2026 NTT DATA También conecta releases con regresión y policies con compliance, ayudando a validar impactos, riesgos y controles antes de cada entrega. 9 Debemos medir dos cosas: si el sistema recupera evidencia relevante y si la respuesta final usa esa evidencia de forma correcta, clara y verificable.
¿Cuándo una automatización necesita autonomía? Imaginemos dos situaciones dentro de un proceso de Testing: Caso 1: Cuando una prueba falla, el sistema debe tomar una captura, registrar el resultado y enviar una notificación. Caso 2: Cuando una prueba falla, el sistema debe analizar los logs y la evidencia, decidir qué información consultar y determinar si debe repetir la prueba, generar un defecto o escalar el incidente. ¿En cuál de los dos casos basta con seguir un flujo definido y en cuál el sistema necesita decidir su siguiente acción? 2 © 2026 NTT DATA
¿Cuándo una automatización necesita autonomía? Necesitamos autonomía cuando el siguiente paso no puede definirse completamente de antemano, porque depende del contexto, de la evidencia y del resultado de acciones anteriores. • • En el caso 1, la automatización ejecuta una secuencia conocida. En el caso 2, la automatización debe observar, interpretar y decidir. Ambos podrían implementarse técnicamente con un agente, pero solo en el segundo la autonomía aporta un valor claro. 2 © 2026 NTT DATA
Workflow, RPA o Agent Workflow predefinido RPA repetitivo Agent con autonomía El workflow sigue reglas y secuencias fijas. Funciona bien cuando el proceso, las excepciones y los resultados esperados están claramente definidos de antemano. RPA automatiza tareas operativas con alta predictibilidad, como mover datos o ejecutar acciones en sistemas. Aporta eficiencia cuando el camino no cambia. El agent decide el siguiente paso según el contexto y lo que observa. Conviene usarlo solo cuando la acción correcta no puede fijarse por adelantado. © 2026 NTT DATA 17
3 De Assistant a Agent 01 03 02 Assistant reactivo Responde a una solicitud puntual y finaliza la interacción al Recibe un objetivo, decide el siguiente paso, usa herramientas y entregar una respuesta. evalúa resultados para continuar o detenerse. Sistema con estado y capacidades Combina modelo, instrucciones, tools y estado para perseguir un objetivo concreto o escalar cuando haga falta. © 2026 NTT DATA Agente orientado a objetivos 15
4 Tools: las manos del agente Una tool es una capacidad invocable El agente decide cuándo usar la tool El runtime ejecuta y devuelve evidencia Luego el agente continúa, se detiene o escala © 2026 NTT DATA 18
Function Calling como contrato Conecta decisión y ejecución con controles y validaciones fuera del modelo. Definición Ejecución Gobierno El contrato inicia con tools claras y parámetros estructurados. La aplicación ejecuta la acción y devuelve el resultado al flujo. Los controles clave deben vivir fuera del modelo para reducir riesgos. Definir la tool Ejecutar en la app Permisos externos Describir la función, su propósito y el esquema de entrada esperado. La función corre en la aplicación, backend o worker externo. La autorización de acciones debe aplicarse en sistemas fuera del modelo. Decidir su uso Devolver resultado Validaciones El modelo evalúa si debe llamar la función según la intención y el contexto. La salida vuelve al modelo para continuar la interacción o completar la tarea. Las reglas de negocio y revisión de datos se ejecutan fuera del modelo. Llamar con parámetros Continuar el flujo Acciones críticas La llamada se emite con argumentos estructurados y consistentes. Con el resultado disponible, el modelo responde o decide el siguiente paso. Operaciones sensibles requieren controles explícitos antes de ejecutarse. © 2026 NTT DATA 19
4 MCP como estándar de capacidades 01 03 02 Protocolo estandarizado Model Context Protocol expone tools y datos externos con un Un servidor MCP puede ofrecer Test Management, Browser o formato común para descubrirlos y utilizarlos. Playwright, además de defectos, logs y APIs. Rol de cada elemento La tool es la capacidad concreta; MCP es el protocolo que permite anunciarla, descubrirla y usarla. © 2026 NTT DATA Capacidades publicadas 20
Ejemplo: Tools + MCP + Playwright Caso de prueba Validar que un usuario registrado pueda iniciar sesión y visualizar el mensaje “Bienvenido”. Si la prueba falla, recopilar evidencia para analizar la causa. ¿Qué representa cada elemento? Elemento Función en la prueba Agente de IA Interpreta el objetivo, decide qué acción ejecutar y evalúa el resultado MCP Define la forma estandarizada en que el agente descubre, invoca y recibe resultados de las tools Playwright MCP Server Expone las capacidades de Playwright como tools utilizables por el agente Tools Son las acciones concretas: navegar, completar campos, hacer clic, validar texto y tomar evidencias Playwright Controla realmente el navegador y ejecuta las interacciones © 2026 NTT DATA 2 Diferencia clave Agente = cerebro MCP = conexión y contrato Tools = manos Playwright = motor de ejecución Navegador = entorno donde ocurre la prueba
Break 5 minutos ! 2 © 2026 NTT DATA
El Agent Loop 1 Observar y decidir El agente observa el contexto y decide el siguiente paso según el objetivo, las señales disponibles y las restricciones. © 2026 NTT DATA 2 3 4 Seleccionar tool y/o MCP, y actuar Inspeccionar y actualizar estado Condiciones de cierre Elige la herramienta adecuada y ejecuta una acción para avanzar, ya sea consultar, transformar datos o generar una respuesta. Revisa el resultado, valida la evidencia y actualiza el estado interno para mantener continuidad en el ciclo. El loop termina cuando se cumple el objetivo, falta evidencia, se alcanza un límite o se requiere intervención humana.
¿Cómo lograrías que un agente no solo sepa qué hacer, sino que lo haga siempre con el mismo criterio y buenas prácticas? 2 © 2026 NTT DATA
5 Skills Las skills convierten buenas prácticas de Quality en procedimientos especializados, reutilizables y cargables por el agente. La skill aporta el know-how operativo para ejecutar trabajo especializado con consistencia y criterio. © 2026 NTT DATA 23
Tool vs Skill Tool: capacidad de ejecución Skill: procedimiento reusable Una tool aporta capacidad técnica, por ejemplo ejecutar Playwright Una skill define cómo diseñar, ejecutar, documentar y validar una para automatizar acciones y pruebas. prueba E2E siguiendo un estándar claro. Diferencia clave La tool permite hacer una tarea; la skill enseña a hacerla bien, de forma correcta y reusable. © 2026 NTT DATA 24
Anatomía de una Testing Skill Una skill útil define cuándo usarla, cómo ejecutarla, qué entrega y cómo validar un resultado reproducible. Definición base Ejecución Gobierno Elementos que describen el propósito y el contexto de uso de la skill Pasos claros para aplicar la skill de forma consistente y controlada Controles que reducen variación y vuelven explícito el conocimiento operativo Trigger Procedure Escalation Indica la situación, señal o condición que activa el uso de la skill. Describe la secuencia de acciones para ejecutar la skill de manera repetible. Aclara cuándo detenerse, pedir apoyo o derivar casos fuera del alcance. Objective Output Uso correcto Define el resultado esperado y el problema concreto que la skill debe resolver. Detalla el entregable final, formato esperado o evidencia generada. Explica cuándo conviene usar la skill y cuándo no aplica. Inputs Validation Especifica datos, contexto, herramientas o artefactos necesarios para empezar. Define criterios para verificar que el resultado sea correcto, completo y útil. © 2026 NTT DATA Valor 25 Convierte conocimiento tácito en un procedimiento reproducible y menos variable.
Tres skills para un Quality Agent Failure Triage Test Design Evidence Investigation Agrupa fallas similares, identifica patrones y prioriza la investigación según impacto, frecuencia y riesgo para acelerar el diagnóstico. Convierte requerimientos y riesgos en escenarios verificables, con cobertura clara y foco en casos críticos para validar el comportamiento esperado. Relaciona logs, defectos, cambios y resultados para construir hipótesis con sustento y orientar la búsqueda de la causa raíz. © 2026 NTT DATA 26
6 Evaluación de agentes Evaluar agentes exige revisar no solo el resultado, sino también el proceso: una respuesta correcta puede ocultar decisiones inseguras, mal uso de herramientas o violaciones de límites. © 2026 NTT DATA 27
6 Evals ¿Qué significa evaluar un agente? Output: logró el objetivo y fue relevante Proceso: eligió la herramienta adecuada Grounded, completo y con formato correcto Usó parámetros válidos y evitó redundancias Respetó límites durante la trayectoria © 2026 NTT DATA 28
Tres ejemplos prácticos de evals Selección de pruebas Ejecución E2E Se evalúa la cobertura lograda y si la selección usó correctamente requirements, riesgos y cambios para priorizar los casos adecuados. Se verifica que el resultado PASS o FAIL sea correcto y que el uso del ambiente y los parámetros de ejecución sea el adecuado. Cómo evaluar Investigación Se evalúa si la hipótesis está soportada y si la evidencia es pertinente, trazable y no inventada. © 2026 NTT DATA Resultado de la tarea Uso correcto de herramientas Conclusión con evidencia Menos pasos innecesarios Menos llamadas redundantes 29
De prompt a sistema completo Prompt Respuesta directa El foco inicial es formular buenas instrucciones para obtener una respuesta útil en una interacción aislada. © 2026 NTT DATA Contexto Más información y memoria Se añade contexto relevante para mejorar precisión y continuidad, y empieza a crecer la responsabilidad de diseño. RAG y tools Agents, skills, eval Acceso y acción El sistema consulta conocimiento externo y usa herramientas. Ya no solo responde: observa, recupera datos y actúa. Comportamiento verificable La unidad de diseño pasa al sistema completo que decide, coordina capacidades y demuestra su desempeño con evaluación.
¿Un agente puede acertar el resultado y aun así fallar como agente? 2 © 2026 NTT DATA
Doble evaluación Un agente no solo debe llegar al resultado correcto; también debe llegar de la forma correcta. Por eso evaluamos dos dimensiones: 1. Resultado ¿La tarea se completó correctamente? Ejemplo: ejecutó la prueba, identificó el fallo y generó la evidencia esperada. 2. Comportamiento del agente ¿Tomó buenas decisiones durante el proceso? Ejemplo: utilizó las tools adecuadas, siguió las restricciones, no realizó acciones innecesarias y escaló cuando correspondía. Un agente puede obtener la respuesta correcta y, aun así, haber seguido un proceso incorrecto o riesgoso. © 2026 NTT DATA 31
Traces como evidencia del comportamiento Una trace registra objetivo, decisiones del modelo, tool calls, resultados, guardrails y la conclusión final. Permite evaluar si eligió la tool correcta, si hubo un handoff adecuado o si violó una política. En Agentic Quality, además aporta observabilidad y evidencia para pruebas. © 2026 NTT DATA 32
¿Cuál es la diferencia entre agent y agentic quality? 2 © 2026 NTT DATA
¿Cuál es la diferencia entre agent y agentic quality? La diferencia principal está en el nivel: © 2026 NTT DATA Concepto ¿Qué es? Pregunta que responde Agent Un sistema que observa contexto, decide el siguiente paso y utiliza tools para actuar hacia un objetivo. ¿Quién ejecuta y decide? Agentic Quality Un enfoque de Quality donde agentes participan en el ciclo de calidad, pero bajo criterios de evaluación, evidencia, límites, observabilidad y control humano. ¿Cómo usamos autonomía sin perder calidad y control?
Quality Services se vuelven agentic Nivel 1 Manual La calidad depende de ejecución humana y tareas repetitivas. El foco está en operar, validar y documentar de forma directa. © 2026 NTT DATA Nivel 2-3 Automated y AIassisted La automatización y la IA ayudan a acelerar pruebas, análisis y cobertura. El ingeniero gana eficiencia y apoyo para decidir mejor. Nivel 4 Nivel 5 Agent-augmented Agentic quality Los agentes colaboran con el equipo para preparar evidencia, controles y acciones guiadas, con supervisión humana constante. El Quality Engineer diseña criterios, límites, confianza y mecanismos de control para servicios de calidad más inteligentes y autónomos.
7 Early Quality Inteligencia temprana de calidad Detecta ambigüedad y criterios faltantes desde discovery Identifica contradicciones y problemas de trazabilidad Revela dependencias y nivel de readiness temprano Mejora decisiones antes de que existan defectos Refuerza el enfoque de incorporar calidad desde las primeras etapas del SDLC y mantenlo incluso cuando la solución ya está en producción. © 2026 NTT DATA 34
ISTQB 2026: dos perspectivas necesarias Testing WITH GenAI Testing OF AI Systems CT-GenAI v1.1 aborda el uso de GenAI para potenciar requirements, diseño de pruebas, automatización, reporting y mejora continua del testing. CT-AI v2.0 se centra en probar sistemas de IA, incluyendo probabilismo, pruebas de datos y modelos, GenAI, exploratory testing y red teaming. Ambas miradas son clave La calidad moderna necesita combinar el uso de GenAI para acelerar el trabajo con la validación rigurosa de sistemas de IA y sus riesgos específicos. © 2026 NTT DATA 33
¿Qué es lo que te llevas de la sesión? © 2026 NTT DATA 2
¿Qué mindset nos llevamos de la sesión? Inicio Prompting base La sesión parte del prompting como punto inicial para interactuar con GenAI y definir respuestas útiles. © 2026 NTT DATA Evolución Sistemas con contexto Se avanza hacia soluciones más completas con contexto, RAG, tools, agents, skills y evals integradas. Nuevo reto Quality Engineering El foco pasa a demostrar confianza operacional, trazabilidad y control en cada decisión tomada por soluciones GenAI.
8 Actividad final: sistema agentic 01 03 02 Objetivo y contexto Arquitectura y capacidades Define un objetivo claro de un agente de Testing, el contexto de Incluye RAG, tools, MCP, estrategia de Quality, 3 Skills clave y las uso y el problema de calidad que debe resolver. decisiones que tomará el agente. Evaluación y control humano Describe 3 evals para medir desempeño y mecanismos de human *La implementación es opcional control para supervisar, aprobar y corregir. © 2026 NTT DATA 35
Tips para la Actividad Final La pregunta no es solo si la IA ayuda a probar mejor, sino con qué contexto, evidencia, límites y controles actúa. Contexto y evidencia Capacidades y límites Prueba y control La utilidad depende de la información disponible y de la calidad de lo que recupera. Hay que definir qué puede hacer, qué no debe hacer y dónde requiere supervisión humana. Debemos demostrar que la IA actuó de forma correcta, segura y útil en la práctica. Acciones permitidas Corrección verificable Establecer tareas que la IA puede ejecutar con autonomía dentro de un marco controlado. Medir si las respuestas y acciones cumplen criterios definidos y resultados esperados. Decisiones restringidas Seguridad operativa Reservar para personas las decisiones críticas, ambiguas o de mayor impacto. Comprobar que el uso de la IA protege datos, procesos y usuarios frente a fallos. Contexto suficiente Definir qué datos, reglas y objetivos recibe la IA para producir resultados útiles. Evidencia recuperada Asegurar que use fuentes trazables, actuales y relevantes para sustentar sus respuestas. Calidad de insumos Validar la confiabilidad del contenido de entrada antes de usarlo en pruebas o análisis. © 2026 NTT DATA Supervisión humana Incluir revisión humana en pasos clave para reducir errores y riesgos operativos. 40 Valor demostrado Evaluar si aporta utilidad real al trabajo mediante evidencia de impacto y desempeño.
Cada componente debe justificar su propósito, riesgo cubierto y aporte a una solución confiable de Quality Engineering. Base Capacidades y ejecución Control y confianza Define por qué existe la solución y en qué entorno debe operar con confianza. Describe cómo el agente actúa, qué usa y qué habilidades aplica para resolver tareas. Asegura calidad operativa mediante evaluación continua y supervisión humana. Objective Tools Eval Aclara la meta del agente y el valor esperado para Quality Engineering. Habilitan acciones concretas, validaciones y acceso a sistemas necesarios. Mide desempeño, detecta fallas y verifica que la solución cumpla su objetivo. Context MCP Human control Aporta reglas, alcance y señales para decisiones útiles y consistentes. Orquesta conexiones seguras entre modelos, datos y servicios externos. Introduce revisión humana en decisiones sensibles, riesgosas o ambiguas. RAG Agent y 3 skills Trazabilidad Conecta conocimiento relevante y reduce respuestas sin sustento. Define razonamiento, flujo de trabajo y habilidades especializadas por tarea. Explica cada decisión, el riesgo que controla y su aporte a la confiabilidad. © 2026 NTT DATA 36
¡ Conectemos ! ¡Muchas gracias! © 2026 NTT DATA 2
QA Lab Innovation, Colaboración entre AI Agents - personas y el mindset QA AI actual, Noviembre 2026
for free. You
can too.