Los investigadores compararon los objetivos generados por herramientas de GenAI, incluyendo GPT-4o, Claude 3.7, Gemini 2.5 y Grok-2, con los objetivos creados por analistas de decisiones profesionales en seis estudios previamente publicados en Decision Analysis. Cada conjunto generado por GenAI fue evaluado en base a nueve criterios clave del pensamiento enfocado en el valor (VFT), como la completitud, descomponibilidad y redundancia.
Los resultados mostraron que, aunque GenAI frecuentemente producía objetivos razonables de manera individual, los conjuntos en su totalidad eran incompletos, redundantes y a menudo incluían "objetivos medios" a pesar de las instrucciones explícitas para evitarlos.
Los autores afirmaron: "En resumen, la IA puede enumerar lo que podría importar, pero aún no puede distinguir lo que realmente importa".
El pionero del pensamiento enfocado en el valor, Ralph Keeney, comentó sobre dos listas de objetivos producidas por IA en el estudio: "Ambas listas son mejores que las que la mayoría de las personas podrían crear. Sin embargo, ninguna lista debería ser utilizada para un análisis de decisiones de calidad, ya que solo se deben incluir los objetivos fundamentales al evaluar alternativas".
Para mejorar la salida de GenAI, los investigadores probaron varias estrategias de indicación, incluyendo el razonamiento en cadena y métodos de crítica y revisión por expertos. Cuando se combinaron ambas técnicas, los resultados de la IA mejoraron significativamente, produciendo conjuntos de objetivos más pequeños, enfocados y lógicamente estructurados.
Simon destacó: "La IA generativa se desempeña bien en varios criterios, pero aún tiene dificultades para producir conjuntos coherentes y no redundantes de objetivos. Los analistas de decisiones humanos son esenciales para refinar y validar lo que produce la IA".
Siebert agregó: "Nuestros hallazgos dejan claro que GenAI debe complementar, no reemplazar, el juicio experto. Cuando humanos e IA trabajan juntos, pueden aprovechar las fortalezas de cada uno para una mejor toma de decisiones".
El estudio concluyó con un modelo híbrido de cuatro pasos para los tomadores de decisiones que integra la lluvia de ideas de GenAI con el refinamiento experto para asegurar que los objetivos utilizados en el análisis sean esenciales, descomponibles y completos.
