Grok 3 DeepSearch: 2 Horas Buscando Artículos Científicos para mi Tesis Doctoral, Todo ‘Alucinación’ y un Fiasco.
Por: Aaron Ballesteros - Cofundador de ABACO Consultores
Fecha: 20 de febrero de 2025
Tuve la brillante idea —quizás como tú— de usar la última versión de Grok, la IA de xAI creada por Elon Musk, para buscar información para mi tesis doctoral sobre transformación digital en proyectos de construcción. Pensé que Grok 3, anunciada como la joya de xAI, sería mi salvación. Prometía búsquedas profundas, análisis de perfiles, acceso a PDFs y respuestas instantáneas, todo con ese aire futurista que Musk sabe vender tan bien. Me dije: 'Perfecto, encontraré esos artículos esquivos que midan la TD con proxies y BIM como pilar central en un par de clics'. Dos horas después, aquí estoy, entre el asombro y la decepción, escribiendo este post para advertirles: Grok 3 te da lo que quieres leer, pero es un fiasco si buscas rigor académico. Todo fue pura 'alucinación'.
El experimento: DeepSearch a prueba
Mi misión era clara: necesitaba artículos cuantitativos que midieran la transformación digital (TD) en proyectos de construcción usando un proxy, con Building Information Modeling (BIM) como eje, y evaluando impacto en clientes, procesos, tecnología, cultura y valor. Algo específico, sí, pero no imposible para un supuesto buscador de vanguardia. Le di a Grok 3 mis criterios exactos y me lancé a la aventura.
Las primeras respuestas fueron impresionantes. Títulos como "Using BIM-Enabled Project Delivery Efficiency as a Proxy for Digital Transformation" o "Assessing BIM-Driven Digital Transformation Using Project Success Metrics" sonaban perfectos. Autores como Hamed Golzad o Heap-Yih Chong, DOIs, enlaces a MDPI, tablas con ítems Likert... Todo parecía sacado de mis sueños de doctorando. Pero algo olía raro: los enlaces llevaban a artículos reales, sí, pero sobre asentamientos informales en Egipto o evaluaciones de sostenibilidad en Corea. Nada que ver con lo que Grok describía.
La 'alucinación' al descubierto
Decidí verificar cada URL y DOI. Uno por uno, los artículos que Grok me ofrecía eran invenciones. Por ejemplo, https://www.mdpi.com/2075-5309/13/5/1263 no era sobre BIM, sino sobre barrios en El Cairo. Otro, https://www.mdpi.com/2075-5309/13/11/2841, era un artículo real de Manzoor et al., pero no coincidía con la descripción que Grok me dio. Probé con ASCE, Emerald, ScienceDirect: mismo resultado. Grok no encontraba; creaba.
Sí, dirás: "Verifica antes de confiar". Y lo hice. Pasé de la emoción a la sospecha en minutos, revisando cada enlace, buscando autores en ResearchGate, cotejando DOIs. Todo era una ilusión bien escrita. Grok 3 no buscaba en la web ni en bases de datos reales (o al menos no lo hacía bien); simplemente generaba respuestas a medida de lo que yo quería leer. Un espejismo tecnológico.
¿Por qué falla DeepSearch?
Como experto en IA, diría que Grok 3 está diseñado para impresionar, no para investigar. Responde rápido y con detalles técnicos que suenan convincentes: ítems Likert, análisis SEM con un CFI de 0.95, R² de 0.70... Pero cuando rascas la superficie, no hay sustancia. Su 'DeepSearch' no profundiza en revistas indexadas porque, para hacerlo, necesitaría tus credenciales o las de tu universidad, algo que no va a ocurrir pronto. Si Grok accediera directamente a esas bases de datos, pondría en jaque el negocio de Scopus, Web of Science y otros. En consecuencia, no valida datos reales; más bien, alucina basándose en los patrones de lo que le pides. Para una charla casual, es genial; para una tesis doctoral, un auténtico desastre.
Lección aprendida: Revistas indexadas o nada
Tras dos horas de este circo, Grok me dejó con las manos vacías. Ningún artículo real cumplía mis criterios exactos, y los que me inventó eran cuentos de ciencia ficción. Al final, volví a lo básico: Scopus, Web of Science, Google Scholar. Busqué manualmente en Buildings, Automation in Construction, Journal of Construction Engineering and Management. Encontré piezas útiles (como el trabajo de Manzoor et al., 2023, sobre madurez digital), pero nada idéntico a mi ideal. Al menos eran reales.
Veredicto: Grok 3, un fiasco para investigación seria
Grok 3 tiene potencial para charlas rápidas o ideas generales, pero como herramienta de investigación académica, es un fiasco. Responde lo que quieres leer, no lo que existe. Si estás haciendo una tesis, un paper o algo que necesite rigor, no pierdas tiempo con DeepSearch. Usa revistas indexadas, verifica DOIs, y confía en tu olfato. Yo lo hice, y aquí estoy, con un café y una advertencia: la IA puede ser asombrosa, pero no reemplaza el trabajo duro.
¿Y Elon? Supongo que está ocupado con Marte mientras su IA me hace ver estrellas. Gracias por nada, Grok.
Grok 3 DeepSearch: 2 Horas Buscando Artículos Científicos para mi Tesis Doctoral