Parece ciencia pero no lo es

Este texto no expresa una discrepancia de opiniones y sí una llamada de atención metodológica. La manipulación incorrecta de los datos está conduciendo a la creación de corrientes de opinión mal informadas y espoleando una crítica feroz basados en juicios de valor ajenos a la ciencia.
El metaanálisis es un método atribuido a Glass en la década de los 70 y que encuentra posteriormente un desarrollo notable en algunas disciplinas como son las Ciencias de la Salud. En esencia, consiste en recopilar diversos estudios centrados en un objetivo y analizar sus procedimientos y resultados de forma conjunta, buscando conclusiones que superen las limitaciones de cada uno de ellos en particular. En otras disciplinas es más frecuente la revisión sistemática de otras investigaciones, diferenciándose ambas en su tratamiento de los datos.
Como metodología científica, para el caso del estudio del comportamiento electoral, una opción legítima implicaría utilizar las estimaciones muestrales de intención de voto de diferentes encuestas y examinando sus fichas técnicas (número de entrevista, procedimiento de selección de entrevistados, dispersión de la muestra, etc.) integrar los datos en un único análisis controlando su heterogeneidad de origen. Ese control es crucial, dado que la significación estadística de cada estudio es muy diferente.
Sin embargo, los análisis de Llaneras (al igual que otras páginas web de nula calidad científica o garantía ética) opera de forma inadecuada al considerar como dato aquello que no lo es, causando un perjuicio que va más allá de la desinformación del lector. A continuación se listan algunas razones.
a) Legitima procedimientos espurios de investigación. En la metodología del metaanálisis se hace énfasis en la necesidad de conocer los procedimientos aplicados en cada estudio. Es un requisito que está en el ADN ético de la ciencia. Todo estudio debe estar documentado de forma tal que sean reproductibles sus resultados. No saber la procedencia de un dato (en este caso el modelo que lo acuña) es causa de exclusión inmediata por fraude potencial. No puede haber metaanálisis sin respeto a la ética y los procedimientos del método científico: trasparencia, exposición de procedimientos y reproductibilidad. Y sin embargo b)
b) Combina resultados de estudios indocumentados con estudios documentados. Los datos del CIS y sus modelos están plenamente documentados, trasparentes y reproducibles. Unirlos en un metaanálisis con los resultados de estudios indocumentados es tóxico. Primero, al dar validez metodológica a lo que no la tiene (estimaciones que resultan de modelos secretos) y segundo, al equivaler con ellos los estudios científicos efectuados por decenas de personal técnico cualificado, que en conjunto suman cientos de años acumulados de experiencia en metodología de encuestas y modelos.
c) En ocasiones, se simula un control metodológico cuando no lo hay. Así, en ocasiones introduce en sus análisis factores de ponderación según tamaño muestral, antigüedad de la encuestas… Dicho control no tiene absolutamente ningún significado en el caso de estimaciones electorales resultantes de aplicar un modelo. El error de estimación que resulta de un modelo de medición surge de su relación con los datos que lo producen y no de la teoría del muestreo. En un modelo ponderado, por ejemplo, la aleatoriedad desaparece y el error cambia de naturaleza. Otra cosa sería la estimación muestral de intención de voto.
d) Acepta como natural el sesgo de publicación. Las estimaciones realizadas mediante modelos secretos por empresas comerciales son la gran mayoría de las publicadas. El CIS publica normalmente una mensual durante once meses. Las estimaciones secretas son decenas, muchas producidas por la misma empresa, incluyendo las estimaciones derivadas por agregadores de encuestas que simplemente reproducen la misma información. Las estimaciones secretas no solo no son datos sino que además producen un sesgo de publicación. Que conducen a e)
e) Aceptar el patrón de la cantidad como referencia sin considerar la calidad metodológica o las reglas del método científico. Las estimaciones y datos del CIS son criticadas como atípicas usando como patrón de referencia estimaciones producidas de forma muy alejada de la ética de la ciencia.
f) Se observa una ausencia de respeto científico a los diseños de los investigadores. El CIS no hace predicciones; está escrito por activa y por pasiva. Sus modelos son diagnósticos de situación. Temporalmente son sincrónicos con la recolección de datos y estiman una estructura de preferencias políticas en los ciudadanos en ese momento. Sin embargo, lo que es por diseño un modelo de medición se interpreta y opera metodológicamente como si de una predicción se tratara, comprobado su ajuste sobre los resultados electorales. Esto anterior, manipular el diseño ajeno, permite g).
g) Inversión lógica de la explicación. Según sus diseños los modelos del CIS son un ajuste de medición que diagnostica la situación electoral antes de la campaña. Sirve de modelo base para estudiar la evolución posterior de los electorados hasta las elecciones. Las estimaciones preelectorales son el punto de partida para valorar las dinámicas que conducen a un resultado electoral y no a la inversa. No siendo modelos predictivos, el contraste con los resultados electorales de las estimaciones de estos modelos de diagnóstico es una inversión lógica del orden causal. Las estimaciones sirven para valorar los resultados (qué cambia, qué continúa) y no para el proceso inverso: medir la fiabilidad del modelo. Sería correcto en modelos predictivos (se suponen que anticipan el futuro) pero es profundamente incorrecto en modelos de medición. Por ejemplo, contextos con fuertes inercias son relativamente insensibles a los efectos de la campaña electoral o de los debates. La comparación de las estimaciones preelectoral de abril de 2019 con los resultados electorales finales permite identificar una situación inercial fuerte tanto en movilizaciones, como desmovilizaciones o trasferencias. La encuesta preelectoral de noviembre de 2019 y su comparación con los resultados muestra un contexto muy volátil, con movilización y desmovilización elevada de electorados con alta incertidumbre y un posible efecto fuerte de los debates y crisis coyunturales. Respetando la metodología y el diseño, la lectura correcta es la inversa a la que efectúa Llaneras. Las estimaciones de las encuestas preelectorales arrojan luz sobre el camino que recorren posteriormente los electorados. Utilizar los resultados electorales para evaluar atemporalmente el ajuste del modelo de medición preelectoral es irracional.
h) Se fomenta el deterioro de las instituciones vulnerando la aplicación correcta del método científico. Primero lo evidente: un uso inapropiado del método científico devalúa el método científico. Segundo, los análisis erróneos con apariencia de metaanálisis facilitan un clima de opinión hostil contra el prestigio de un centro de investigación como el CIS. Es el conocido como sesgo de agenda. Si un metaanálisis metodológicamente correcto puede ocultar un sesgo de agenda (la intención de influir en una política o corriente de opinión), en el caso de análisis incorrectos dicho sesgo se agrava al convertirse en argumento para posibles denuncias de partidos extremistas o desinformaciones interesadas.
En resumen, integrar en un mismo análisis datos documentados y datos indocumentados, simular control a partir de la teoría del muestreo cuando las estimaciones de modelos se evalúan por su ajuste a los datos, evaluar un modelo de medición temporalmente sincrónico como si fuese uno de predicción de ajuste asincrónico, interpretar erróneamente los diseños ajenos para dar juego a los propios, invertir el orden lógico explicativo y un largo etcétera hacen necesario este texto. Un escrito que no es una exposición de opinión y sí la constatación de un error metodológico.


Posted

in

by

Tags: