Uno de los métodos que emplea la investigación científica para recolectar y analizar datos es el método cuantitativo (Cadena-Iñiguez et al., 2017). Entre las herramientas que utiliza este método para recopilar datos se encuentra el uso de los cuestionarios, cuyo diseño tiene en cuenta la comprensión del participante y la claridad de los ítems o reactivos (Kamp, 2018). Los evaluados responden a estos instrumentos a través de una escala tipo Likert (ordinal), que tradicionalmente suele incluir 3 o 4 puntos de anclaje (Wu & Leung, 2017). De esta manera, es posible medir una variable latente por medio de indicadores observables y acceder a una medida indirecta del constructo. Sin embargo, es importante que la relación entre estos indicadores observables y las variables latentes sea sólida para que las inferencias que se obtengan resulten precisas y correctas (Batista-Foguet, et. al., 2004).

Para evaluar la calidad de un instrumento se realizan análisis de evidencias de confiabilidad y validez. El primero refiere a que, si se aplican las mismas condiciones, las mediciones realizadas con el instrumento obtienen el mismo resultado en diferentes momentos, escenarios y poblaciones (Manterola et al., 2018). El segundo indica en qué grado el instrumento mide la variable que dice medir (Hernández Sampieri et. al, 2014).

De acuerdo con la literatura, es posible distinguir diferentes análisis de evidencias de validez: validez aparente o de aspecto, de contenido, externa e interna. La validez aparente es una evaluación subjetiva realizada por el autor del instrumento y por los usuarios del mismo. El objetivo es evaluar si el instrumento parece una encuesta formal o un instrumento de medida; se tiene en cuenta la organización del instrumento, si los ítems son entendibles, razonables y claros, el léxico empleado, la claridad de las instrucciones y organización del instrumento (Lagunes Córdoba, 2017).

La validez de contenido analiza en qué grado los ítems de un instrumento son representativos y relevantes de un dominio específico del constructo a evaluar (Hernández Sampieri, et. al., 2014). Se tienen en cuenta principalmente cuatro elementos: definición, relevancia, representación del dominio y qué tan apropiado es el procedimiento de construcción del instrumento (Almanasreh et al., 2019).

La validez externa es la capacidad de generalizar las inferencias obtenidas con el instrumento a otras poblaciones o muestras (Findley, 2021). Esta validez se suele yuxtaponer con la validez interna (Reiss, 2019), la cual es el grado en que los resultados obtenidos representan la población estudiada y que no hay un error metodológico (Patino & Carvalho Ferreira, 2018).

El realizar los diferentes análisis para encontrar evidencias de confiabilidad y validez permite evitar los errores aleatorios o no sistemáticos y sistemáticos. El primero de estos errores compromete la confiabilidad del instrumento, pues el mismo está asociado a las variaciones azarosas que ocurren en las mediciones repetidas y no puede evitarse. Los factores que influyen son: el tamaño muestral, la variabilidad individual e interindividual y la magnitud de las diferencias (a mayor diferencia en la comparación, la probabilidad de que se deba al azar será menor) (Barraza et al., 2019). El segundo tipo de error, los sistemáticos, ocurre cuando las variaciones ocurren de forma predecible y se sobreestima o subestiman los resultados obtenidos en medidas repetidas y conlleva a conclusiones erróneas. Estos se encuentran relacionados con tres tipos de sesgos: el de selección (inadecuada selección de los participantes), de información o medición (son defectos que ocurren durante la medición) y de confusión (cuando se llega a conclusiones erróneas en la relación entre las variables) (Hernández-Ávila et al, 2000; Manterola & Otzen, 2015).

La validez interna, por su parte, es la más utilizada en las investigaciones científicas. Para llevar a cabo dicho análisis se suele utilizar el Análisis Factorial Confirmatorio.

Este análisis permite contrastar la hipótesis con la relación entre indicadores y dimensiones latentes (Batista-Foguet et al, 2004). De esta forma, analizando la estructura interna del mismo, se puede verificar que el instrumento realmente evalúe el constructo que dice medir y testar si los datos empíricos recogidos por el instrumento se ajustan al modelo teórico que subyace al mismo (Smith & McMillan, 2001). Este ajuste es evaluado mediante dos clases de índices que son incrementales y absolutos (Domínguez-Lara, 2019).

Los índices de ajuste incrementales son aquellos índices que evalúan la mejora del modelo propuesto en relación a un modelo base (McNeish et al., 2017). Ejemplos de ellos son el CFI (Comparative fit index), el GFI (Goodness of fit index) y el TLI (Tucker-Lewis inndex), entre otros.

Cuando el CFI otorga un valor mayor o igual .95 se considera que el modelo se ajusta a la muestra (Lai, 2020). Para el GFI se recomienda un punto de corte igual o superior a .89 en una muestra de 100 casos, mientras que en muestras mayores se recomienda un corte mayor o igual a .93 (Cho et al, 2020). El punto de corte recomendado para el TLI es superior a .90 (Xia & Yang, 2019). En los índices de ajuste incrementales generalmente se considera que un valor de superior o igual a .90 es adecuado, y si es mayor o igual a .95 se lo considera óptimo, siendo el puntaje ideal es de 1 (Hu & Bentler, 1999; Kline, 2011; Brown, 2015; Escobedo Portillo et. al., 2016).

Los índices de ajuste absolutos indican en qué grado el modelo observado en la matriz de covarianza iguala a la matriz de covarianza del modelo implícito; mientras menor sea el resultado, mejor ajusta el modelo (Chen, 2007). Entre ellos, se encuentra el RMSEA (Root mean squared error of approximation), para el cual se recomienda como mínimo una muestra de 200 casos, o emplearlo con precaución en muestras menores (Curran et. al., 2003).

Otro índice de ajuste absoluto que se suele utilizar es el SRMR (Standardized root mean square residual). Este índice se interpreta como la covarianza residual estandarizada de la muestra (Maydeu-Olivares et al., 2017). En general, el SRMR es más eficaz que el RMSEA en rechazar modelos que no se ajustan estrechamente, en especial en muestras chicas, iguales o menores a 200 casos (Shi et al., 2019).

Cuando el RMSEA otorga un valor igual o inferior a .05 se considera que el modelo se ajusta de forma adecuada a la muestra (Lai, 2020). Para el SRMR se recomienda un punto de corte menor o igual a .09 en una muestra de 100 casos o menos, mientras que para muestra mayor a 100 casos, se recomienda un punto de corte de .08 o menos (Cho et. al., 2020).

Otro indicador que se tiene en cuenta para evaluar el ajuste de la muestra al modelo propuesto es el chi cuadrado (χ2). Si su valor es estadísticamente significativo (ej. p < .05), el ajuste del modelo es pobre en comparación a la muestra. Caso contrario (p ≥ .05), se considera que el modelo se ajusta de forma adecuada a la muestra (Walker & Smith, 2017). Cabe señalar que un inconveniente que presenta el χ2 es su sensibilidad al tamaño de la muestra. Esto se debe a que en muestras relativamente grandes suele aumentar las diferencias entre la matriz de varianza-covarianza de la muestra y la matriz del modelo propuesto, a comparación de lo que debería ser (Lewis, 2017).

Según explica Rojas-Torres (2020), en los modelos de una única estructura factorial, los índices de ajuste TLI, CFI, RMSEA y SRMR poseen muy poca variabilidad ante valores extremos. A su vez, menciona que al aumentar la muestra, la variabilidad disminuye. Por lo cual, los puntos de corte clásicos de estos índices son robustos ante la contaminación de los datos. Sin embargo, se recomienda que en muestras de 100 o menos casos, se consideren nada más los puntos de corte clásico del SRMR y el CFI (Rojas-Torres, 2020). Además, el SRMR es un indicador robusto en diferentes métodos de estimación (Shi & Maydeu-Olivares, 2019).

Sin embargo, según indican McNeish et al. (2017), no existe un solo criterio de corte que pueda aplicarse a cualquier índice en los modelos de variable latente. Por el contrario, se deben tener en cuenta diferentes variables, tales como la complejidad del modelo, el tamaño de la muestra, el número de indicadores por factor, la calidad de la medición o el número de alternativas de respuesta de los indicadores observables utilizados, entre otras.

Al indagar un constructo teórico es necesario contar con un instrumento que lo evalúe de forma correcta. A tal efecto, se realizan diferentes análisis que puedan aportar evidencias de confiabilidad y validez. Entre estas últimas el análisis más utilizado es el AFC, permitiendo confirmar de forma estadística si el instrumento mide la variable latente del estudio.

Por este motivo, es necesario comprender qué miden los índices utilizados. De esta manera se puede saber si el cuestionario presenta suficientes evidencias de validez como para ser empleado en el campo de aplicación, o si aún requiere de mejoras que reduzcan el error de medición al momento de relevar la información sobre el constructo latente. Pues, el saber que el instrumento mide lo que dice medir, reduce la posibilidad de errores sistemáticos en la investigación efectuada.

Además, conocer cuáles son los puntos de corte tradicionales permite validar instrumentos en base a los parámetros aceptados por la comunidad científica en general. Aunque, como explica Lai (2020), si bien existen puntos de cortes consensuados por la comunidad científica, es importante destacar que no son universalmente aplicables porque estos ignoran las características del modelo y de los datos. Una alternativa que ofrece el autor es ajustar los puntos de corte de acuerdo a las características del modelo y de los datos.

Al seguir las sugerencias de Lai (2020) es importante justificar por qué y en base a qué se realiza el cambio en los puntos de corte tradicionales.