Evaluación de expertos
La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la
versión revisada el 16 de septiembre de 2021; las comprobaciones requieren
2 ediciones .
Evaluación de expertos : el proceso de obtener una evaluación de algo, con base en la opinión de expertos , con el objetivo de tomar una decisión o elección posterior .
Tipos de peritajes
Existen dos grupos de peritajes:
- Las evaluaciones individuales se basan en el uso de las opiniones de expertos individuales que son independientes entre sí.
- Las evaluaciones colectivas se basan en el uso de la opinión colectiva de los expertos.
La opinión conjunta es más precisa que la opinión individual de cada uno de los especialistas. Este método se utiliza para obtener estimaciones cuantitativas de características y propiedades cualitativas. Por ejemplo, la evaluación de varios proyectos técnicos según su grado de cumplimiento de un criterio dado , durante la competencia, la evaluación del desempeño del patinador por parte de los jueces.
Se conocen los siguientes métodos de peritajes:
- método de asociación . Basado en el estudio de un objeto similar en propiedades a otro objeto.
- Método de comparaciones pareadas (binarias) . Se basa en una comparación realizada por un experto de opciones alternativas, de las cuales se deben seleccionar las más preferibles.
- Método del vector de preferencia . El experto analiza todo el conjunto de opciones alternativas y selecciona las más preferidas.
- Método de objetos focales . Se basa en la transferencia de características de análogos seleccionados al azar al objeto en estudio.
- Encuesta individual de expertos . Encuesta en forma de entrevista o en forma de análisis de valoraciones de expertos. Significa una conversación entre el cliente y un experto, durante la cual el cliente hace preguntas al experto, cuyas respuestas son importantes para lograr los objetivos del programa. El análisis de las evaluaciones de expertos implica el llenado individual por parte de un experto de un formulario desarrollado por el cliente, en base a cuyos resultados se realiza un análisis integral de la situación del problema y se identifican las posibles formas de resolverlo. El experto presenta sus consideraciones en forma de documento separado.
- método del punto medio . Se formulan dos soluciones alternativas, una de las cuales es menos preferible. Después de eso, el experto debe elegir la tercera alternativa, cuya evaluación se ubica entre los valores de la primera y la segunda alternativa.
Etapas de la revisión por pares
- Fijación del objetivo del estudio.
- Elección de la forma de investigación, determinación del presupuesto del proyecto.
- Elaboración de materiales informativos, formularios de cuestionarios, moderador de procedimiento.
- Selección de expertos.
- Realización de un examen.
- Análisis de los resultados (tramitación de peritajes).
- Elaboración de un informe con los resultados de un peritaje.
Declaración del objetivo de la investigación
El enfoque experto le permite resolver problemas que no se pueden resolver de la forma analítica habitual, incluidos:
- Elegir la mejor solución entre las disponibles.
- Pronosticar el desarrollo del proceso.
- Encontrar posibles soluciones a problemas complejos.
Antes de iniciar un estudio de expertos, es necesario definir claramente su propósito (problema) y formular una pregunta apropiada para los expertos. En este caso, se recomienda cumplir con las siguientes reglas;
- Una definición clara de las condiciones, tiempo, restricciones externas e internas del problema. * La capacidad de responder una pregunta con precisión humana.
- La pregunta está mejor formulada como una declaración cualitativa que como una estimación de un número. Para estimaciones numéricas, no se recomienda establecer más de cinco gradaciones.
- Los expertos evalúan las posibles opciones, y no se debe esperar que desarrollen un plan de acción completo, una descripción detallada de las posibles soluciones.
Elección de la forma de investigación, determinación del presupuesto del proyecto
Los tipos existentes de evaluaciones de expertos se pueden clasificar de acuerdo con los siguientes criterios:
- Según la forma de participación de los expertos: tiempo completo, tiempo parcial. El método presencial permite que los expertos se centren en el problema que se está resolviendo, lo que mejora la calidad del resultado, pero el método remoto puede resultar más económico.
- Por el número de iteraciones (repeticiones del procedimiento para mejorar la precisión) - un paso e iterativo.
- Según las tareas a resolver: generar soluciones y evaluar opciones.
- Por tipo de respuesta: ideológica, jerarquizada, evaluando el objeto en una escala relativa o absoluta (numérica).
- Según el método de tratamiento de los dictámenes periciales: directo y analítico.
- Por el número de expertos involucrados: ilimitado, limitado. Por lo general, se utilizan de 5 a 12 expertos.
Los métodos más famosos de evaluación de expertos son el método Delphi , la lluvia de ideas y el método de análisis jerárquico . Cada método tiene su propio tiempo y necesidad de expertos. Después de elegir el método de evaluación de expertos, es posible determinar los costos del procedimiento, que incluyen el pago de expertos, el alquiler de locales, la compra de papelería, el pago de un especialista en la realización y el análisis de los resultados del examen.
Elaboración de materiales informativos
Los expertos antes de emitir un juicio deben diversificar el problema presentado. Para llevar a cabo este procedimiento, es necesario preparar materiales informativos que describan el problema, datos estadísticos disponibles, materiales de referencia, formularios de cuestionarios , inventario. Se deben evitar los siguientes errores: mencionar a los desarrolladores de materiales, resaltar una u otra opción de solución, expresar la actitud de la gerencia hacia los resultados esperados. Los datos deben ser versátiles y neutrales. Es necesario desarrollar formularios de cuestionarios para expertos con anticipación. Según el método, pueden ser con preguntas abiertas y cerradas, la respuesta puede darse en forma de juicio, comparación por pares, serie ordenada, en puntos o en forma de valoración absoluta.
El procedimiento en sí lo lleva a cabo un moderador independiente del procedimiento, que controla el cumplimiento de las normas, distribuye materiales y cuestionarios, pero no expresa su propia opinión.
Selección de expertos
Los expertos deben tener experiencia en áreas relevantes para las tareas a resolver. A la hora de seleccionar a los expertos, se debe tener en cuenta el momento de interés personal, que puede convertirse en un obstáculo importante para obtener un juicio objetivo. Para ello, por ejemplo, se utilizan los métodos de Shar, cuando un experto, el especialista más respetado, recomienda una serie de otros y más adelante en la cadena hasta seleccionar el equipo necesario.
Realización de un examen
El procedimiento varía según el método utilizado. Recomendaciones generales:
- Prevenir la presión de las autoridades (muchas veces un experto tiene miedo de contradecir la opinión de la mayoría o del especialista más respetado).
- Establecer y seguir reglas. Aumentar el tiempo para tomar una decisión más allá del óptimo no mejora la precisión de la respuesta.
Análisis de los resultados (tramitación de peritajes)
Las principales etapas de la tramitación de peritajes:
- determinar la competencia de los expertos;
- definición de una evaluación generalizada;
- construir un ranking generalizado de objetos en el caso de varios objetos evaluados o alternativas ;
- determinación de dependencias entre rankings;
- evaluación de la consistencia de las opiniones de los expertos. En ausencia de acuerdo significativo entre expertos, es necesario identificar las causas de la inconsistencia (presencia de grupos) y reconocer la ausencia de una opinión consensuada (resultados no significativos);
- evaluación del error de investigación;
- construir un modelo de las propiedades del objeto (objetos) basado en las respuestas de expertos (para experiencia analítica);
- elaboración de un informe (indicando el objeto del estudio, la composición de los expertos, la valoración y análisis de los resultados).
Véase también
Literatura