El Taller de evaluación de recuperación de información rusa (ROMIP) es un taller abierto que se lleva a cabo anualmente desde 2003 por un grupo de investigadores y desarrolladores rusos de recuperación de información . El objetivo principal del seminario es crear un trampolín para una evaluación independiente de los métodos de recuperación de información centrados en trabajar con información en ruso. ROMIP es un seminario no comercial: los costos de preparación y realización de la evaluación son reembolsados por las subvenciones de RFBR y las contribuciones de los participantes.
El principio más importante de ROMIP es la determinación conjunta de tareas para la evaluación con los participantes y la formación de las reglas para la evaluación, el comité organizador solo coordina las secciones. Otro principio fundamental de ROMIP es utilizar los resultados de la evaluación únicamente con fines de investigación y prohibir su uso con fines de marketing/comerciales sin el consentimiento del participante.
Estructuralmente, el seminario es un conjunto de pistas : secciones dedicadas a proyectos específicos con una tarea específica y reglas de evaluación. El comité organizador genera conjuntos de prueba de datos, tareas y los distribuye a los participantes. El participante, de forma independiente y con su propio equipo, realiza tareas de búsqueda de las pistas que le interesan y luego proporciona los resultados (respuestas) al comité organizador dentro del plazo acordado. El comité organizador organiza la evaluación de las respuestas recibidas, en la mayoría de los casos, con el uso de expertos independientes (asesores). La metodología de evaluación específica depende de la tarea en consideración y se determina en la etapa preparatoria. Se publica información sobre las calificaciones de todos los participantes, pero esta información es anónima: se utilizan seudónimos para referirse a los participantes, cada participante conoce su propio seudónimo, pero no conoce los seudónimos de otros participantes.
En 2006, ROMIP contaba con las siguientes pistas:
En ROMIP pueden participar todas las personas interesadas, tanto los creadores de buscadores como los investigadores implicados en problemas de recuperación de información.