PUERTA (programa)

El conjunto de recursos integrados con GATE se conoce como CREOLE  - Reusable Objects for Language Engineering. Los recursos se almacenan en repositorios CREOLE, que contienen archivos XML, códigos de archivo Java y bibliotecas necesarias para los recursos. Los recursos utilizados se agrupan en complementos [8] que se almacenan en una dirección específica (URL o archivo:/URL). Los complementos pueden ser básicos (cargados durante la instalación de GATE) y personalizados, pueden ubicarse en una unidad local o en un servidor remoto. Cuando el archivo se carga en GATE, parece un archivo de configuración creole.xml. Los complementos CREOLE se administran a través de la interfaz mediante el comando Archivo > Administrar complementos CREOLE > Agregar nuevo repositorio criollo. GATE se representa como un conjunto de configuraciones (funciones) donde el usuario conecta componentes CRIOLLOS: el usuario especifica una lista de direcciones, GATE extrae los recursos correspondientes (PR) de ellos. Cuando se selecciona un complemento, su lista de configuraciones aparece en el campo de la derecha.

almacenes de datos

Almacén de datos. Necesario para almacenar documentos/casos y procesos para su uso posterior. De todos los tipos de almacenamiento, el Serial DataStore se usa a menudo. lata de almacenamiento

• crear (Almacén de datos > Crear almacén de datos > Almacén de datos en serie > especificar una carpeta vacía sin caracteres cirílicos ni espacios en la ruta),
• abrir previamente creado (Open datastore),
• guarde documentos y casos en él (Abrir almacén de datos> haga doble clic en un documento/caso),
• guardar los cambios realizados en el documento o corpus (Guardar en su almacén de datos).

Se puede ejecutar una secuencia de procesos de procesamiento de textos desde Aplicaciones desde el DataStore. Debe abrir DataStore, abrir el caso y luego, en Aplicaciones, seleccionar este caso. Al ejecutar la aplicación en un cuerpo desde DataStore, cada documento se cargará, procesará, guardará y cerrará. Es decir, solo se procesa un documento a la vez. Esto no sobrecarga la memoria, pero el proceso es más lento que si todos los documentos se procesaran al mismo tiempo.

Marcado de documentos en GATE Developer

Marcar documentos de acuerdo con reglas uniformes le permite buscar y extraer datos de un documento, crear ontologías .

En GATE, después de abrir el editor de documentos, aparecen las pestañas Conjuntos de anotaciones y Lista de anotaciones (o Anotaciones según la versión de Gate), donde en la lista de la derecha puede verificar los tipos de anotaciones que desea mostrar o crear anotaciones. . Se proporciona la función Cambiar color. Cuando se selecciona un fragmento de texto al que se va a asignar una anotación, aparece la ventana Editor de anotaciones, que contiene los siguientes campos y controles:

1. Tipo de anotación (si ya se han agregado algunos tipos, puede elegir entre los existentes)
2. Nombre del atributo (los campos en blanco para el siguiente atributo aparecen automáticamente)
3. Valor de atributo
4. Botón Eliminar anotación

Las anotaciones se agrupan en AnnotationSets. Esta es una característica útil que le permite almacenar varias opciones de marcado para un documento, por ejemplo, experto y automático. El marcado experto generalmente se almacena en un AnnotationSet llamado Key. El marcado automático generalmente se escribe en un AnnotationSet vacío, que está presente en todos los documentos de forma predeterminada. No hay una clave AnnotationSet en los documentos, debe crearla, ingresar la palabra Clave en el campo debajo de los tipos de anotación y hacer clic en Nuevo.

Sistema ANNIE

GATE tiene un sistema de inteligencia artificial llamado ANNIE (un sistema de extracción de información casi nuevo), que incluye un conjunto de recursos que proporcionan tokenización (ANNIE English Tokenizer), etiquetado POS (ANNIE POS-Tagger), división en oraciones (ANNIE Sentence Splitter) , extracción de entidades nombradas (ANNIE Gazetteer y ANNIE NE Transducer) y análisis de correferencia (ANNIE OrthoMatcher). Desarrolladores: Hamish Cunningham, Valentin Tablan, Diana Maynard, Kalina Bontcheva, Marin Dimitrov y otros. Los desarrolladores de ANNIE utilizan algoritmos de autómatas finitos y expresiones regulares JAPE [9] .

Los componentes de ANNIE están integrados en la aplicación, por lo que para la inicialización, simplemente haga clic en el icono verde correspondiente en la barra de herramientas de GATE y seleccione con los valores predeterminados. Después de que todos los recursos aparezcan en la lista de Recursos de procesamiento, haga doble clic para abrir la aplicación ANNIE, que se encuentra en la lista de Aplicaciones. La interfaz de la aplicación ANNIE es la misma que la del resto de aplicaciones. En el lado derecho hay una lista ordenada de recursos que se llamarán en el documento exactamente en la secuencia especificada en la lista. La aplicación ANNIE pertenece a la clase Corpus Pipeline, es decir, debe ejecutarse sobre un corpus de textos. Como resultado de la operación del sistema ANNIE, se agregan varias anotaciones al AnnotationSet predeterminado, que incluyen Token (tokens), Oración (oraciones), Búsqueda (entradas de diccionario), Persona, Ubicación, Organización. Si el corpus y los documentos estaban en el DataStore antes de ejecutar ANNIE, ANNIE recuperará los documentos uno por uno, los procesará y los volverá a colocar.

Lista de componentes:

1. La lista de PR tiene un recurso de PR de restablecimiento de documento que elimina el marcado del documento antes de procesarlo. El recurso tiene un parámetro setsToKeep, que enumera los nombres de AnnotationSets que no necesitan borrarse. Si hay un marcado manual en el documento, debe asegurarse de que el AnnotationSet que contiene este marcado se incluye en esta lista; de lo contrario, se eliminará. De forma predeterminada, el conjunto de claves se especifica allí.
2. Tokenizador . Divide el texto en tokens, a saber, números, puntuación, palabras, símbolos, espacios. A cada token se le asigna su tipo, respectivamente, Palabra (atributo orth con parámetros: upperInitial, allCaps, lowerCase, mixedCaps), Number, Symbol, Punctuation, SpaceToken.
3. Diccionario geográfico Define entidades nombradas de acuerdo con la lista, es decir, un archivo de texto (texto plano) con una lista de entidades nombradas línea por línea. Cada lista contiene un conjunto diferente de entidades nombradas: ciudades, organizaciones, días de la semana, etc. para solo uno de los idiomas dados. El archivo Lists.def proporciona acceso a una lista de entidades nombradas. Puede establecer el tipo de anotación para una lista individual de entidades nombradas. Cada lista debe estar en el mismo directorio que el archivo de índice Lists.def.
4. Separador de oraciones . Divide el texto en oraciones. El separador usa la lista de abreviaturas del Diccionario geográfico para distinguir el final de una oración de otros tipos de puntuación. A cada enunciado se le asigna la anotación 'Sentence', dentro de la cual se encuentra la anotación 'Split' con el valor 'internal' y 'external' para distinguir oraciones interrogativas, exclamativas y afirmativas.
5. Separador de oraciones RegEx . Una forma alternativa de dividir texto en oraciones usando expresiones regulares JAPE.
6. Etiquetador de parte del discurso . Anota cada palabra y carácter. Hay una lista de etiquetas usadas. Utiliza vocabulario y muchas reglas basadas en el corpus del Wall Street Journal. Las reglas y el vocabulario se pueden cambiar manualmente.
7. Etiquetador semántico . La anotación semántica se realiza mediante reglas de resolución JAPE (expresiones regulares) que utilizan las etiquetas obtenidas en los pasos de anotación anteriores.
8. Correferencia ortográfica (OrthoMatcher o 'NameMatcher'). Agrega un tipo de relación entre las etiquetas de entidad con nombre y las etiquetas semánticas. No encuentra nuevas entidades con nombre, pero puede asignar un tipo inclasificable a un nombre propio basado en coincidencias de palabras.
9. Correferencia pronominal . Conectado a PR como un recurso adicional del complemento ANNIE. Puede encontrar texto citado, estilo directo, pronombres (sustitución de sustantivos, anáforas ), repeticiones. Requiere anotación preliminar por etiquetas: Token (Tokenizer en inglés), Oración (Sentence Splitter), Split (Sentence Splitter), Ubicación (NE Transducer, OrthoMatcher), Persona (NE Transducer, OrthoMatcher), Organización (NE Transducer, OrthoMatcher). El análisis se realiza utilizando las reglas del conversor JAPE (expresiones regulares), se construye una máquina de estados para buscar signos de estilo directo y citas (comillas simples, dobles, etc.), buscar los pronombres "it, its, sí mismo" y "yo, mí, mi, mí mismo".

Probando los resultados del procesamiento de texto

GATE tiene herramientas integradas para probar los resultados del procesamiento de texto:

• La herramienta AnnotationDiff realiza una comparación en el mismo documento (botón de comparación en el panel GATE).

Parámetros: Conjunto de claves (nombre de AnnotationSet con marca #1), Conjunto de respuestas (nombre de AnnotationSet con marca #2), Tipo (solo se puede probar un tipo a la vez), Características (atributos que estamos comparando). Después de iniciar la comparación (Comparar), AnnotationDiff generará pares de anotaciones, marcando el tipo del par con un color. Tipos: Correcto (coincidencia completa), Falta (no se encuentra la anotación correcta), Espurio/Falso positivo (se encuentra una anotación adicional), Parcialmente correcto (parcialmente cruzando los límites de la anotación). De acuerdo con el número de pares de diferentes tipos, se calculan las métricas estándar Precisión, Recall y F.

• Corpus Quality Assurance (CQA) está diseñado para calcular métricas de calidad en un corpus.

La pestaña Garantía de calidad del corpus se abre en la ventana del corpus deseado. CQA recopilará datos sobre conjuntos, anotaciones y sus atributos. Es necesario establecer los parámetros, seleccionar los tipos de evaluaciones (por ejemplo, puntaje F1.0 estricto, indulgente y promedio). Ejecutar comparación. En la pestaña Estadísticas del documento, puede ver las estadísticas de los documentos, así como abrir inmediatamente el documento seleccionado o ver AnnotationDiff para él. Los resultados de las pruebas se pueden exportar a HTML.

PUERTA Mimir

GATE Mímir es un motor de búsqueda de código abierto alojado en SourceForge, distribuido bajo la Licencia Pública General Menor de GNU 3.0. GATE Mímir brinda soporte para la indexación y búsqueda de información lingüística y semántica desde aplicaciones con enormes bases de datos de datos lingüísticos. GATE Mímir brinda la capacidad de buscar información en texto, anotaciones, ontologías semánticas y metadatos semánticos utilizando combinaciones arbitrarias de texto, información estructural y SPARQL. Los desarrolladores no proporcionan un producto empaquetado listo para usar, sino que ofrecen descargar las fuentes y compilar sus propios archivos. El manual de usuario de GATE Mímir [10] , se proporcionan ejemplos de uso [11] , para las últimas versiones de lanzamiento, los archivos de un árbol fuente completo están disponibles [12] .

Véase también

• Extracción de información
• procesamiento natural del lenguaje
• Ontología (ciencias de la computación)
• Ligüística computacional
• fuente abierta
• Java
• Aprendizaje automático

Notas

1. ↑ tao , pág. 5.
2. ↑ Grimes, 2009 .
3. ↑ Twitter, 2013 .
4. ↑ tao , pág. 6.
5. ↑ BiomedicalGate, 2013 .
6. ↑ Proyectos .
7. ↑ Guía del usuario de GATE , pág. 93.
8. ↑ Lista de complementos GATE .
9. ↑ Sección sobre JAPE .
10. ↑ Mimir .
11. ↑ Ejemplos de Mimir .
12. ↑ Fuente Mímir .

Literatura

• Hamish Cunningham, Diana Maynard, Kalina Bontcheva, et al. Desarrollo de componentes de procesamiento de lenguaje con GATE versión 7 (una guía del usuario  ) . La Universidad de Shelf (2013).
• Seth Grimes. Análisis  de texto de código abierto . — 2009.
• K. Bontcheva, L. Derczynski, A. Funk, M. A. Greenwood, D. Maynard y N. Aswani. TwitIE: una canalización de extracción de información de código abierto para texto de microblog  //  Asociación de lingüística computacional. — 2013.
• Hamish Cunningham, Valentín Tablan, Angus Roberts, Kalina Bontcheva. Obtener más de los documentos biomédicos con el análisis de texto de código abierto de ciclo de vida completo de GATE   // PLoS Comput Biol 9(2) : revista . - EE.UU., 2013. - Edicion. 9(2) .
• Cunningham H., Maynard D., Bontcheva K. y Tablan V. GATE: A Framework and Graphical Development Environment for Robust NLP Tools and Applications (En proceso de la reunión del 40.° aniversario de la Association for Computational Linguistics, 2002  ) )  // Universidad de Plataforma. — 2009.
• Konchadi Manu. Creación de aplicaciones de búsqueda: Lucene, LingPipe y Gate . - Oakton, Virginia, EE. UU.: Mustru Publishing, 2008. - 447 p. — ISBN 978-0-61520-425-3 .
• Graham Wilcock. Introducción a la Anotación Lingüística y Analítica de Texto . - Princeton, NJ: Morgan & Claypool Publishers, 2009. - 159 p. — ISBN 9781598297386 .
• Valentín Tablan, Ian Roberts. Guía del usuario de Mimir  (inglés) . La Universidad de Shelf (2013).

Enlaces

• Lista de artículos sobre GATE
• Lista de complementos GATE
• Lista de proyectos usando GATE con descripción
• Guía del usuario de GATE. Formatos de documentos
• Sección sobre JAPE en el manual de usuario de GATE
• Ejemplos de consultas Mimir
• Código fuente de GATE Mímir
• NLP Pub. Paquetes integrados