Datos no estructurados

Los datos no estructurados  son datos que no corresponden a un modelo de datos predeterminado y, por regla general, se presentan en forma de texto con fechas, números, hechos ubicados en él de forma arbitraria [1] [2] . Dichos datos son difíciles de analizar, especialmente con los programas tradicionales diseñados para trabajar con datos estructurados ( anotados o almacenados en bases de datos ).

Merrill Lynch estimó en 1998 que alrededor del 80-90% de toda la información empresarial potencialmente útil se presentaba de forma no estructurada [1] , pero esta proporción no se basaba en estadísticas o investigaciones cuantitativas, sino que era una suposición [2] . Computerworld estima que el volumen de datos no estructurados en las organizaciones es del 70-80 % de todos los datos [3] .

Historia

Las primeras investigaciones en inteligencia empresarial no se centraron en datos numéricos, sino en datos textuales no estructurados. Ya en 1958, investigadores de tecnologías de la información como H. P. Lun exploraban formas de extraer y clasificar datos en texto no estructurado. [3] Sin embargo, solo desde principios de la década de 2000 la tecnología disponible se ha puesto al día con el interés de la investigación. En 2004, el Instituto SAS desarrolló SAS Text Miner, que utiliza la descomposición de valores singulares para factorizar un espacio de texto de alta dimensión en subespacios de menor dimensión para simplificar en gran medida el análisis de la máquina [4] . Los avances en matemáticas y tecnologías de procesamiento de texto han estimulado la investigación por parte de organizaciones comerciales en áreas como el análisis de sentimientos de texto (análisis de sentimiento), la recopilación y el análisis de opiniones de consumidores, la automatización de centros de llamadas [5] . El advenimiento de las tecnologías de big data a fines de la década de 2000 estimuló un mayor interés en los programas para analizar datos no estructurados en campos modernos como la previsión y el análisis de causa raíz [6] .

Dificultades en la terminología

El término "datos no estructurados" puede considerarse impreciso por varias razones:

• la estructura, incluso si no se define formalmente, puede estar implícita;
• los datos que tienen una estructura de alguna forma aún pueden caracterizarse como no estructurados si su estructura no está destinada al procesamiento de la máquina;
• la información no estructurada puede tener alguna estructura (dicha información se denomina semiestructurada) o incluso estar bien estructurada, pero de formas que no son obvias sin un acuerdo previo.

Trabajando con datos no estructurados

Técnicas como la minería de datos , el procesamiento del lenguaje natural y la minería de texto proporcionan métodos para encontrar patrones con el fin de interpretar de alguna manera la información no estructurada.

Las técnicas para estructurar el texto suelen incluir el etiquetado manual (metadatos) o el marcado de parte del discurso para estructurar aún más el texto. La Arquitectura de gestión de información no estructurada (UIMA) proporciona un marco común para procesar esta información para extraer valores y crear datos estructurados a partir de la información no estructurada [4] . El software que crea una estructura de datos legible por máquina hace uso de las estructuras lingüísticas, auditivas y visuales que existen en todas las formas de comunicación humana [5] . Por ejemplo, los algoritmos especiales pueden inferir la estructura del texto mediante el análisis de la morfología , la sintaxis de las oraciones, etc. La información no estructurada se puede marcar para desambiguación y se utilizan técnicas de puntuación de relevancia para mejorar la búsqueda.

Los ejemplos de "datos no estructurados" incluyen libros, revistas, documentos, metadatos, registros médicos, audio, video, datos analógicos, imágenes y archivos basados ​​en texto no estructurado: mensajes de correo electrónico, páginas web, documentos creados con procesadores de texto . La información no estructurada se puede almacenar en forma de objetos estructurados (por ejemplo, en forma de archivos o documentos) que tienen una estructura en sí mismos. En este caso, la combinación de datos estructurados y no estructurados en conjunto también se denomina "datos no estructurados" [6] . Por ejemplo, las páginas web HTML ya tienen marcas, pero solo se pueden usar para mostrar. No contiene información sobre los significados o funciones de ciertos elementos de marcado en una forma adecuada para el procesamiento automático. El marcado XHTML es más fácil de manejar automáticamente, pero normalmente no contiene los significados semánticos de las expresiones.

Dado que los datos no estructurados generalmente se almacenan en forma de documentos electrónicos , los programas de análisis de contenido o administración de documentos prefieren clasificar documentos completos en lugar de manipularlos dentro de los documentos. Así, los programas para el tratamiento de este tipo de datos suelen ser herramientas para la creación de colecciones de documentos con información no estructurada. Sin embargo, hoy en día también existen soluciones que funcionan con elementos atómicos más pequeños que todo el documento [7] .

Los motores de búsqueda se han convertido en una de las herramientas populares para indexar y buscar datos no estructurados.

Notas

1. ↑ Datos no estructurados Archivado el 21 de septiembre de 2020 en Wayback Machine // geeksforgeeks.org
2. ↑ [https://web.archive.org/web/20171020135110/https://www.pcmag.com/encyclopedia/term/unstructured-data Archivado el 20 de octubre de 2017 en Wayback Machine Datos no estructurados] // PC Magazine Encyclopedia
3. ↑ Grimes, Seth Una breve historia de análisis de texto . Red Ojo B. Consultado el 24 de junio de 2016. Archivado desde el original el 8 de diciembre de 2017. (indefinido)
4. ↑ Albright, Russ Taming Text with the SVD . SAS _ Consultado el 24 de junio de 2016. Archivado desde el original el 21 de septiembre de 2017. (indefinido)
5. ↑ Desai, Manish Aplicaciones de análisis de texto . Mi Business Analytics @ Blogspot . Consultado el 24 de junio de 2016. Archivado desde el original el 13 de octubre de 2016. (indefinido)
6. ↑ Chakraborty, Goutam Análisis de datos no estructurados: aplicaciones de análisis de texto y minería de sentimientos . SAS _ Consultado el 24 de junio de 2016. Archivado desde el original el 13 de enero de 2017. (indefinido)
7. ↑ Datagrav: un marco para el intercambio de conocimientos utilizando medios de colaboración habilitados para transclusión | Sergey Kochuguev - Academia.edu . Consultado el 21 de septiembre de 2016. Archivado desde el original el 15 de diciembre de 2019. (indefinido)

Enlaces

• Artak Hovhannisian . Datos no estructurados 2.0 Archivado el 11 de diciembre de 2016 en Wayback Machine // Open Systems. SGBD, 2012, N° 04
• Leonid Cherniak . Análisis de datos no estructurados Archivado el 16 de enero de 2017 en Wayback Machine // Open Systems. SGBD, 2012, N° 06
• Antón Ivánov . Análisis completo de datos no estructurados Archivado el 15 de noviembre de 2016 en Wayback Machine // Open Systems. SGBD, 2013, N° 06
• Artem Grishkovski . Procesamiento integrado de datos no estructurados Archivado el 11 de diciembre de 2016 en Wayback Machine // Open Systems. SGBD, 2013, N° 06
• Estructura, modelos y significado: ¿Los datos "no estructurados" simplemente no están modelados? Archivado el 11 de febrero de 2009 en Wayback Machine , Intelligent Enterprise , 1 de marzo de 2005.
• Estructuración de datos no estructurados Archivado el 30 de noviembre de 2016 en Wayback Machine , Forbes , 5 de abril de 2007.
• Christopher C. Shilakes y Julie Tylman, "Enterprise Information Portals" , Merrill Lynch , 16 de noviembre de 1998.
• Holzinger, Andreas; Stocker, Christof; Ofner, Bernard; Prohaska, Gottfried; Brabenetz, Alberto; Hofmann-Wellenhof, Rainer. Combinación de HCI, procesamiento de lenguaje natural y descubrimiento de conocimiento: potencial de IBM Content Analytics como tecnología de asistencia en el campo biomédico // Interacción humano-computadora y descubrimiento de conocimiento en Big Data complejo y no estructurado  (inglés) / Holzinger, Andreas; Pasi, Gabriela. - Springer, 2013. -  Págs. 13-24 . — (Apuntes de clase en informática). - ISBN 978-3-642-39146-0 . -doi : 10.1007 / 978-3-642-39146-0_2 .
• Datos no estructurados y la regla del 80 por ciento Archivado el 12 de septiembre de 2014 en Wayback Machine , Seth Grimes, Clarabridge Bridgepoints, tercer trimestre de 2008.
• El desafío actual en el gobierno: qué hacer con la información no estructurada y por qué no hacer nada no es una opción, Noel Yuhanna, analista principal, Forrester Research , noviembre de 2010
• El nuevo estudio del universo digital revela una gran brecha de datos: se analiza menos del 1 % de los datos del mundo; Menos del 20 % está protegido . Archivado el 18 de abril de 2016 en Wayback Machine , comunicado de prensa de EMC , diciembre de 2012.
• Procesamiento/preparación de datos semiestructurados y no estructurados en IRI CoSort . Archivado el 16 de octubre de 2016 en Wayback Machine , mayo de 2014.

diccionarios y enciclopedias	gran chino Britannica (en línea)