Desarrollo de una herramienta de adquisición automática de datos de fuentes externas, para el sistema de gestión de información de la Vicerrectoría de Investigaciones de la Universidad CESMAG, mediante crawlers y web scraping

Abstract

La Vicerrectoría de Investigaciones de la Universidad CESMAG requiere de un sistema de gestión de información que le permita recopilar y organizar de manera eficiente los datos necesarios para el desarrollo de sus investigaciones. Para ello, se propone el desarrollo de una herramienta de adquisición automática de datos de fuentes externas utilizando técnicas de crawlers y web scraping. El objetivo principal de este trabajo de grado es diseñar, implementar y evaluar un módulo de adquisición automática de datos que permita la recolección y organización de la información necesaria para la gestión de información en la Vicerrectoría de Investigaciones. Esta herramienta se basó en la utilización de técnicas de crawlers y web scraping para la adquisición automática de datos de fuentes externas relevantes. Las variables a trabajar en el proyecto, las cuales fueron autor, descripción, fuente externa de la investigación, fecha de publicación, enlace del documento, número de citas del documento, tipo de documento consultado, cantidad de versiones del documento, palabras clave y número de descargas del documento. Todas estas variables son importantes para la gestión de información en la Vicerrectoría de Investigaciones y permitirán tener una visión más completa y detallada de las investigaciones en curso. Es importante destacar que, para garantizar la validez y confiabilidad de los datos recolectados, se utilizaron técnicas y herramientas de recolección de información confiables y validadas en el campo de los crawlers y web scraping. Además, se realizarán pruebas y ajustes necesarios para asegurar la eficacia y precisión de la herramienta de adquisición automática de datos. El desarrollo de esta herramienta de adquisición automática de datos utilizando técnicas de crawlers y web scraping, es un proyecto adscrito al proyecto de investigación profesoral “Desarrollo de un módulo KDD, para la exploración y análisis robusto de los datos generados por el sistema de gestión de información de la Vicerrectoría de Investigaciones de la Universidad CESMAG, mediante algoritmos de data mining y machine learning” mediante la modalidad de instancia en línea. El cual permitirá a la Vicerrectoría de Investigaciones de la Universidad CESMAG contar con una herramienta eficiente y precisa para la recolección y organización de la información necesaria para sus investigaciones. Además, la utilización de técnicas y herramientas validadas garantizará la confiabilidad y validez de los datos recolectados.