Pymach y Sparkmach: sistemas de procesamiento de datos con dimensión variable usando algoritmos de Machine Learning

Abstract

La presente tesis propone dos sistemas de análisis y predicción de datos enfocados a problemas relacionados al Machine Learning: Pymach y Sparkmach. Este sistema conjunto tiene el fin de reducir y automatizar los pasos convencionales que conlleva la creación de un modelo predictivo en general. Para este fin se hace uso de técnicas de inteligencia artificial, particularmente, Machine Learning, para crear modelos a medida que puedan predecir eventos a futuro, en aplicaciones tales como, lugares y frecuencias de accidentes de tránsito, localización, tiempos de espera de autobuses, consumo de combustible, entre otros. Para ello, se ha trabajado con datos simulados y reales que, junto al sistema, se han desplegado en un clúster de CPUs. Debido a la ingente cantidad de datos, se ha trabaja- do con técnicas de paralelismo y Big Data para el procesamiento eficiente de los mismos. Finalmente, Pymach y Sparkmach, escrito en Python y PySpark respectivamente, están desplegadas en una aplicación web para la interacción con el usuario.