Hoy en día , la minería de datos y el descubrimiento de conocimiento están desarrollando una tecnología crucial para las empresas y los investigadores en muchos dominios. La minería de datos se está convirtiendo en una disciplina establecida y confiable, y muchos desafíos aún pendientes deben resolverse.
Algunos de estos desafíos se dan a continuación.
- Seguridad y desafíos sociales:
las estrategias de toma de decisiones se realizan a través de la recopilación y el intercambio de datos, por lo que requiere una seguridad considerable. Se recopila información privada sobre individuos e información confidencial para los perfiles de los clientes, la comprensión del patrón de comportamiento del usuario. El acceso ilegal a la información y la naturaleza confidencial de la información se están convirtiendo en un tema importante. - Interfaz de usuario:
El conocimiento descubierto se descubre utilizando herramientas de minería de datos, es útil solo si es interesante y sobre todo comprensible para el usuario. A partir de una buena interpretación de la visualización de los datos, los resultados de la minería se pueden facilitar y ayudar a comprender mejor sus requisitos. Para obtener una buena visualización, se llevan a cabo muchas investigaciones para grandes conjuntos de datos que muestran y manipulan el conocimiento extraído.
(i) Minería basada en el nivel de abstracción: el proceso de minería de datos debe ser colaborativo porque permite a los usuarios concentrarse en encontrar patrones, presentar y optimizar requests de minería de datos en función de los resultados devueltos.
(ii) Integración de conocimientos previos:La información previa puede usarse para expresar patrones descubiertos para dirigir los procesos de exploración y para expresar patrones descubiertos. - Desafíos de la metodología de minería:
estos desafíos están relacionados con los enfoques de minería de datos y sus limitaciones. Los enfoques de minería que causan el problema son:(i) Versatility of the mining approaches, (ii) Diversity of data available, (iii) Dimensionality of the domain, (iv) Control and handling of noise in data, etc.
Los diferentes enfoques pueden implementarse de manera diferente en función de la consideración de los datos. Algunos algoritmos requieren datos libres de ruido. La mayoría de los conjuntos de datos contienen excepciones, información inválida o incompleta que complica el proceso de análisis y, en algunos casos, compromete la precisión de los resultados.
- Datos complejos:
los datos del mundo real son heterogéneos y pueden ser datos multimedia que contengan imágenes, audio y video, datos complejos, datos temporales, datos espaciales, series temporales, texto en lenguaje natural, etc. Es difícil manejar estos diversos tipos de datos y extraer la información requerida. Se están desarrollando nuevas herramientas y metodologías para extraer información relevante.
(i) Tipos de datos complejos: la base de datos puede incluir elementos de datos complejos, objetos con datos gráficos, datos espaciales y datos temporales. La minería de todos estos tipos de datos no es práctica para hacerse con un solo dispositivo.
(ii) Minería de fuentes variadas:Los datos se recopilan de diferentes fuentes en Network. La fuente de datos puede ser de diferentes tipos dependiendo de cómo se almacenen, como estructurados, semiestructurados o no estructurados. - Rendimiento:
El rendimiento del sistema de minería de datos depende de la eficiencia de los algoritmos y las técnicas que se utilizan. Los algoritmos y técnicas diseñadas no están a la altura para afectar el rendimiento del proceso de minería de datos.
(i) Eficiencia y escalabilidad de los algoritmos: el algoritmo de minería de datos debe ser eficiente y escalable para extraer información de grandes cantidades de datos en la base de datos.
(ii) Mejora de los algoritmos de minería: factores como el enorme tamaño de la base de datos, todo el flujo de datos y la dificultad de los enfoques de minería de datos inspiran la creación de algoritmos de minería de datos paralelos y distribuidos.