Diseño de arquitectura de datos y gestión de datos

En los primeros tiempos de las computadoras e Internet, los datos utilizados no eran tantos como lo son hoy. Los datos entonces podían ser almacenados y administrados tan fácilmente por todos los usuarios y empresas comerciales en una sola computadora, porque los datos nunca excedieron a la medida de 19 exabytes pero ahora en esta era, los datos han aumentado alrededor de 2,5 quintillones por día.

La mayoría de los datos se generan a partir de sitios de redes sociales como Facebook, Instagram, Twitter, etc., y las otras fuentes pueden ser negocios electrónicos, transacciones de comercio electrónico, hospitales, escuelas, datos bancarios, etc. Estos datos son imposibles de administrar por técnicas tradicionales de almacenamiento de datos. Entonces Big-Data surgió para manejar los datos que son grandes e impuros.

Big Data es el campo de la recopilación de grandes conjuntos de datos de diversas fuentes, como redes sociales, GPS, sensores, etc., y su análisis sistemático y la extracción de patrones útiles utilizando algunas herramientas y técnicas de las empresas. Antes de analizar y determinar los datos, el arquitecto debe diseñar la arquitectura de datos.

Diseño de arquitectura de datos y gestión de
datos: el diseño de arquitectura de datos es un conjunto de estándares que se componen de ciertas políticas, reglas, modelos y estándares que administran, qué tipo de datos se recopilan, de dónde se recopilan, la disposición de los datos recopilados, el almacenamiento que datos, utilizando y asegurando los datos en los sistemas y almacenes de datos para su posterior análisis.

Los datos son uno de los pilares esenciales de la arquitectura empresarial a través de los cuales tiene éxito en la ejecución de la estrategia empresarial.

El diseño de la arquitectura de datos es importante para crear una visión de las interacciones que ocurren entre los sistemas de datos, como por ejemplo si el arquitecto de datos desea implementar la integración de datos, por lo que necesitará la interacción entre dos sistemas y, al usar la arquitectura de datos, el modelo visionario de interacción de datos durante el proceso. puede lograrse.

La arquitectura de datos también describe el tipo de estructuras de datos que se aplican para administrar los datos y proporciona una forma sencilla de preprocesamiento de datos. La arquitectura de datos se forma dividiendo en tres modelos esenciales y luego se combinan:

• Modelo conceptual:
  es un modelo comercial que utiliza el modelo de relación de entidad (ER) para la relación entre entidades y sus atributos.
• Modelo lógico:
  es un modelo donde los problemas se representan en forma de lógica, como filas y columnas de datos, clases, etiquetas xml y otras técnicas de DBMS.
• Modelo
  físico: los modelos físicos contienen el diseño de la base de datos como qué tipo de tecnología de base de datos será adecuada para la arquitectura.

Un arquitecto de datos es responsable de todo el diseño, la creación, la gestión y la implementación de la arquitectura de datos y define cómo se almacenarán y recuperarán los datos; otras decisiones las toman organismos internos.

Factores que influyen en la arquitectura de datos:
pocas influencias que pueden tener un efecto en la arquitectura de datos son las políticas comerciales, los requisitos comerciales, la tecnología utilizada, la economía y las necesidades de procesamiento de datos.

• Requisitos comerciales:
  estos incluyen factores como la expansión del negocio, el rendimiento del acceso al sistema, la gestión de datos, la gestión de transacciones, el uso de datos sin procesar al convertirlos en archivos de imagen y registros, y luego almacenarlos en almacenes de datos. Los almacenes de datos son los aspectos principales del almacenamiento de transacciones en los negocios.
• Políticas comerciales:
  las políticas son reglas que son útiles para describir la forma de procesar los datos. Estas políticas son elaboradas por órganos organizativos internos y otras agencias gubernamentales.
• Tecnología en uso:
  esto incluye usar el ejemplo del diseño de arquitectura de datos previamente completado y también usar compras de software con licencia existentes, tecnología de base de datos.
• Economía comercial:
  los factores económicos, como el crecimiento y la pérdida comercial, las tasas de interés, los préstamos, la condición del mercado y el costo general también tendrán un efecto en la arquitectura de diseño.
• Necesidades de procesamiento de datos:
  incluyen factores como la extracción de datos, grandes transacciones continuas, administración de bases de datos y otras necesidades de preprocesamiento de datos.

Gestión de datos :

• La administración de datos es el proceso de administrar tareas como extraer datos, almacenar datos, transferir datos, procesar datos y luego proteger los datos con un consumo de bajo costo.
• El motivo principal de la gestión de datos es gestionar y salvaguardar los datos de las personas y de la organización de forma óptima para que puedan crear, acceder, eliminar y actualizar fácilmente los datos.
• Porque la gestión de datos es un proceso esencial en el crecimiento de todas y cada una de las empresas, sin el cual no se pueden tomar las políticas y decisiones para el avance del negocio. Cuanto mejor sea la gestión de datos, mejor será la productividad en los negocios.
• Grandes volúmenes de datos, como big data, son más difíciles de administrar tradicionalmente, por lo que debe haber la utilización de tecnologías y herramientas óptimas para la administración de datos, como Hadoop, Scala, Tableau, AWS, etc., que pueden usarse para el análisis de big data para lograr mejoras en patrones.
• La gestión de datos se puede lograr mediante la capacitación necesaria de los empleados y el mantenimiento por parte de DBA, analistas de datos y arquitectos de datos.