Con el crecimiento de la escala de datos empresariales y el desarrollo diversificado de los negocios, la consulta flexible multidimensional y en tiempo real de datos masivos se ha convertido en un requisito comercial común. Al mismo tiempo, múltiples sistemas de bases de datos se han convertido en la norma, lo que no solo aumenta la complejidad de la gestión de datos, sino que también aumenta la dificultad de su uso. Frente a entornos de datos cada vez más complejos y requisitos estrictos de seguridad de los datos, es necesario. para resolver el problema de la coexistencia de múltiples sistemas de bases de datos, problemas de datos como silos graves, gestión de permisos confusa y dificultad en la consulta y extracción de datos. Al mismo tiempo, las empresas tienen requisitos cada vez más altos para el control de la seguridad de los datos. Diferentes roles y departamentos necesitan acceder a diferentes datos. Cómo controlar con precisión los permisos de la base de datos y evitar fugas y operaciones incorrectas de datos se ha convertido en un desafío clave.
fondo de construcción
En comparación con las consultas diarias, se utilizan indexación, partición y otras tecnologías para optimizar y mejorar la eficiencia de las consultas durante la implementación del sistema. Hay muchas formas de generar consultas Ad-Hoc . Una forma común es asignar la tabla DIM y la tabla de hechos en el almacén de datos a la capa semántica. Los analistas usan la capa semántica para seleccionar tablas para establecer asociaciones entre tablas y finalmente generar declaraciones SQL. Las capacidades ad hoc son análisis . Estas consultas las producen temporalmente los ingenieros durante el uso. El sistema no puede optimizar estas consultas por adelantado. La ubicación de las consultas ad hoc está en el EDW. En un sistema de almacén de datos, cuantas más consultas Ad-Hoc se utilicen, mayores serán los requisitos para el almacén de datos.
Tomando como ejemplo los bancos y las empresas de financiación al consumo, tienen consultas comerciales y necesidades ad-hoc unificadas, y sus departamentos cubren múltiples áreas comerciales, como investigación y desarrollo de productos, promoción de operaciones, gestión posterior a préstamos y cumplimiento legal. Como coexisten múltiples tipos de instancias de bases de datos, aspectos como la integración del sistema de usuario, la gestión de derechos de datos, la auditoría de seguridad operativa y la sintaxis de consultas SQL se vuelven muy complicados. Existe una necesidad urgente de una plataforma que pueda acceder a múltiples bases de datos y unificar las exportaciones de datos.
De los casos
Con el crecimiento del volumen de negocios, para mejorar la eficiencia del procesamiento comercial y el nivel de gestión de riesgos, el negocio se divide principalmente en tres departamentos: departamento de gestión de riesgos, departamento de tecnología y departamento de mercado financiero. Entre ellos, el personal de gestión de riesgos puede utilizar SQL con habilidad. , pero deben apuntar a diferentes Cuando el negocio cambia la sintaxis SQL, a menudo ocurre incompatibilidad de sintaxis. El personal del mercado financiero rara vez utiliza SQL y necesita arrastrar y soltar visualmente para extraer datos detallados. Los desarrolladores del Ministerio de Ciencia y Tecnología a menudo eliminan y modifican accidentalmente datos centrales cuando operan bases de datos y escriben SQL peligroso que ejerce presión sobre la base de datos empresarial. Es necesario configurar permisos DDL y inspecciones de código para que los usuarios garanticen la seguridad de los datos.
El administrador del departamento configura de manera uniforme la información de la cuenta del usuario y la información del enlace JDBC de la fuente de datos en la plataforma, y configura los permisos de datos y las reglas de verificación del código de acuerdo con las necesidades comerciales . Después de completar la configuración básica, el administrador de riesgos puede bloquear el motor informático posterior. En la plataforma, utilizando una sintaxis SQL común para recuperar números, el personal del mercado financiero debe configurar primero los modelos de datos de uso común según el negocio y luego realizar la recuperación visual y la clasificación de datos en Excel. Los desarrolladores solo pueden ejecutar declaraciones DML en la base de datos bajo los permisos asignados. Si hay SQL que excede los permisos y necesita ser aprobado, solo se puede ejecutar después de que se apruebe.
Análisis de puntos débiles
1. Existen riesgos de seguridad de la cuenta
Las cuentas de bases de datos suelen ser compartidas por varios operadores. Los permisos del personal de operación y mantenimiento pueden exceder los necesarios para el trabajo real. Es fácil que las operaciones excedan su autoridad, lo que representa una amenaza para la seguridad de los datos.
2. Existen diferencias de sintaxis en diferentes bases de datos.
Los diferentes tipos de bases de datos tienen sus propias reglas y sintaxis SQL únicas. Cuando los desarrolladores escriben declaraciones de consulta SQL, deben adaptarse a diferentes bases de datos, lo que aumenta la carga de trabajo de desarrollo y puede provocar posibles errores y problemas de rendimiento.
3. Problemas encontrados en consultas comerciales multidimensionales.
La perforación, el desplazamiento, la división, la división en cubitos y la transformación de filas y columnas son comunes en las consultas comerciales. Durante el proceso de consulta comercial, cuando se consulta un único PV o se consulta el flujo comercial en un escenario minorista, la lectura de datos requiere cientos de gigabytes de memoria de consulta. siempre insuficiente; la programación nocturna y la sincronización de datos, los gerentes de producto y los analistas eliminan los scripts de tareas durante las horas de trabajo.
4. Pistas de auditoría insuficientes y difícil rastreo
Las herramientas tradicionales no pueden registrar datos de usuario y de comportamiento. Si hay operaciones de datos anormales, no se puede rastrear la fuente y no se puede determinar la culpa, lo que puede conducir a una infracción secundaria de los datos y plantear desafíos para el funcionamiento estable y saludable a largo plazo. plataforma.
5. El personal empresarial utiliza SQL con menos frecuencia.
Gran parte del personal de informes y analistas no está familiarizado con las declaraciones SQL. Se requiere exploración de datos al agregar nuevos informes o cambiar campos fijos de informes. En el pasado, las operaciones de extracción requerían que el personal de TI escribiera consultas SQL , lo que generaba largos ciclos de consulta de datos y baja eficiencia. apoyo a la decisión empresarial.
6. Los datos comerciales están dispersos en múltiples sistemas.
En escenarios complejos de análisis de fusión, es difícil para los analistas de datos importar datos almacenados en archivos Excel locales al sistema y asociarlos con datos de bases de datos comerciales, lo que hace imposible analizar los datos comerciales de manera oportuna y flexible.
plan de construcción
1. Motor de consultas unificado
Admite la adaptación a múltiples sintaxis de bases de datos, convierte automáticamente declaraciones de consulta y proporciona una interfaz de edición IDE que incluye resaltado de sintaxis, indicaciones de palabras clave, formato y otras funciones , para que los usuarios no tengan que preocuparse por las diferencias de sintaxis de la base de datos subyacente y puedan completar conexión de datos y datos en una sola parada Procesamiento, análisis de datos y otras funciones de proceso completo.
2. Gestión unificada de autenticación de identidad
Antes de utilizar la plataforma, el administrador debe mantener la información de la cuenta personal del usuario y los permisos correspondientes. Solo después de iniciar sesión en la plataforma de consulta unificada se puede acceder a la base de datos y no se puede acceder a la contraseña de la cuenta real de la base de datos.
3. Consulta de datos asistida por IA
Los comandos SQL correspondientes se pueden traducir en función de los resultados de la consulta de datos expresados en lenguaje natural , incluida la generación de SQL, la reescritura, la corrección de errores, etc., lo que ayuda al personal de consultas a completar fácilmente trabajos complejos de extracción y análisis de datos.
4. Reducir el umbral para el análisis de datos.
El personal empresarial puede utilizar operaciones de arrastrar y soltar para realizar funciones como extracción de datos, configuración de modelos, configuración de filtros y configuración de informes visuales . Pueden seleccionar intuitivamente fuentes de datos, definir condiciones de consulta y combinar datos sin tener que comprender profundamente el subyacente. estructura de base de datos y sintaxis SQL para mejorar las capacidades de soporte de decisiones.
5. Gestión y control de permisos de seguridad de la base de datos.
Configure medidas de seguridad como desensibilización de datos y permisos a nivel de fila , establezca permisos de acuerdo con diferentes roles y responsabilidades para garantizar la privacidad y seguridad de los datos en la base de datos empresarial y realice auditorías en tiempo real de los comportamientos de los usuarios, como cambios de permisos y SQL peligroso. para garantizar el uso de conformidad de los datos.
ingresos de construcción
En la implementación del proyecto de una empresa de financiación al consumo, el personal de diferentes departamentos puede obtener rápidamente la información requerida, lo que mejora significativamente la eficiencia del procesamiento comercial y satisface el análisis de datos en diversos escenarios, como consulta de información del cliente, recuperación de registros de transacciones y evaluación de información de riesgos. Al mismo tiempo, se garantiza la seguridad y confidencialidad de la información financiera, lo que proporciona una sólida garantía para el funcionamiento estable de la plataforma posterior.
1. El ciclo de demanda de datos se acorta enormemente
El proceso tradicional de demanda de datos requiere la aprobación y coordinación de varios departamentos, y el personal de TI lo programa y extrae manualmente. La plataforma de consulta unificada utiliza SQL/recuperación de datos de autoservicio para permitir que los analistas de datos y el personal comercial realicen autoservicio de recuperación de datos bajo demanda en una plataforma unificada , lo que reduce en gran medida los costos de comunicación, desarrollo y pruebas, y acorta el ciclo de recuperación de datos desde el principio. original de 3 a 5 días a minutos. Nivele el número.
2. El umbral para la toma de decisiones basada en datos se reduce significativamente
Con la ayuda de funciones como la recuperación de datos de autoservicio y la recopilación de SQL, los gerentes de operaciones y negocios de primera línea también pueden acceder cómodamente a activos de datos heterogéneos de múltiples fuentes , promoviendo la toma de decisiones basada en datos por parte de todos los empleados desde el lanzamiento de la plataforma. En la plataforma, la participación en el análisis de datos en el lado comercial ha aumentado significativamente. Indicadores como el número de inicios de sesión, la duración de la estadía, el número de colecciones de SQL, el número de tareas de consulta y el número de exportaciones de datos superaron con creces las expectativas de planificación del proyecto.
3. Trazabilidad unificada de las operaciones de riesgo de datos
Con la ayuda de la función de registro de auditoría de la plataforma , los comportamientos de operación de datos de varias bases de datos de acoplamiento están completamente cubiertos y se logra un acceso del 100 % a la tasa de registro completa de los comportamientos de operación. No solo mejora la gestión de seguridad de los datos y el cumplimiento, sino que también mejora el cumplimiento. también localiza e investiga operaciones de riesgo de datos. El tiempo se reduce significativamente de horas a minutos y la eficiencia de la respuesta de auditoría aumenta en más del 80%.
4. Los derechos de acceso a los datos son visibles y gestionables.
La plataforma de consulta unificada utiliza control de permisos a nivel de fila/columna y tecnología de desensibilización de datos para realizar la visualización y la gestión refinada de los permisos de acceso a los datos, mejorando la gestión de la seguridad de los datos y las capacidades de control. La tasa de cobertura efectiva de la configuración de permisos de la tabla de datos se ha incrementado a más del 95%, evitando efectivamente el acceso ilegal a datos, logrando la identificación y desensibilización automática de la información del cliente, los datos del canal, etc., garantizando efectivamente la seguridad y el cumplimiento de las empresas en el intercambio de datos; y aplicación.
Dirección de descarga del "Libro técnico del sistema de indicadores industriales": https://www.dtstack.com/resources/1057?src=szsm
Dirección de descarga del "Informe técnico del producto Dutstack": https://www.dtstack.com/resources/1004?src=szsm
Dirección de descarga del "Libro técnico sobre prácticas de la industria de gobernanza de datos": https://www.dtstack.com/resources/1001?src=szsm
Para aquellos que quieran saber o consultar más sobre productos de big data, soluciones industriales y casos de clientes, visite el sitio web oficial de Kangaroo Cloud: https://www.dtstack.com/?src=szkyzg
Decidí renunciar al código abierto Hongmeng Wang Chenglu, el padre del código abierto Hongmeng: El código abierto Hongmeng es el único evento de software industrial de innovación arquitectónica en el campo del software básico en China: se lanza OGG 1.0, Huawei contribuye con todo el código fuente. Google Reader es asesinado por la "montaña de mierda de códigos" Fedora Linux 40 se lanza oficialmente Ex desarrollador de Microsoft: el rendimiento de Windows 11 es "ridículamente malo" Ma Huateng y Zhou Hongyi se dan la mano para "eliminar rencores" Compañías de juegos reconocidas han emitido nuevas regulaciones : los regalos de boda de los empleados no deben exceder los 100.000 yuanes Ubuntu 24.04 LTS lanzado oficialmente Pinduoduo fue sentenciado por competencia desleal Compensación de 5 millones de yuanes