DOCUMENTACIÓN ENTIDADES DBT 

Prerequisitos: 

1. Docker y docker-compose con soporte 3.8 
2. Base de datos clickhouse. 
3. Descargar el proyecto dbt, repositorio será proporcionado por Onibex 

Configuración de los servicios docker-compose 

Cada servicio del archivo docker compose tiene las siguientes configuraciones como muestra el siguiente ejemplo:

Configuración del archivo docker-compose con seguridad

...

dbt_bi_material:

   build:

     context: .

     dockerfile: Dockerfile

   container_name: dbt_bi_material

   volumes:

     - .:/dbt

   environment:

     #service config

     #Time window to group messages in a single dbt execution. Time in seconds

     - MESSAGE_TIME_WINDOW_SECONDS=3

     #Waiting time after the last dbt execution. Time in seconds

     - REFRESH_TIME_THRESHOLD=15

     #Auto refresh time after last dbt execution, set -1 to disable. Time in seconds

     - AUTO_REFRESH_TIME=600

     #DBT config

     # The container will try get ./profiles, otherwise will use default /dbt/profiles

     - DBT_PROFILES_RELATIVE_DIR=./profiles

     - DBT_PROJECT_NAME=dbt_oneconnect_ecc

     - DBT_PROFILE=dbt_oneconnect_ecc

     - DBT_TARGET=dev

     - DBT_MODELS=BI_SILVER_MM_MATERIAL_ECC

     - DBT_FULL_REFRESH=

     #Kafka Config

     - KAFKAPROPERTIES_DEPLOYMENTTYPE=cloud

     - KAFKAPROPERTIES_BOOTSTRAPADDRESS=<ip1:port1>,<ip2:port2>,<ip3:port3>

     - KAFKAPROPERTIES_SECURITYPROTOCOL=SASL_PLAINTEXT

     - KAFKAPROPERTIES_SASLMECHANISM=PLAIN

     - KAFKAPROPERTIES_SASLUSER=<user>

     - KAFKAPROPERTIES_SASLPASSWORD=<password>

     - KAFKAPROPERTIES_TOPICS=<kafka_topic>

...

Configuración del archivo docker-compose sin seguridad

...

dbt_bi_material:

   build:

     context: .

     dockerfile: Dockerfile

   container_name: dbt_bi_material

   volumes:

     - .:/dbt

   environment:

     #service config

     #Time window to group messages in a single dbt execution. Time in seconds

     - MESSAGE_TIME_WINDOW_SECONDS=3

     #Waiting time after the last dbt execution. Time in seconds

     - REFRESH_TIME_THRESHOLD=15

     #Auto refresh time after last dbt execution, set -1 to disable. Time in seconds

     - AUTO_REFRESH_TIME=600

     #DBT config

     # The container will try get ./profiles, otherwise will use default /dbt/profiles

     - DBT_PROFILES_RELATIVE_DIR=./profiles

     - DBT_PROJECT_NAME=dbt_oneconnect_ecc

     - DBT_PROFILE=dbt_oneconnect_ecc

     - DBT_TARGET=dev

     - DBT_MODELS=BI_SILVER_MM_MATERIAL_ECC

     - DBT_FULL_REFRESH=

     #Kafka Config

     - KAFKAPROPERTIES_DEPLOYMENTTYPE=onpremise

     - KAFKAPROPERTIES_BOOTSTRAPADDRESS=<ip1:port1>,<ip2:port2>,<ip3:port3>

     #- KAFKAPROPERTIES_SECURITYPROTOCOL=SASL_PLAINTEXT

     #- KAFKAPROPERTIES_SASLMECHANISM=PLAIN

     #- KAFKAPROPERTIES_SASLUSER=DAUHNRRCSF5ELA4W

     #- KAFKAPROPERTIES_SASLPASSWORD=YVV/7T7fVt9v2XJ9yTWkLTf04U6n0fux1mpsmnm9IgHo/bkd7cvQVGQyqasUc+ZQ

     - KAFKAPROPERTIES_TOPICS=<kafka_topic>

...

Detalle de las Variables de Entorno 

Configuración del Servicio

• MESSAGE_TIME_WINDOW_SECONDS: Define la ventana de tiempo para agrupar mensajes en una sola ejecución de dbt. Valor en segundos. 
• REFRESH_TIME_THRESHOLD: Especifica el tiempo de espera después de la última ejecución de dbt antes de procesar nuevamente. Valor en segundos. 
• AUTO_REFRESH_TIME: Configura un tiempo de actualización automática. Usar -1 desactiva esta funcionalidad. Valor en segundos. 

Configuración de DBT

• DBT_PROFILES_RELATIVE_DIR: Ruta relativa para buscar el archivo de configuración profiles. Si no se encuentra, se usará el directorio predeterminado /dbt/profiles. 
• DBT_PROJECT_NAME: Nombre del proyecto dbt. 
• DBT_PROFILE: Perfil de dbt a usar. 
• DBT_TARGET: Entorno objetivo de dbt (e.g., dev, prod), donde tambien puedes configurar estas variables en Configuración de la base de datos. 
• DBT_MODELS: Modelos de dbt específicos a ejecutar. 
• DBT_FULL_REFRESH: Configuración para forzar una actualización completa de los modelos. 

Configuración de Kafka

• KAFKAPROPERTIES_DEPLOYMENTTYPE: Define el tipo de implementación de Kafka (e.g., cloud). 
• KAFKAPROPERTIES_BOOTSTRAPADDRESS: Lista de direcciones de los brokers de Kafka, en el formato <ip:puerto>, separadas por comas. 
• KAFKAPROPERTIES_SECURITYPROTOCOL: Protocolo de seguridad para Kafka (e.g., SASL_PLAINTEXT). 
• KAFKAPROPERTIES_SASLMECHANISM: Mecanismo de autenticación SASL (e.g., PLAIN). 
• KAFKAPROPERTIES_SASLUSER: Usuario para autenticación SASL. 
• KAFKAPROPERTIES_SASLPASSWORD: Contraseña para autenticación SASL. 

Configuración de la base de datos: 

Para configurar la base de datos, sigue estos pasos:

1. Dirígete a la raíz del proyecto. 
2. Navega a la carpeta profiles, que se encuentra dentro del directorio del proyecto. 
3. Localiza y edita el archivo profiles.yml, donde se encuentran las credenciales de la base de datos. 

La ruta al archivo es la siguiente:

\<raíz del proyecto>\profiles\profiles.yml

dbt_oneconnect_ecc:

 #default target

 target: oneconnect_oi

 outputs:

   oneconnect_bi:

     type: clickhouse

     schema: <database_schema>

     host: <ip_host>

     port: <port>

     user: user

     password: 'password'

   oneconnect_oi:

     type: clickhouse

     schema: <database_schema>

     host: <ip_host>

     port: <port>

     user: user

     password: 'password'

Indice 

INVENTORY_MANAGEMENT 

1. SILVER_MM_MATERIAL_ECC 
   

ORDER_TO_CASH 

2. SILVER_SD_CUSTOMER_ECC 
3. SILVER_SD_INVOICE_ECC 
4. SILVER_SD_OUTBOUND_DELIVERY_ECC 
5. SILVER_SD_SALES_CONTRACT_ECC 
6. SILVER_SD_SALES_ORDER_ECC 
7. SILVER_SD_SALES_QUOTATIONS_ECC 
8. SILVER_SD_SHIPPING_DOCUMENT_ECC 

PLAN_TO_PRODUCE 

9. SILVER_PP_PRODUCTION_ORDER_ECC 

PROCURE_TO_PAY 

10. SILVER_MM_PURCHASE_ORDER_ECC 
    

DASHBOARD 

11. INVOICE_DASHBOARD 
    

12. INVENTORY_DASHBOARD 
13. PRODUCCTION_DASHBOARD