data warehouse testing tutorial with examples etl testing guide
Aquest tutorial cobreix els objectius i la importància de les proves de magatzem de dades, les responsabilitats de les proves ETL, els errors en el desplegament DW i ETL:
En aquest Sèrie de formació en magatzem de dades en profunditat , vam fer una ullada al Què és ET L Procés a Data Warehouse a detall al nostre tutorial anterior.
Aquest tutorial us proporcionarà una comprensió de com es poden realitzar les proves de magatzem de dades en una organització. També coneixereu els objectius de les proves DW, com i quin tipus de proves es poden realitzar al backend, qui participen en aquest procés, els errors DW i el desplegament ETL en detall.
=> Consulteu aquí TOTS els tutorials sobre emmagatzematge de dades.
Públic objectiu
- Desenvolupadors i provadors de Data Warehouse / ETL.
- Professionals de bases de dades amb coneixements bàsics sobre conceptes de bases de dades.
- Administradors de bases de dades / experts en grans dades que volen entendre els conceptes de Data Warehouse / ETL.
- Graduats universitaris / estudiants de primer any que busquen feina a Data Warehouse.
Què aprendreu:
Proves de Data Warehouse (ETL)
Quina és la importància de provar sistemes de Data Warehouse i Business Intelligence?
Les proves tenen un paper fonamental en l'èxit de qualsevol dels dos sistemes anteriors, ja que garanteixen la correcció de les dades que construeixen la fe dels usuaris finals.
En general, un defecte trobat en les etapes posteriors del cicle de vida del desenvolupament de programari costa més solucionar aquest defecte. Aquesta situació a DW es pot empitjorar perquè les dades equivocades trobades en les fases posteriors podrien haver estat utilitzades en decisions empresarials importants en aquell moment.
Per tant, la solució al DW és més cara en termes de canvis de procés, de persones i de tecnologia. Podeu començar les proves DW des de la fase de recollida de requisits.
Es prepara i revisa una matriu de traçabilitat de requisits, que mapeja principalment les funcions de DW amb els seus respectius requisits comercials. La matriu de traçabilitat actua com a entrada al pla de proves DW que preparen els verificadors. El pla de proves descriu les proves que cal realitzar per validar el sistema DW.
També descriu els tipus de proves que es realitzaran al sistema. Quan el pla de prova estigui llest, es prepararan tots els casos de prova detallats per a diversos escenaris de DW. A continuació, s'executaran tots els casos de prova i es registraran els defectes.
Hi ha un estàndard al món operatiu que manté diferents entorns per al desenvolupament, les proves i la producció. Al món DW, tant els desenvolupadors com els provadors s’asseguraran que els entorns de desenvolupament i prova estiguin disponibles amb la rèplica de dades de producció abans de començar el seu treball.
Es copia per a una llista de taules amb dades limitades o completes en funció de les necessitats del projecte, ja que les dades de producció són realment grans. Els desenvolupadors desenvolupen el seu codi a l’entorn del desenvolupador i el lliuren als verificadors.
Els provadors provaran el codi lliurat als entorns de prova per assegurar-se que tots els sistemes funcionen. Aleshores, el codi es publicarà als entorns de producció. El codi DW també es manté en diferents versions en funció dels defectes corregits en cada versió. El manteniment de múltiples entorns i versions de codi ajuda a construir un sistema de bona qualitat.
com configurar els fitxers jar per obrir-los amb Java
Objectius de proves de Data Warehouse (ETL)
Vegem els objectius de les proves de magatzem de dades.
# 1) Completesa de les dades: Assegureu-vos que totes les dades de diverses fonts es carreguin a un magatzem de dades. L'equip de proves valida si es carreguen tots els registres DW, a la base de dades d'origen i als fitxers plans, seguint les estratègies de mostra següents.
- El nombre total de registres carregats des del sistema font ha de coincidir amb el nombre total de registres carregats a DW. Si hi ha una diferència, podeu pensar en els registres rebutjats.
- Compareu les dades carregades a cada camp de DW amb els camps de dades del sistema d'origen. Això mostrarà els errors de dades si n’hi ha.
# 2) Transformació de dades: Mentre es carreguen les dades d'origen al magatzem de dades, es poden carregar pocs camps directament amb les dades d'origen, però es carreguen pocs camps amb les dades que es transformen segons la lògica empresarial. Aquesta és la part complexa de les proves DW (ETL).
A continuació es mostren les estratègies de mostra per provar-ho:
- Podeu fer proves creant i comparant dades en fulls de càlcul. Carregueu les dades transformades d'origen i les dades DW en fulls de càlcul i feu una comparació. No hi hauria d’haver cap desajust.
- Els verificadors haurien d’escriure les consultes segons la lògica de transformació per comparar les dades DW amb les dades d’origen. L'execució de la consulta garantirà que no falti la validació de dades per a cap dels camps.
# 3) Qualitat de les dades: El sistema de magatzem de dades (ETL) ha de garantir la qualitat de les dades carregades rebutjant (o) corregint les dades.
DW pot rebutjar algunes de les dades del sistema d'origen basades en la lògica de requisits empresarials. Per exemple, rebutgeu un registre si un determinat camp té dades no numèriques. Tots els registres rebutjats es carreguen a la taula de rebutjos com a referència.
Les dades rebutjades s’informen als clients perquè no hi ha possibilitat de conèixer aquestes dades perdudes, ja que no es carregaran al sistema DW. DW pot correcte les dades carregant zero al lloc dels valors nuls, etc.
# 4) Escalabilitat i rendiment: El magatzem de dades ha de garantir l’escalabilitat del sistema amb càrregues creixents. Amb això, no hauria d’haver cap degradació del rendiment mentre s’executaven les consultes, amb resultats previstos en períodes de temps específics. Per tant, les proves de rendiment descobreixen qualsevol problema i solucionen el problema abans de la producció.
A continuació es mostren les estratègies de mostra per a les proves de rendiment i escalabilitat:
- Feu les proves de rendiment carregant volums de producció de dades i assegureu-vos que no es perdin els terminis.
- Valideu el rendiment de cada consulta amb dades massives. Proveu el rendiment mitjançant combinacions simples i múltiples.
- Carregueu el doble (o) el triple als volums de dades previstos per calcular aproximadament la capacitat del sistema.
- Feu la prova executant tasques de tots els informes enumerats alhora.
# 5) Proves d'integració: El magatzem de dades hauria de realitzar proves d’integració amb altres aplicacions aigües amunt i aigües avall. Si és possible, és millor copiar les dades de producció a l’entorn de prova per a proves d’integració.
Tots els equips del sistema haurien d’estar involucrats en aquesta fase per solucionar els buits, alhora que comprenen i posen a prova tots els sistemes.
# 6) Prova unitària: Els desenvolupadors individuals ho fan en els seus lliuraments. Els desenvolupadors prepararan escenaris de proves unitàries en funció de la seva comprensió dels requisits, executaran les proves unitàries i documentaran els resultats. Això ajuda els desenvolupadors a solucionar qualsevol error si es troben, abans de lliurar el codi a l'equip de proves.
# 7) Proves de regressió: Valida que el sistema DW no funciona malament després de solucionar qualsevol defecte. Això es realitza moltes vegades amb cada canvi de codi nou.
# 8) Prova d'acceptació de l'usuari: Aquesta prova la realitzen els usuaris empresarials per validar la funcionalitat del sistema. L’entorn UAT és diferent de l’entorn QA. El tancament de la UAT implica que estem preparats per passar el codi a la producció.
utilitzant l’expressió regular a c ++
Des de la perspectiva del sistema Data Warehouse i Business Intelligence, els usuaris empresarials poden validar diversos informes mitjançant una interfície d’usuari (IU). Poden validar les especificacions de l’informe amb els requisits, validar la correcció de les dades dels informes, validar la rapidesa amb què el sistema torna els resultats, etc.
Diagrama de flux de proves DW:
Responsabilitats de proves de magatzem de dades
A continuació, es detallen els diversos equips implicats en el lliurament d’un sistema DW amb èxit:
- Analistes de negocis: Reuneu tots els requisits empresarials del sistema i documenteu-los segons les preferències de tothom.
- Equip d'infraestructures: Configureu diversos entorns segons els requeriments tant per a desenvolupadors com per a verificadors.
- Desenvolupadors: Desenvolupeu el codi ETL segons els requisits i realitzeu proves unitàries.
- QA (garantia de qualitat) / verificadors: Elaborar un pla de proves, casos de prova, etc. Identifica els defectes del sistema executant els casos de prova. Realitzeu diversos nivells de proves.
- DBA: Els DBA s’encarreguen de convertir els escenaris lògics de bases de dades ETL en escenaris físics de bases de dades ETL i també participen en proves de rendiment.
- Usuaris empresarials: Participeu a les proves d’acceptació d’usuaris, executeu consultes i informes a les taules DW.
Errors a Data Warehouse
Quan esteu extret, transformant i carregant dades (ETL) de diverses fonts, és probable que obtingueu dades incorrectes que puguin avortar els treballs de llarga durada.
A continuació es detallen les principals causes d’error del sistema DW:
# 1) Infraccions a la norma empresarial (errors lògics): Les dades lògicament incorrectes infringeixen les regles del negoci. Aquestes dades es poden tractar principalment durant les fases de transformació o càrrega.
# 2) Infraccions a les regles de dades (errors de dades): Els errors de dades es produeixen dins del sistema de base de dades DW, com ara discrepàncies de tipus de dades, fallades de restricció de dades, etc.
Desplegament ETL
Aquesta és la fase en què es desenvolupen tots els vostres esforços. Cal preparar tots els documents de suport a la producció.
La documentació informarà els altres sobre la seqüència de treballs a executar, els escenaris de recuperació d'errors, els materials de formació als equips d'assistència de DW per supervisar el sistema després del desplegament i a l'equip d'assistència administrativa per executar els informes.
Conclusió
En aquest tutorial hem conegut detalladament els objectius de les proves de magatzem de dades, les responsabilitats de les proves ETL, els errors en el desplegament DW i ETL.
Esperem que tingueu una idea de com es poden fer proves detallades en un sistema Data Warehouse (ETL).
=> Visiteu aquí per aprendre l’emmagatzematge de dades des de zero.
Lectura recomanada
- Tutorial de proves de magatzem de dades de proves ETL (una guia completa)
- Tutorial de proves de volum: exemples i eines de prova de volum
- Preguntes i respostes de l'entrevista de proves ETL
- Les millors eines de prova de programari 2021 (Eines d'automatització de proves de control de qualitat)
- Proves funcionals contra proves no funcionals
- Prova de parelles o Tutorial de proves de tots els parells amb eines i exemples
- Top 10 d'eines de proves ETL el 2021
- Com realitzar proves basades en dades a SoapUI Pro - Tutorial SoapUI núm. 14