Menú

Tutorial de proves de magatzem de dades de proves ETL (una guia completa)

etl testing data warehouse testing tutorial

Proveu El Nostre Instrument Per Eliminar Problemes

Proves d'ETL / procés i reptes del magatzem de dades:

Avui, deixeu-me que prengui un moment i expliqui la meva fraternitat de proves sobre una de les habilitats més demandades i properes per als meus amics provadors, és a dir, proves ETL (Extreure, transformar i carregar).

Aquest tutorial us presentarà una idea completa sobre les proves ETL i què fem per provar el procés ETL.

Llista completa de tutorials d'aquesta sèrie:

  • Tutorial # 1 : Guia d’introducció de proves de magatzem de dades ETL Testing
  • Tutorial # 2 : Proves ETL mitjançant l'eina Informatica PowerCenter
  • Tutorial # 3 : Proves ETL vs. DB
  • Tutorial # 4 : Proves d’intel·ligència empresarial (BI): com provar dades de negoci
  • Tutorial # 5 : Top 10 d'eines de proves ETL

S'ha observat que la verificació i validació independents està guanyant un enorme potencial de mercat i que moltes empreses ho veuen ara com un potencial benefici comercial.

Proves ETL _ Proves de magatzem de dades: consells, tècniques, processos i reptes

S'ha ofert als clients una gamma diferent de productes en termes d'oferta de serveis, distribuïts en moltes àrees basades en tecnologia, processos i solucions. ETL o data warehouse és una de les ofertes que s'està desenvolupant amb rapidesa i èxit.

Procés ETL

Mitjançant el procés ETL, les dades s’obtenen dels sistemes d’origen, es transformen segons les regles empresarials i, finalment, es carreguen al sistema objectiu (magatzem de dades). Un magatzem de dades és un magatzem de tota l’empresa que conté dades integrades que ajuden al procés de presa de decisions empresarials. És una part de la intel·ligència empresarial.

Què aprendreu:

Per què les organitzacions necessiten Data Warehouse?

Les organitzacions amb pràctiques de TI organitzades esperen amb ganes crear el següent nivell de transformació tecnològica. Ara intenten fer-se molt més operatius amb dades fàcils d’interoperar.

Dit això, les dades són la part més important de qualsevol organització, pot ser que siguin dades quotidianes o històriques. Les dades són l’eix vertebrador de qualsevol informe i els informes són la base sobre la qual es prenen totes les decisions vitals de gestió.

La majoria de les empreses fan un pas endavant per construir el seu magatzem de dades per emmagatzemar i controlar dades en temps real, així com dades històriques. Crear un magatzem de dades eficient no és una feina fàcil. Moltes organitzacions han distribuït departaments amb diferents aplicacions que funcionen amb tecnologia distribuïda.

L'eina ETL s'utilitza per fer una integració impecable entre diferents fonts de dades de diferents departaments. L'eina ETL funcionarà com a integrador, extraient dades de diferents fonts; Data Warehouse és transformar-lo en el format preferit basat en les regles de transformació empresarial i carregar-lo en un DB cohesionat conegut.

Un abast de proves ben planificat, ben definit i eficaç garanteix una conversió fluida del projecte a la producció. Un negoci guanya la flotabilitat real una vegada que els processos ETL són verificats i validats per un grup independent d’experts per assegurar-se que el magatzem de dades és concret i robust.

Les proves d'emmagatzematge de dades o ETL es classifiquen en quatre compromisos diferents independentment de la tecnologia o les eines ETL utilitzades:

  • Noves proves de magatzem de dades - El nou DW està construït i verificat des de zero. L’entrada de dades s’extreu de les necessitats del client i de diferents fonts de dades i es crea i verifica un nou magatzem de dades amb l’ajut d’eines ETL.
  • Proves de migració - En aquest tipus de projectes, el client tindrà un DW i un ETL existents que realitzaran la feina, però busquen incorporar una nova eina per millorar l'eficiència.
  • Sol · licitud de canvi - En aquest tipus de projecte s'afegeixen noves dades de diferents fonts a un DW existent. A més, pot existir una condició en què el client hagi de canviar la regla de negoci existent o integrar la nova regla.
  • Prova d'informes - L'informe és el resultat final de qualsevol Data Warehouse i la proposta bàsica per a la qual es basa DW. L'informe s'ha de provar validant el disseny, les dades de l'informe i el càlcul.

Procés ETL

( Nota : Feu clic a la imatge per ampliar-la)

Proves ETL

Tècniques de proves ETL

1) Proves de transformació de dades : Verifiqueu que les dades es transformin correctament segons diversos requisits i normes empresarials.

2) Proves de recompte de font a objectiu : Assegureu-vos que el recompte de registres carregats a l'objectiu coincideixi amb el recompte esperat.

3) Font per provar les dades de destinació : Assegureu-vos que totes les dades projectades es carreguin al magatzem de dades sense pèrdua ni truncament de dades.

4) Proves de qualitat de les dades : Assegureu-vos que l’aplicació ETL rebutja, substitueix per valors predeterminats i informa de dades no vàlides adequadament.

5) Proves de rendiment : Assegureu-vos que les dades es carreguin al magatzem de dades dins dels terminis previstos i previstos per confirmar un millor rendiment i escalabilitat.

com utilitzar fitxers torrent després de la descàrrega

6) Proves de validació de producció: Valideu les dades del sistema de producció i compareu-les amb les dades d'origen.

7) Prova d’integració de dades : Assegureu-vos que les dades de diverses fonts s'han carregat correctament al sistema de destinació i que es comproven tots els valors llindars.

8) Prova de migració d'aplicacions : En aquestes proves, s'assegura que l'aplicació ETL funciona bé en passar a una nova caixa o plataforma.

9) Comprovació de dades i restriccions : En aquest cas es comprova el tipus de dades, la longitud, l'índex, les restriccions, etc.

10) Comprovació de dades duplicades : Proveu si hi ha dades duplicades presents als sistemes de destinació. Les dades duplicades poden generar informes analítics incorrectes.

A part dels mètodes de prova ETL anteriors, també es duen a terme altres mètodes de prova, com ara proves d’integració de sistemes, proves d’acceptació d’usuaris, proves incrementals, proves de regressió, proves noves i proves de navegació per assegurar-se que tot sigui suau i fiable.

ETL / Magatzem de dades Procés de proves

De manera similar a qualsevol altra prova que es troba sota la verificació i validació independents, ETL també passa per la mateixa fase.

  • Comprensió del requisit
  • Validació
  • Estimació de la prova basat en diverses taules, la complexitat de les regles, el volum de dades i el rendiment d’un treball.
  • Planificació de proves basat en les aportacions de l’estimació de proves i del requisit empresarial. Hem d’identificar aquí què hi ha a l’abast i allò que està fora de l’abast. També busquem dependències, riscos i plans de mitigació en aquesta fase.
  • Disseny de casos de prova i provar escenaris de totes les entrades disponibles. També hem de dissenyar scripts de documents i SQL de mapatge.
  • Un cop tots els casos de prova estiguin preparats i aprovats, l'equip de proves procedirà a fer la comprovació prèvia a l'execució i preparació de dades de proves per a proves
  • Finalment, l'execució es realitza fins que es compleixen els criteris de sortida. Per tant, la fase d'execució inclou l'execució de treballs ETL, el seguiment de les execucions de tasques, l'execució de scripts SQL, el registre de defectes, la revisió de defectes i les proves de regressió.
  • Quan es completa amb èxit, es prepara un informe resum i es fa el procés de tancament. En aquesta fase, es dóna la sessió per promocionar la feina o el codi a la següent fase.

Les dues primeres fases, és a dir, la comprensió i validació de requisits es poden considerar com a passos previs del procés de prova ETL.

Per tant, el procés principal es pot representar de la manera següent:

procés principal

Cal definir l'estratègia de prova que hauria de ser acceptada mútuament per les parts interessades abans de començar les proves reals. Una estratègia de prova ben definida assegurarà que s’ha seguit un enfocament correcte que compleixi l’aspiració de la prova.

Les proves ETL / Data Warehouse poden requerir l’escriptura d’instruccions SQL extensament per part de l’equip de proves o potser adaptar el SQL proporcionat per l’equip de desenvolupament. En qualsevol cas, un equip de proves ha de ser conscient dels resultats que intenta obtenir mitjançant aquestes sentències SQL.

Diferència entre proves de base de dades i de magatzem de dades

Hi ha un malentès popular que prova de bases de dades i magatzem de dades és similar, mentre que el fet és que tots dos tenen una direcció diferent en les proves.

  • Les proves de bases de dades es fan mitjançant una escala de dades més petita normalment amb bases de dades tipus OLTP (processament de transaccions en línia) mentre que les proves de magatzem de dades es fan amb un gran volum amb dades que impliquen bases de dades OLAP (processament analític en línia).
  • En les proves de bases de dades, normalment les dades s’injecten constantment de fonts uniformes, mentre que en proves de magatzem de dades, la majoria de les dades provenen de diferents tipus de fonts de dades que són seqüencialment inconsistents.
  • Generalment realitzem l’única operació CRUD (crear, llegir, actualitzar i suprimir) en proves de base de dades, mentre que en proves de magatzem de dades fem servir operacions de només lectura (selecció).
  • Les bases de dades normalitzades s’utilitzen en proves de DB mentre que les DB desmoralitzades s’utilitzen en proves de magatzem de dades.

Hi ha una sèrie de verificacions universals que s'han de dur a terme per a qualsevol tipus de prova de magatzem de dades.

A continuació es mostra la llista d’objectes que es tracten com a essencials per a la validació en aquesta prova:

  • Verifiqueu que la transformació de dades de la font a la destinació funcioni tal com s’esperava
  • Verifiqueu que s'afegeixin les dades esperades al sistema de destinació
  • Verifiqueu que tots els camps de la base de dades i les dades de camp es carreguin sense cap truncament
  • Verifiqueu la suma de comprovació de dades per coincidir amb el recompte de registres
  • Verifiqueu que per a les dades rebutjades es generin registres d’errors adequats amb tots els detalls
  • Verifiqueu els camps de valor NULL
  • Verifiqueu que les dades duplicades no es carreguin
  • Verifiqueu la integritat de les dades

=> Coneixeu el diferència entre ETL / proves de magatzem de dades i proves de bases de dades .

Reptes de proves ETL

Aquestes proves són molt diferents de les proves convencionals. Hi ha molts desafiaments que hem afrontat en realitzar proves de magatzem de dades.

Aquests són alguns dels reptes que he experimentat en el meu projecte:

  • Dades incompatibles i duplicades
  • Pèrdua de dades durant el procés ETL
  • Indisponibilitat del banc de proves inclòs
  • Els verificadors no tenen privilegis per executar tasques ETL per compte propi
  • El volum i la complexitat de les dades són molt grans
  • Falla en els processos i processos empresarials
  • Problemes per adquirir i construir dades de proves
  • Entorn de proves inestables
  • Falta informació sobre el flux empresarial

Les dades són importants perquè les empreses prenguin les decisions empresarials crítiques. Les proves ETL tenen un paper important en validar i garantir que la informació empresarial sigui exacta, coherent i fiable. A més, minimitza el risc de pèrdua de dades en la producció.

Espero que aquests consells us ajudin a garantir que el vostre procés ETL sigui precís i que el magatzem de dades que es genera sigui un avantatge competitiu per al vostre negoci.

Llista completa de tutorials sobre proves ETL:

  • Tutorial # 1 : Guia d’introducció de proves de magatzem de dades ETL Testing
  • Tutorial # 2 : Proves ETL mitjançant l'eina Informatica PowerCenter
  • Tutorial # 3 : Proves ETL vs. DB
  • Tutorial # 4 : Proves d’intel·ligència empresarial (BI): com provar dades de negoci
  • Tutorial # 5 : Top 10 d'eines de proves ETL

Aquest és un missatge de convidat de Vishal Chhaperia, que treballa en un MNC amb una funció de gestió de proves. Té una àmplia experiència en la gestió de projectes, processos i equips de control de qualitat multi-tecnologia.

Heu treballat en proves ETL? Comparteix els consells i reptes de les proves ETL / DW a continuació.

Lectura recomanada

^