Proves ETL vs. DB: una visió més detallada de la necessitat, la planificació i les eines ETL de proves ETL

etl vs db testing closer look etl testing need

Les proves de programari tenen diverses àrees per concentrar-se. Les principals varietats són proves funcionals i no funcionals. Les proves funcionals són la forma procedimental de garantir que la funcionalitat desenvolupada funcioni com s’esperava. Les proves no funcionals són l'enfocament mitjançant el qual es poden assegurar aspectes no funcionals, com ara millorar o obtenir un rendiment acceptable.

Hi ha un altre sabor de proves anomenat Proves de DB . Les dades s’organitzen a la base de dades en forma de taules. Per a les empreses, hi pot haver fluxos on les dades de les taules múltiples es poden combinar o processar en una sola taula i viceversa.

Proves ETL és un altre tipus de proves que es prefereix en el cas empresarial en què els clients busquen una mena de necessitat d'informes. Es busca la informació per analitzar les demandes, necessitats i subministrament de manera que els clients, les empreses i els usuaris finals siguin molt ben atesos i beneficiats.

Què aprendreu en aquest tutorial?

En aquest tutorial, aprendreu què és la prova de bases de dades, què és la prova ETL, la diferència entre la prova de base de dades i la prova ETL, i més detalls sobre la necessitat, el procés i la planificació de les proves ETL amb exemples reals.

També hem tractat les proves ETL amb més detall a la pàgina següent. A més, mireu-ho.

=> Consells i tècniques de proves ETL / Data Warehouse Testing

Què aprendreu:

• Proves de DB vs. Proves ETL
  • Estudi comparatiu de proves ETL i DB
  • Per què hauria d’anar el negoci per ETL?
  • Planificació de proves ETL
  • Necessitats crítiques d’ETL
  • Problemes bàsics en proves ETL
  • Punts per recordar durant la planificació i execució de les proves ETL
  • Eines ETL i el seu ús significatiu
  • Conclusió
  • Lectura recomanada

Proves de DB vs. Proves ETL

La majoria de nosaltres estem una mica confosos en considerar que tant les proves de bases de dades com les proves ETL són semblants i iguals. El fet és que són similars, però no són el mateix.

Proves de DB:

Les proves de base de dades s’utilitzen generalment de manera extensa en els fluxos empresarials on hi ha múltiples fluxos de dades que es produeixen a l’aplicació des de diverses fonts de dades a una sola taula. La font de dades pot ser una taula, un fitxer pla, una aplicació o qualsevol altra cosa que pugui generar algunes dades de sortida.

Al seu torn, les dades de sortida obtingudes encara es poden utilitzar com a entrada per al flux empresarial seqüencial. Per tant, quan realitzem proves de DB, el més important que s’ha de capturar és la manera com les dades es poden transformar des de la font juntament amb com es desen a la ubicació de destinació.

La sincronització és una de les coses principals i l’essencial que s’ha de tenir en compte a l’hora de realitzar les proves de base de dades. A causa del posicionament de l'aplicació al flux arquitectònic, pot haver-hi pocs problemes amb la sincronització de dades o de bases de dades. Per tant, mentre es realitzen les proves, s’ha de tenir en compte perquè això pot superar el potencial defectes no vàlids o errors.

Exemple 1:

El projecte 'A' té una arquitectura integrada on l'aplicació particular fa ús de dades d'altres fonts de dades heterogènies. Per tant, la integritat d’aquestes dades amb la ubicació de destinació s’ha de fer juntament amb les validacions del següent:

• Validació de clau estrangera primària
• La columna valora la integritat
• Valors nuls per a qualsevol columna

Què són les proves ETL?

Les proves ETL són un tipus especial de proves que el client vol fer per a la seva previsió i anàlisi del seu negoci. S'utilitza principalment amb finalitats d'informes. Per exemple, si els clients han d’haver informat sobre els clients que utilitzen el producte o que van a buscar el seu producte en funció del dia que comprin, han de fer ús dels informes ETL.

Publicació anàlisi i informes , aquestes dades són dades emmagatzemades a un magatzem de dades on s'han de traslladar les dades comercials antigues.

com instal·lar subversion en eclipsi

Es tracta d’una prova de diversos nivells, ja que les dades de la font es transformen en diversos entorns abans d’arribar a la ubicació final destinada.

Exemple 2:

Considerarem un grup 'A' que realitzi negocis de clients minoristes a través d'un mercat de compres on el client pugui comprar els articles per a la llar necessaris per a la seva supervivència del dia a dia. Aquí es proporciona a tots els clients que visiten un identificador de membre únic amb el qual poden guanyar punts cada vegada que venen a comprar coses al mercat de compres.

La normativa proporcionada pel grup diu que els punts guanyats caduquen cada any. I segons el seu ús, els membres es poden actualitzar a un membre de grau superior o canviar a un membre de grau inferior en comparació amb el grau actual.

Després de cinc anys d’establiment del mercat de compres, ara la direcció busca ampliar el seu negoci juntament amb els ingressos.

Per tant, van requerir pocs informes empresarials perquè poguessin promocionar els seus clients.

A Proves de bases de dades realitzem el següent:

# 1) Validacions a les taules de destinació que es creen amb columnes amb càlculs lògics tal com es descriu al full de mapatge lògic i al document d’encaminament de dades.

# 2) Es poden realitzar manipulacions com la inserció, actualització i supressió de les dades del client en qualsevol aplicació TPV de l'usuari final en un sistema integrat juntament amb la base de dades de fons, de manera que els mateixos canvis es reflecteixin al sistema final.

# 3) Les proves de base de dades han de garantir que no hi hagi dades de clients que hagin estat mal interpretades o fins i tot truncades. Això pot comportar problemes greus, com ara un mapatge incorrecte de les dades dels clients amb la seva fidelitat

A les proves ETL comprovem el següent:

# 1) Suposant que hi hagi 100 clients a la font, comprovareu si tots aquests clients juntament amb les seves dades de les 100 files s'han mogut del sistema d'origen a l'objectiu. Això es coneix com a verificació de Comprovació de la integritat de les dades.

# 2) Comprovació de si les dades del client s’han manipulat i demostrat correctament a les 100 files. Això s'anomena simplement verificació de Comprovació de la precisió de les dades .

# 3) Informes per als clients que han guanyat punts de més de x valors en un període concret.

Estudi comparatiu de proves ETL i DB

Les proves ETL i DB tenen pocs dels aspectes que difereixen en si mateixos, que és més essencial per entendre abans de realitzar-les. Això ens ajuda a entendre els valors i la importància de les proves i la forma en què ajuda el negoci.

A continuació es mostra un formulari tabular que descriu el comportament bàsic dels dos formats de prova.

Per què hauria d’anar el negoci per ETL?

Hi ha moltes necessitats empresarials disponibles per considerar les proves ETL. Cada empresa ha de tenir la seva missió única i la seva línia de negoci. Totes les empreses tenen un cicle de vida del producte que adopta la forma genèrica:

És molt clar que qualsevol producte nou entra al mercat amb un enorme creixement de les vendes i fins a una etapa anomenada venciment i, posteriorment, disminueix. Aquest canvi gradual és testimoni d’una caiguda definitiva del creixement empresarial. Per tant, és més important analitzar les necessitats del client per al creixement del negoci i altres factors necessaris per fer que l’organització sigui més rendible.

Així, en realitat, els clients volen analitzar les dades històriques i elaborar alguns informes de manera estratègica.

Planificació de proves ETL

Un dels passos principals de les proves ETL consisteix a planificar la prova que s’executarà. Serà similar al Pla de proves per a la prova del sistema que normalment es realitza excepte pocs atributs, com ara requisits i casos de prova.

Aquí els requisits no són més que un full de mapatge que tindrà un tipus de mapatge entre dades dins de diferents bases de dades. Com que som conscients que les proves ETL es produeixen a diversos nivells, hi ha diverses assignacions necessàries per validar-ho.

La majoria de les vegades les dades es capturen de les bases de dades d'origen no són directament. Totes les dades d'origen tindran la vista de les taules des d'on es poden utilitzar les dades.

Exemple: A continuació es mostra un exemple de com es poden proporcionar els mapatges. Les dues columnes VIEW_NAME i TABLE_NAME es poden utilitzar per representar les visualitzacions de lectura de dades de la font i de la taula a l'entorn ETL respectivament.

Es recomana mantenir la convenció de noms que ens pot ajudar mentre planifiquem l'automatització. La notació genèrica que es pot utilitzar només prefixa el nom de l’entorn.

El més significatiu a ETL és identificar les dades essencials i les taules de la font. El següent pas essencial és el mapatge de taules des de la font fins a l'entorn ETL.

A continuació es mostra un exemple de com el mapatge entre les taules dels diferents entorns es pot relacionar amb el propòsit ETL.

L'assignació anterior assumeix les dades de la taula d'origen a la taula de prova. I a partir de llavors a les taules a EDW i després a OLAP que és l’entorn d’informació final. Per tant, en qualsevol moment, la sincronització de dades és molt important pel bé de l’ETL.

Necessitats crítiques d’ETL

Segons entenem, ETL és la necessitat de predir, informar i analitzar el negoci per tal de captar les necessitats dels clients d’una manera més successiva. Això permetrà que l’empresa tingui més demandes que en el passat.

el millor netejador de registre gratuït de Windows 10

Aquí hi ha algunes de les necessitats crítiques sense les quals no es poden aconseguir proves ETL:

1. Identificació de dades i taules : Això és important, ja que hi pot haver moltes altres dades irrellevants i innecessàries que puguin ser de menor importància a l'hora de predir i analitzar les necessitats del client. Per tant, les dades rellevants i les taules s'han de seleccionar abans d'iniciar el funcionament de l'ETL.
2. Full de mapes : Aquesta és una de les necessitats crítiques mentre es fan treballs ETL. L’assignació de la taula adequada des de la font fins a la destinació és obligatòria i qualsevol problema o informació incorrecta d’aquest full pot afectar tot el lliurament d’ETL.
3. Dissenys i dades de taules, tipus de columna : Aquest és el següent pas important en considerar el mapatge de taules d'origen a les taules destinades. El tipus de columna ha de coincidir amb les taules dels dos llocs, etc.
4. Accés a la base de dades : El més important és accedir a la base de dades on es desenvolupa ETL. Qualsevol restricció a l'accés tindrà un impacte equivalent.

Informes i proves ETL

Els informes en ETL són més importants ja que expliquen i dirigeixen els clients que el client necessita. Amb això, poden predir i analitzar les necessitats exactes del client

Exemple 3:

Una empresa que fabrica teixits de seda volia analitzar les seves vendes anuals. En revisar les seves vendes anuals, van comprovar que durant el mes d'agost i setembre hi va haver una caiguda enorme de les vendes amb l'ús de l'informe que van generar.

Per això, van decidir llançar l'oferta promocional, com ara l'intercanvi, els descomptes, etc., que van millorar les seves vendes.

Problemes bàsics en proves ETL

Hi pot haver una sèrie de problemes en realitzar proves ETL, com ara el següent:

• Tant l'accés a les taules d'origen com les vistes no seran vàlides.
• És possible que el nom de la columna i el tipus de dades des de l'origen fins a la capa següent no coincideixin.
• És possible que diversos registres de la taula d'origen a la taula destinada no coincideixin.

I potser n’hi haurà molt més.

A continuació es mostra una mostra de full de mapatge on hi ha columnes com VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE i TRANSFORMATION LOGIC.

Les 3 primeres columnes representen els detalls de la base de dades d'origen i les 3 següents són els detalls de la base de dades immediata anterior. L’última columna és molt important. La lògica de transformació és la manera com es llegeixen i emmagatzemen les dades de la font a la base de dades destinada. Això depèn de les necessitats empresarials i ETL.

Punts per recordar durant la planificació i execució de les proves ETL

El més important en les proves ETL és la càrrega de dades segons els criteris d’extracció del DB d’origen. Si aquest criteri no és vàlid o està obsolet, no hi haurà dades a la taula per realitzar proves ETL que realment generin més problemes.

A continuació, es detallen alguns dels punts a tenir en compte durant la planificació i execució de les proves ETL:

# 1) S’extreuen dades de les fonts de dades heterogènies
# 2) Gestió de processos ETL a l'entorn integrat que tenen diferents:

• SGBD
• VOSTÈ
• Maquinari
• Protocols de comunicació

# 3) Necessitat de tenir un full de mapatge de dades lògiques abans de poder transformar les dades físiques
# 4) Comprensió i examen de les fonts de dades
# 5) Càrrega inicial i càrrega incremental
# 6) Columnes d’auditoria
# 7) Carregant els fets i les dimensions

Eines ETL i el seu ús significatiu

Les eines ETL s'utilitzen bàsicament per construir i convertir el fitxer lògica de transformació prenent dades de la font en una altra aplicant la lògica de transformació. També podeu mapar els esquemes des de la font fins a la destinació, que es produeixen de maneres úniques, transformar i netejar les dades abans de traslladar-les a la destinació, juntament amb carregar-les de manera eficient.

Això pot reduir significativament els esforços manuals ja que es pot fer el mapatge que s'utilitza per a gairebé tota la validació i verificació ETL.

Eines ETL :

1. Informàtica - PowerCenter - és una de les populars eines ETL introduïdes per Informatica Corporation. Té una base de clients molt bona que cobreix àmplies zones. Els components principals de l'eina són les seves eines per als clients i les eines del dipòsit i els servidors. Per obtenir més informació sobre l'eina, feu clic a aquí
2. IBM - Infosphere Information Server - IBM, que és líder del mercat en termes de tecnologia informàtica, ha desenvolupat el servidor d'informació Infosphere que s'utilitza per a la integració i gestió de la informació l'any 2008. Per obtenir més informació sobre l'eina, feu clic a aquí
3. Oracle: integrador de dades - Oracle Corporation ha desenvolupat la seva eina ETL en nom d'Oracle - Data Integrator. La seva creixent atenció al client els ha fet actualitzar les seves eines ETL en diverses versions. Per obtenir més informació sobre l'eina, feu clic a aquí

Més exemples d'ús de proves ETL:

Tenint en compte algunes línies aèries que volen llançar promocions i ofertes per atreure els clients estratègicament. En primer lloc, intentaran entendre les demandes i necessitats de les especificacions del client. Per aconseguir-ho, necessitaran les dades històriques preferiblement les dades dels 2 anys anteriors. Amb les dades, analitzaran i prepararan alguns informes que seran útils per comprendre les necessitats dels clients.

Els informes poden ser del tipus següent:

1. Clients de la regió A que viatgen a la regió B en determinades dates
2. Els clients amb criteris d’edat específics viatgen a la ciutat XX

I hi pot haver molts altres informes.

L’anàlisi d’aquests informes ajudarà els clients a identificar el tipus de promocions i ofertes que beneficiaran els clients i, alhora, poden beneficiar les empreses en què això pugui esdevenir una situació de guanyar-guanyar. Això es pot aconseguir fàcilment mitjançant proves i informes ETL.

Paral·lelament, el segment de TI s’enfronta a un greu problema de base de dades que s’ha notat que ha aturat múltiples serveis, al seu torn, pot causar impactes al negoci. En la investigació, es va identificar que algunes dades no vàlides han corromput algunes bases de dades que calia corregir manualment.

En el primer cas, es requeriran informes i proves ETL.

com afegir un element a una matriu

Mentre que en aquest darrer cas, el test de base de dades s'ha de fer correctament per superar problemes amb dades no vàlides.

Conclusió

Espero que el tutorial anterior hagi proporcionat una visió senzilla i clara de què són les proves ETL i de per què s’ha de fer juntament amb els impactes o beneficis empresarials que generen. Això no s’atura aquí, però es pot ampliar fins a fixar la previsió del creixement dels negocis.

Sobre l'autor: Aquest tutorial està escrit per Nagarajan. És cap de proves amb més de 6 anys d’experiència en proves de programari en diverses àrees funcionals com la banca, les línies aèries i les telecomunicacions, tant en termes manuals com d’automatització.

Feu-nos saber els vostres pensaments / preguntes als comentaris següents.

Lectura recomanada

• Preguntes i respostes de l'entrevista de proves ETL
• Tutorial de proves de magatzem de dades de proves ETL (una guia completa)
• Top 10 d'eines de proves ETL el 2021
• Com realitzar proves ETL mitjançant l'eina Informatica PowerCenter
• 31 Preguntes i respostes de les entrevistes de proves de bases de dades principals
• 40+ millors eines de proves de bases de dades: solucions populars de proves de dades
• Guia completa de proves de bases de dades (per què, què i com provar dades)
• Proves de base de dades de seleni (mitjançant WebDriver i l'API JDBC)