how perform etl testing using informatica powercenter tool
És un fet conegut que Proves ETL és un dels aspectes crucials de qualsevol Intel · ligència de negocis Aplicació basada en (BI). Per tal d’aconseguir la garantia de qualitat i l’acceptació per començar a viure en un negoci, l’aplicació de BI s’hauria de provar bé prèviament.
L 'objectiu principal de les proves ETL és assegurar que el ÉS xtract, T transformar & L La funcionalitat oad funciona segons els requisits empresarials i està sincronitzada amb els estàndards de rendiment.
Abans d’explorar les proves ETL amb Informatica , és essencial saber què són ETL i Informatica. 
Què aprendreu:
- Què aprendreu en aquest tutorial d'ETL:
- Eina de proves Informatica PowerCenter ETL:
- Comprensió de les proves ETL específiques d'Informatica:
- Classificació de proves ETL a Informatica:
- Avantatges d'utilitzar Informatica com a eina ETL:
- Alguns consells útils per ajudar-vos a fer proves Informatica ETL:
- Conclusió:
- Lectura recomanada
Què aprendreu en aquest tutorial d'ETL:
- Conceptes bàsics de les proves ETL, Informatica i ETL.
- Comprensió de les proves ETL específiques d'Informatica.
- Classificació de proves ETL a Informatica.
- Exemples de casos de prova per a proves Informatica ETL.
- Avantatges d'utilitzar Informatica com a Eina ETL .
- Consells i trucs per ajudar-vos a fer proves.
En informàtica, Extract, Transform, Load (ETL) es refereix a un procés d’ús de bases de dades i, especialment, a l’emmagatzematge de dades que realitza:
- Extracció de dades - Extreu dades de fonts de dades homogènies o heterogènies.
- Transformació de dades - Formata les dades en el tipus requerit.
- Càrrega de dades: Moveu i emmagatzemeu les dades a una ubicació permanent per utilitzar-les a llarg termini.
Eina de proves Informatica PowerCenter ETL:
Informatica PowerCenter és una potent eina ETL d'Informatica Corporation. És una plataforma única i integrada d’integració de dades empresarials per accedir, descobrir i integrar dades de pràcticament qualsevol sistema empresarial, en qualsevol
És una plataforma única i integrada d’integració de dades empresarials per accedir, descobrir i integrar dades de pràcticament qualsevol sistema empresarial, en qualsevol format i lliurar aquestes dades a tota l’empresa a qualsevol velocitat. A través Informatica PowerCenter , creem fluxos de treball que realitzen operacions ETL de punta a punta.
Descarregueu i instal·leu Informatica PowerCenter:
Per instal·lar i configurar Informatica PowerCenter 9.x utilitzeu l'enllaç següent que conté instruccions pas a pas:
=> Guia d'instal·lació i configuració d'Informatica PowerCenter 9
Comprensió de les proves ETL específiques d'Informatica:
Els provadors ETL solen tenir preguntes pertinents sobre què cal provar a Informatica i quina cobertura de prova es necessita?
Deixeu-me fer-vos un recorregut sobre com realitzar proves ETL específiques d'Informatica.
Els principals aspectes que haurien de tractar-se bàsicament en les proves Informatica ETL són:
- Provar la funcionalitat del flux de treball Informatica i els seus components; totes les transformacions utilitzades en els mapatges subjacents.
- Per comprovar la integritat de les dades (és a dir, assegurar-se si les dades projectades es carreguen a l'objectiu sense truncaments ni pèrdues de dades),
- Comprovar si les dades s’estan carregant a l’objectiu dins dels límits de temps estimats (és a dir, avaluar el rendiment del flux de treball),
- Assegureu-vos que el flux de treball no permet carregar cap dada no vàlida o no desitjada a l'objectiu.
Classificació de proves ETL a Informatica:
Per a una millor comprensió i facilitat del provador, les proves ETL a Informatica es poden dividir en dues parts principals:
com obrir un fitxer .dat a Windows
# 1) Proves d'alt nivell
# 2) Proves detallades
En primer lloc, a les proves d’alt nivell:
- Podeu comprovar si el flux de treball Informatica i els objectes relacionats són vàlids o no.
- Verifiqueu si el flux de treball s'està completant correctament en executar-se.
- Confirmeu si s’executen totes les sessions / tasques necessàries al flux de treball.
- Valideu si les dades es carreguen al directori de destinació desitjat i amb el nom de fitxer esperat (en cas que el flux de treball estigui creant un fitxer), etc.
En poques paraules, es pot dir que les proves d’alt nivell inclouen totes les comprovacions bàsiques del seny.
Arribant a la següent part, és a dir, proves detallades a Informatica , aprofundireu en validar si la lògica implementada a Informatica funciona tal com s’esperava en termes de resultats i rendiment.
- Heu de fer les validacions de dades de sortida a nivell de camp que confirmaran que cada transformació funciona bé
- Comproveu si el registre es compta en cada nivell de processament i, finalment, si l'objectiu és l'esperat.
- Superviseu a fons elements com el qualificador de font i el target a les estadístiques de sessió / font / target
- Assegureu-vos que la durada d’execució del flux de treball d’Informatica sigui al mateix temps que el temps d’execució estimat.
En resum, podem dir que les proves detallades inclouen una validació rigorosa de cap a cap del flux de treball Informatica i el flux de dades relacionat.
Prenem un exemple aquí:
Tenim un fitxer pla que conté dades sobre diferents productes. Emmagatzema detalls com el nom del producte, la seva descripció, categoria, data de caducitat, preu, etc.
El meu requisit és obtenir cada registre de producte del fitxer, generar un identificador de producte únic corresponent a cada registre i carregar-lo a la taula de base de dades de destinació. També he de suprimir aquells productes que pertanyen a la categoria 'C' o la data de caducitat és inferior a la data actual.
Diguem que el meu fitxer pla (font) té aquest aspecte:
(Nota:Feu clic a qualsevol imatge per ampliar-la)
Segons els requisits que heu indicat anteriorment, la taula de la meva base de dades (objectiu) hauria de tenir el següent aspecte:
Nom de la taula: Tbl_Product
| Prod_ID (clau principal) | Nom del producte | Descripció_prod | Prod_category | Data_expiració_prod | Preu_prod |
|---|---|---|---|---|---|
| 1001 | ABC | Aquest és el producte ABC. | M | 8/14/2017 | 150 |
| 1002 | DEF | Aquest és el producte DEF. | S | 2018.10.06 | 700 |
| 1003 | PQRS | Aquest és el producte PQRS. | M | 5/23/2019 | 1500 |
Ara, per exemple, hem desenvolupat un flux de treball Informatica per obtenir la solució per als meus requisits ETL.
El mapatge informàtic subjacent llegirà les dades del fitxer pla, passarà les dades a través d’una transformació d’encaminador que descartarà les files que tinguin la categoria de producte com a 'C' o la data de caducitat; llavors utilitzaré una generació de seqüències per crear la clau primària única. valors per a la columna Prod_ID de la taula de productes.
Finalment, els registres es carregaran a la taula de productes, que és l'objectiu de la meva assignació Informatica.
Exemples:
A continuació es mostren els casos de prova de mostra de l’escenari explicat anteriorment.
Podeu utilitzar aquests casos de prova com a plantilla al vostre projecte de proves Informatica i afegir / eliminar casos de prova similars en funció de la funcionalitat del vostre flux de treball.
# 1) Identificador de cas de prova: T001
Propòsit del cas de prova: Valideu el flux de treball: (nom_fluix_de treball)
Procediment de prova:
- Aneu al gestor de flux de treball
- Obre el flux de treball
- Menú Flux de treball-> feu clic a validar
Valor d'entrada / dades de prova: Les fonts i els objectius estan disponibles i connectats
Fonts: (nom de totes les instàncies d'origen)
Assignacions: (nom de tots els mapatges)
Objectius: (nom de totes les instàncies de destinació)
Sessió: (nom de totes les sessions)
Resultats esperats: Missatge a la barra d'estat del gestor de flux de treball: 'Workflow (workflow_name) is valid'
Resultats reals: Missatge a la barra d'estat del gestor de flux de treball: 'Workflow (workflow_name) is valid'
quin és un bon lloc per veure anime
Observacions:Passar
Comentaris del provador:
# 2) Identificador de cas de prova: T002
Propòsit del cas de prova: Per assegurar-vos que el flux de treball s’executa correctament
Procediment de prova:
- Aneu al gestor de flux de treball
- Obre el flux de treball
- Feu clic amb el botó dret al dissenyador de flux de treball i seleccioneu Inicia el flux de treball
- Comproveu l'estat a Workflow Monitor
Valor d'entrada / dades de prova: Igual que les dades de prova per a T001
Resultats esperats: Missatge a la finestra de sortida del gestor de flux de treball: Actualització de tasques: (nom_fluix) (correcte)
Resultats reals: Missatge a la finestra de sortida del gestor de flux de treball: Actualització de tasques: (nom_fluix) (correcte)
Observacions:Passar
Comentaris del provador: El flux de treball s’ha realitzat correctament
Nota: Podeu veure fàcilment l’estat d’execució del flux de treball (fallit / correcte) al monitor de flux de treball, tal com es mostra a l’exemple següent. Un cop s'hagi completat el flux de treball, l'estat es reflectirà automàticament al monitor del flux de treball.
A la captura de pantalla anterior, podeu veure l’hora d’inici i l’hora de finalització del flux de treball, així com l’estat correcte.
# 3) Identificador de cas de prova: T003
Propòsit del cas de prova: Per validar si es carrega el nombre desitjat de registres a l'objectiu
Procediment de prova: Quan el flux de treball s'hagi executat correctament, aneu a la taula de destinació de la base de dades
Comproveu el nombre de files de la taula de base de dades de destinació
Valor d'entrada / dades de prova: 5 files al fitxer font
Objectiu: taula de base de dades - (Tbl_Product)
Consulta per executar al servidor SQL: Seleccioneu el recompte (1) de (Tbl_Product)
Resultats esperats: 3 files seleccionades
Resultats reals: 3 files seleccionades
Observacions:Passar
Comentaris del provador:
# 4) Identificador de cas de prova: T004
Propòsit del cas de prova: Per comprovar si el generador de seqüències al mapatge d'Informatica funciona bé per emplenar (primary_key_column_name p. Ex. Columna Prod_ID)
Procediment de prova: Quan el flux de treball s'hagi executat correctament, aneu a la taula de destinació de la base de dades
Comproveu la seqüència única generada a la columna Prod_ID
Valor d'entrada / dades de prova: el valor per a Prod_ID es deixa en blanc per a cada fila del fitxer font
Generador de seqüències assignat a la columna Prod_ID del mapatge
Valor d'inici del generador de seqüències establert com a 1001
Objectiu: taula de base de dades- (Tbl_Product) obert a SQL Server
Resultats esperats: Valor de 1001 a 1003 poblat a cada fila de la columna Prod_ID
Resultats reals: Valor de 1001 a 1003 poblat a cada fila de la columna Prod_ID
Observacions:Passar
Comentaris del provador:
# 5) Identificador de cas de prova: T005
java com fer una cua
Propòsit del cas de prova: Per validar si la transformació del router funciona bé per suprimir els registres en cas que la categoria de producte sigui 'C' o el producte hagi caducat.
Procediment de prova: Quan el flux de treball s'hagi executat correctament, aneu a la taula de destinació de la base de dades
Executeu la consulta a la taula de destinació per comprovar si s'han suprimit els registres desitjats.
Valor d'entrada / dades de prova: 5 files al fitxer font
Objectiu: taula de base de dades - (Tbl_Product)
Consulta per executar al servidor SQL: Seleccioneu * a Producte on Prod_category = 'C' o Prod_expiry_date< sysdate ;
Resultats esperats: no hi ha cap fila seleccionada
Resultats reals: no hi ha cap fila seleccionada
Observacions:Passar
Comentaris del provador: (si n’hi ha)
# 6) Identificador de cas de prova: T006
Propòsit del cas de prova: Per comprovar el rendiment del flux de treball enregistrant el temps d'execució del flux de treball.
Procediment de prova:
- Obriu el monitor de flux de treball i aneu a la prova que es va fer com a part de T001.
- Registre l'hora d'inici i l'hora de finalització del flux de treball.
- Calculeu el temps d'execució total restant l'hora d'inici de l'hora final.
Valor d'entrada / dades de prova: El flux de treball s'ha executat correctament
Hora d'inici del flux de treball al monitor
Hora de finalització del flux de treball al monitor.
Resultats esperats: 2 min 30 secs
Resultats reals: 2 min 15 secs
Observacions:Passar
Comentaris del provador: Considerant la prova com a 'Aprovat' en cas que la durada real del recorregut sigui del +/- 10% de la durada prevista.
# 7) Identificador de cas de prova: T007
Propòsit del cas de prova: Per validar les dades a nivell de columna de la taula de destinació per assegurar-vos que no hi hagi pèrdua de dades.
Procediment de prova: Quan el flux de treball s'hagi executat correctament, aneu al SQL Server.
Executeu la consulta a la taula de destinació per comprovar que no hi hagi pèrdua de dades.
Valor d'entrada / dades de prova: El flux de treball s'ha executat correctament
Un exemple de registre del fitxer pla d'origen.
Consulta SQL: Seleccioneu Top 1 * de Tbl_Patient;
Resultats esperats:
Ha tornat 1 fila
| Prod_ID (clau principal) | Nom del producte | Descripció_prod | Prod_category | Data_expiració_prod | Preu_prod |
|---|---|---|---|---|---|
| 1001 | ABC | Aquest és el producte ABC. | M | 8/14/2017 | 150 |
Resultats reals:
Ha tornat 1 fila.
| Prod_ID (clau principal) | Nom del producte | Descripció_prod | Prod_category | Data_expiració_prod | Preu_prod |
|---|---|---|---|---|---|
| 1001 | ABC | Aquest és el producte ABC. | M | 8/14/2017 | 150 |
Observacions:Passar
Comentaris del provador: Considerant la prova com a 'Aprovat' en cas que la durada real del recorregut sigui del +/- 10% de la durada prevista.
Avantatges d'utilitzar Informatica com a eina ETL:
Informatica és una eina ETL popular i exitosa perquè:
- Té un índex d’èxit elevat (gairebé el 100%)
- Informatica té la capacitat d’habilitar la integració Lean.
- És una eina de preus moderats en comparació amb altres eines ETL.
- Ve amb un programador de treball intern. Per tant, no cal fer servir un planificador de tercers per separat, com fan algunes eines ETL.
- La formació fàcil i la disponibilitat d'eines han fet que Informatica sigui més popular.
Alguns consells útils per ajudar-vos a fer proves Informatica ETL:
- Genereu les dades de prova abans d'executar els escenaris de prova.
- Les dades de la prova haurien d’estar sincronitzades amb el cas de prova per al qual s’utilitzen.
- Assegureu-vos que hàgiu cobert els tres escenaris: no s’envien dades, no s’envien dades no vàlides i s’envien dades vàlides com a entrada al flux de treball d’Informatica.
- Assegureu-vos de provar que totes les dades necessàries es carreguen per orientar-les completament. Per a això, podeu utilitzar el cas de prova T003 descrit anteriorment com a mostra.
- És molt important provar que el flux de treball està fent totes les transformacions de dades correctament segons les regles de negoci.
- Suggeriria que per a cada transformació aplicada al vostre mapatge Informatica, haureu de tenir una llista de verificació per verificar-ne les dades de sortida. D'aquesta manera, podeu informar d'errors fàcilment si alguna transformació no funciona bé.
Conclusió:
Per tant, hem vist amb detall alguns dels casos de prova de mostra que es poden utilitzar com a plantilla per cobrir les proves ETL a Informatica. Com he esmentat anteriorment, podeu afegir / eliminar / modificar aquests casos de prova en funció de l'escenari que tingueu al vostre projecte.
Com he esmentat anteriorment, podeu afegir / eliminar / modificar aquests casos de prova en funció de l'escenari que tingueu al vostre projecte.
Informatica PowerCenter és la base per a qualsevol activitat d'integració de dades.
Podeu realitzar proves automàtiques sense scripts de les dades copiades en entorns de prova, desenvolupament o producció, i aquest és el motiu pel qual PowerCenter és l’eina ETL més popular actualment.
Lectura recomanada => Proves ETL vs. DB: una visió més detallada de la necessitat de proves ETL
Sobre l'autor: Aquest és un article convidat de Priya K. Té més de 4 anys d’experiència pràctica en el desenvolupament i el suport d’aplicacions Informatica ETL.
No dubteu a publicar les vostres consultes / comentaris sobre aquesta eina ETL.
Lectura recomanada
- Les millors eines de prova de programari 2021 (Eines d'automatització de proves de control de qualitat)
- Com realitzar proves de backend
- Preguntes i respostes d’entrevistes de proves ETL
- Tutorial de proves de magatzem de dades de proves ETL (una guia completa)
- Prova de descàrrega de llibres electrònics
- Proves ETL vs. DB: una visió més detallada de la necessitat, la planificació i les eines ETL de proves ETL
- Prova de càrrega mitjançant LoadUI: una eina de prova de càrrega de codi obert i lliure
- Top 10 d'eines de proves ETL el 2021