Fonaments de l’emmagatzematge de dades: una guia definitiva amb exemples

data warehousing fundamentals

Obteniu més informació sobre els fonaments de l’emmagatzematge de dades. Aquesta guia en profunditat explica què és l’emmagatzematge de dades juntament amb els seus tipus, característiques, mèrits i demèrits:

Un magatzem de dades és l’última tendència d’emmagatzematge de la indústria de TI actual.

Aquest tutorial explicarà Què és un magatzem de dades? Per què és crucial l’emmagatzematge de dades? Tipus d’aplicacions de magatzem de dades, característiques d’un magatzem de dades, avantatges i desavantatges de l’emmagatzematge de dades.

Llista de tutorials sobre emmagatzematge de dades d'aquesta sèrie:

Tutorial # 1: Fonaments de l’emmagatzematge de dades
Tutorial # 2: Què és el procés ETL a Data Warehouse?
Tutorial # 3: Proves de magatzem de dades
Tutorial # 4: Model de dades dimensionals a Data Warehouse
Tutorial # 5: Tipus d’esquemes en el modelatge de magatzem de dades
Tutorial # 6: Tutorial de Data Mart
Tutorial # 7: Metadades a ETL

Preguntes i respostes de l'entrevista de consulta sql per a pdf amb experiència

Visió general dels tutorials d’aquesta sèrie d’emmagatzematge de dades

Què aprendreu:

• Fonaments de l’emmagatzematge de dades: una guia completa
  • Què és l'emmagatzematge de dades?
  • Per què és crucial l’emmagatzematge de dades?
  • Tipus d'aplicacions de Data Warehouse
    • # 1) Processament de la informació
    • # 2) Processament analític
    • # 3) Mineria de dades
  • Característiques d'un magatzem de dades
  • Avantatges d’un magatzem de dades
  • Desavantatges de l'emmagatzematge de dades
• Conclusió
  • Lectura recomanada

Fonaments de l’emmagatzematge de dades: una guia completa

Públic objectiu

• Desenvolupadors i provadors de magatzem de dades / ETL.
• Professionals de bases de dades amb coneixements bàsics sobre conceptes de bases de dades.
• Administradors de bases de dades / experts en grans dades que volen entendre els conceptes d’emmagatzematge de dades.
• Graduats universitaris / estudiants de primer any que busquen treballs de magatzem de dades.

Què és l'emmagatzematge de dades?

Un magatzem de dades (DW) és un dipòsit de gran quantitat de dades organitzades. Aquestes dades es consoliden a partir d'una o diverses fonts de dades diferents. DW és una base de dades relacional dissenyada principalment per a la presentació d'informes analítics i la presa de decisions puntuals a les organitzacions.

Les dades amb aquest propòsit s’aïllen i s’optimitzen a partir de les dades de transaccions d’origen, cosa que no tindrà cap impacte en el negoci principal. Si una organització introdueix algun canvi empresarial, DW s'utilitza per examinar els efectes d'aquest canvi i, per tant, DW també s'utilitza per supervisar el procés de no presa de decisions.

El magatzem de dades és majoritàriament un sistema de només lectura, ja que les dades operatives estan molt separades de DW. Això proporciona un entorn per recuperar la major quantitat de dades amb una bona redacció de consultes.

Per tant, DW actuarà com a motor de backend per a les eines de Business Intelligence que mostren els informes, taulers de control per als usuaris empresarials. DW s’utilitza àmpliament en els sectors bancari, financer, minorista, etc.

Per què és crucial l’emmagatzematge de dades?

A continuació, es detallen alguns dels motius pels quals Data Warehouse és crucial.

1. El magatzem de dades recopila totes les dades operatives de diverses fonts heterogènies de 'diferents formats' i mitjançant el procés d'extracció, transformació i càrrega (ETL) carrega les dades a DW en un 'format dimensional estandarditzat' a través d'una organització.
2. El magatzem de dades manté 'dades actuals i dades històriques' per a la presentació d'informes analítics i la presa de decisions basades en fets.
3. Ajuda les organitzacions a prendre 'decisions més intel·ligents i ràpides' sobre la reducció de costos i augmentar els ingressos, comparant els informes trimestrals i anuals per millorar el seu rendiment.

Tipus d'aplicacions de Data Warehouse

Business Intelligence (BI) és una branca d’emmagatzematge de dades dissenyada per a la presa de decisions. Un cop carregades les dades del DW, BI té un paper important analitzant les dades i presentant-les als usuaris empresarials.

Pràcticament, el terme 'aplicacions de magatzem de dades' implica, en quants tipus diferents es poden processar i utilitzar les dades.

Disposem de tres tipus d’aplicacions DW, tal com s’esmenta a continuació.

1. Processament d'informació
2. Processament analític
3. Mineria de dades que serveix per al propòsit de BI

# 1) Processament de la informació

Es tracta d’una mena d’aplicació on el magatzem de dades permet un contacte directe amb les dades emmagatzemades.

Com que les dades es poden processar escrivint consultes directes sobre les dades (o) amb una anàlisi estadística bàsica sobre les dades i els resultats finals es comunicaran als usuaris empresarials en forma d'informes, taules, gràfics o gràfics.

DW admet les següents eines per al processament de la informació:

(i) Eines de consulta: L'empresa (o) l'analista executa les consultes mitjançant eines de consulta per explorar les dades i generar la sortida en forma d'informes o gràfics segons el requisit empresarial.

(ii) Eines d'informes: Si l’empresa vol veure els resultats en qualsevol format definit i de forma programada, és a dir, diàriament, setmanalment o mensualment, s’utilitzaran eines d’informació. Aquest tipus d'informes es poden desar i revisar en qualsevol moment.

(iii) Eines estadístiques: Si l'empresa vol fer una anàlisi sobre una visió àmplia de les dades, s'utilitzaran eines d'estadístiques per generar aquests resultats. Les empreses poden fer conclusions i prediccions comprenent aquests resultats estratègics.

# 2) Processament analític

Es tracta d’un tipus d’aplicació en què un magatzem de dades permet el processament analític de les dades emmagatzemades. Les dades es poden analitzar mitjançant les següents operacions: Slice-and-Dice, Drill Down, Roll Up i Pivoting.

(i) Làmines i daus : El magatzem de dades permet a les operacions de tallar i fer daus per analitzar les dades a les quals s’accedeix des de molts nivells amb una combinació de perspectives diferents. L'operació de tallar i fer daus utilitza internament el mecanisme de drill-down. El tallat funciona en dades dimensionals.

Com a part del requisit empresarial, si ens centrem en una sola àrea, el tallat analitza les dimensions d’aquesta àrea concreta segons els requisits i dóna els resultats. Treballs de tasat en operacions analítiques. El fet de tallar la mida fa un conjunt específic d’atributs en totes les dimensions per proporcionar perspectives diverses. Les dimensions es consideren a partir d’un o més talls consecutius.

(ii) Drill Down : Si l'empresa vol anar a un nivell més detallat de qualsevol número de resum, el detall és una operació per navegar cap avall fins a nivells detallats menors. Això dóna una idea fantàstica del que està passant i d’on s’ha d’enfocar el negoci més de prop.

Examineu les pistes des del nivell de jerarquia fins al nivell de detall menor per a l'anàlisi de la causa arrel. Això es pot entendre fàcilment amb un exemple, ja que es pot produir un detall de les vendes Nivell de país -> Nivell de regió -> Nivell estatal -> Nivell de districte -> Nivell de botiga.

(iii) Enrotllar : El roll up funciona oposat a l'operació de drill-down. Si l’empresa vol obtenir dades resumides, apareix el resum. Agrega les dades del nivell de detall movent-se cap amunt a la jerarquia dimensional.
Els paquets acumulatius s’utilitzen per analitzar el desenvolupament i el rendiment d’un sistema.

Això es pot entendre amb un Exemple com en un desplegament de vendes on es poden acumular els totals Nivell de ciutat -> A nivell estatal -> Nivell de regió -> Nivell de país .

(iv) Pivot : El pivotatge analitza les dades de dimensió girant les dades sobre els cubs. Per exemple, la dimensió de fila es pot canviar per la dimensió de columna i viceversa.

# 3) Mineria de dades

Es tracta d’una mena d’aplicació on el magatzem de dades permet descobrir coneixement de les dades i els resultats es representaran amb eines de visualització. En els dos tipus d’aplicacions anteriors, la informació pot ser dirigida pels usuaris.

Com que les dades són àmplies en diverses empreses, és difícil consultar i analitzar el magatzem de dades per obtenir totes les estadístiques possibles sobre les dades. A continuació, apareix la mineria de dades per aconseguir el descobriment del coneixement.

Això entra en les dades amb totes les associacions anteriors, resultats, etc. i prediu el futur. Per tant, es tracta de dades i no de l'usuari. Les dades es poden descobrir trobant patrons, associacions, classificacions i prediccions ocultes.

La mineria de dades aprofundeix amb les dades per predir el futur. Basant-se en les prediccions, també suggereix les accions a realitzar.

taula de hash de cadenat independent c ++

A continuació es detallen les diverses activitats de Data Mining:

• Patrons: La mineria de dades descobreix patrons que es produeixen a la base de dades. Els usuaris poden proporcionar les aportacions empresarials en què s’espera un cert coneixement dels patrons per a la presa de decisions.
• Associacions / Relacions: La mineria de dades descobreix relacions entre els objectes amb la freqüència de les seves regles d'associació. Aquesta relació pot estar entre dos o més objectes (o) pot descobrir les regles de les propietats del mateix objecte.
• Classificació: La mineria de dades organitza les dades en un conjunt de classes predefinides. Per tant, si es recull algun objecte de les dades, la classificació associa l’etiqueta de classe respectiva a aquest objecte.
• Predicció: La mineria de dades compara un conjunt de valors existents per trobar els millors valors / tendències futurs possibles en el negoci.

Per tant, sobre la base de tots els resultats anteriors, la mineria de dades també proposa un conjunt d’accions a realitzar.

Característiques d'un magatzem de dades

Es crea un magatzem de dades basat en les següents característiques de dades com a variant orientada al tema, integrada, no volàtil i temporal.

# 1) Orientació al tema: Podem definir un magatzem de dades tan orientat al tema, ja que podem analitzar les dades respecte a una àrea temàtica específica en lloc d’aplicar dades intel·ligents. Això proporciona resultats més definits per facilitar la presa de decisions. Pel que fa a un sistema educatiu, les àrees temàtiques podrien ser estudiants, assignatures, notes, professors, etc.

# 2) Integrat: Les dades del magatzem de dades s’integren a partir de fonts diferents, com ara altres bases de dades relacionals, fitxers plans, etc. Una quantitat tan gran de dades s’obté per a una anàlisi eficaç de les dades. Però pot haver-hi conflictes de dades, ja que les diferents fonts de dades poden estar en formats diferents. El magatzem de dades aporta totes aquestes dades en un format coherent a tot el sistema.

# 3) No volàtil: Un cop carregades les dades al magatzem de dades, no es poden canviar. Lògicament, això és acceptable, ja que el canvi freqüent de dades no us permetrà analitzar-les. Els canvis freqüents a la base de dades operativa es poden carregar en un magatzem de dades de forma programada, durant aquest procés s’afegeixen noves dades, però les dades anteriors no s’esborren i queden com a dades històriques.

convertidor de youtube a mp4 gratuït per a mac

# 4) Variant de temps: Totes les dades històriques junt amb les dades recents del magatzem de dades tenen un paper crucial per recuperar dades de qualsevol durada. Si l’empresa vol obtenir informes, gràfics, etc. per comparar-los amb els anys anteriors i analitzar les tendències, es requereixen totes les dades antigues de 6 mesos, 1 any o fins i tot antigues, etc.

Avantatges d’un magatzem de dades

Quan un sistema de magatzem de dades és productiu, una organització obté els següents avantatges en utilitzar-lo:

1. Intel·ligència empresarial millorada
2. Augment del rendiment del sistema i de les consultes
3. Intel·ligència empresarial a partir de diverses fonts
4. Accés puntual a les dades
5. Millora de la qualitat i la coherència de les dades
6. Intel·ligència històrica
7. Alt rendiment de la inversió

# 1) Intel·ligència empresarial millorada: Els primers dies, quan no hi havia Data Warehousing i Business Intelligence, els usuaris i analistes empresarials solien prendre les decisions amb una quantitat limitada de dades i amb el seu propi sentiment.

DW i BI han aportat un canvi donant informació amb fets reals i amb les dades organitzatives reals que es recopilen durant un període de temps. Els usuaris empresarials poden consultar directament qualsevol de les dades dels processos empresarials, com ara màrqueting, finances, vendes, etc., en funció de les seves necessitats de presa de decisions estratègiques i decisions empresarials intel·ligents.

# 2) Augment del rendiment del sistema i de la consulta: L’emmagatzematge de dades recull informació voluminosa de sistemes heterogenis i la col·loca en un mateix sistema de manera que es pot utilitzar un sol motor de consulta per a la recuperació ràpida de dades.

# 3) Intel·ligència empresarial de diverses fonts: Sabeu com funciona la intel·ligència empresarial generalment sobre les dades? Absorbeix les dades de múltiples sistemes, subsistemes, plataformes i fonts de dades per treballar en un projecte. Tot i això, Data warehouse resol aquest problema per a la BI, mitjançant la consolidació de totes les dades del projecte sense duplicats.

# 4) Accés puntual a les dades: Els usuaris empresarials es beneficiaran en dedicar menys temps a la recuperació de dades. Tenen algunes eines a mà, amb les quals poden consultar les dades amb un mínim coneixement tècnic i generar els informes. Això fa que els usuaris empresarials dediquin prou temps a l'anàlisi de dades en lloc de recopilar dades.

# 5) Qualitat i consistència millorades de les dades: L’emmagatzematge de dades transforma les dades amb formats de sistemes d’origen diferents en un sol format. Per tant, potser les mateixes unitats de negoci que proporcionen les dades al magatzem de dades poden reutilitzar el dipòsit DW per als seus informes i consultes empresarials.

Per tant, des del punt de vista de l'organització, totes les unitats de negoci es mantindran amb resultats / informes consistents. Per tant, aquesta bona qualitat i dades consistents ajuden a desenvolupar un negoci amb èxit.

# 6) Intel·ligència històrica: El magatzem de dades manté totes les dades històriques que cap sistema transaccional no manté. Aquesta gran quantitat de dades s’utilitza per analitzar les dades durant un temps específic i per informar-ne i analitzar les tendències per predir el futur.

# 7) Alt rendiment de la inversió (ROI): Qualsevol persona inicia un negoci esperant un bon rendiment de les inversions, en termes de beneficis més grans i despeses menors. Al món de les dades reals, molts estudis han demostrat que la implementació de sistemes de magatzem de dades i Business Intelligence generava ingressos elevats i estalviava el cost.

A hores d’ara hauríeu de ser capaços d’entendre com un sistema DW ben dissenyat aporta avantatges al vostre negoci.

Desavantatges de l'emmagatzematge de dades

Tot i que és un sistema molt reeixit, és bo conèixer algunes de les trampes del sistema:

• La creació d’un magatzem de dades és sens dubte un procés complex i que requereix molt de temps.
• El cost de manteniment és elevat, ja que el sistema necessita actualitzacions contínues. També pot augmentar si no s’utilitza correctament.
• S'hauria de donar una formació adequada als desenvolupadors, provadors i usuaris per entendre el sistema DW i implementar-lo tècnicament.
• És possible que hi hagi dades sensibles que no es puguin carregar a DW per prendre decisions.
• La reestructuració de qualsevol procés de negoci (o) sistemes font té un efecte important sobre DW.

Conclusió

Esperem que aquest tutorial introductori proporcioni una informació bàsica sobre l’emmagatzematge de dades. Vam examinar en profunditat tots els conceptes fonamentals de Data Warehousing.

Hem après la definició, els tipus, les característiques, els avantatges i els inconvenients de l’emmagatzematge de dades en aquest tutorial complet.

=> Llegiu la sèrie de formació sobre emmagatzematge de dades fàcils.

Lectura recomanada

• Exemples de mineria de dades: aplicacions més habituals de mineria de dades 2021
• Com funcionen les proves impulsades per dades (exemples de QTP i seleni)
• Mineria de dades: procés, tècniques i grans qüestions en l’anàlisi de dades
• Tutorial de proves de magatzem de dades de proves ETL (una guia completa)
• Millor sèrie de tutorials C # GRATU :TS: la millor guia C # per a principiants
• Tutorial de xarxes informàtiques: la guia definitiva
• Tutorial QTP # 18: marcs basats en dades i híbrids explicats amb exemples de QTP
• 10+ millors eines de recopilació de dades amb estratègies de recopilació de dades