oracle data warehouse
Vodič za skladište podataka Oracle s prednostima, arhitekturom, rizicima i usporedbom sa sustavom OLTP (mrežna obrada transakcija):
U prethodnom tutorialu od Sveobuhvatan vodič za Oracle , saznali smo o Oracleovim proizvodima i uslugama u raznim domenama poput aplikacija, baza podataka, OS-a itd. Ovaj će članak pružiti detaljno znanje o Oracle skladištenju podataka. Ali prije toga prvo shvatimo koncept poslovne inteligencije (BI).
Poslovna inteligencija
Poslovna inteligencija je softverska domena koja utjelovljuje određene metode, tehnologije, alate i aplikacije koja pomažu u strukturiranju, pročišćavanju i pretvaranju skupnih podataka u inteligentan i razumljiv format koji kupci mogu koristiti za generiranje prilagođenih izvješća, a pomaže i u poslovanju odluke.
Dostupne su različite mogućnosti za zadovoljavanje ove potrebe, poput skladištenja podataka, OLAP (mrežna obrada transakcija), rudarenje podataka, integracija podataka, inženjering odluka, proračunske tablice itd.
Skladištenje podataka o poduzeću (EDW) jedna je od temeljnih komponenti BI-a koja služi analitičkim potrebama i potrebama izvješćivanja poduzeća. Skladište podataka relacijski je sustav za upravljanje bazama podataka (RDBMS) koji sadrži objedinjene podatke primljene iz više izvora za kasniju upotrebu.
kako otvoriti bin datoteku Windows 10
Što ćete naučiti:
- Pregled skladišta podataka Oracle
- Usporedba OLTP-a protiv skladišta podataka
- Suprotno skladište podataka i podaci Mart
- Pregled ETL postupka
- Arhitektura skladišta podataka
- Zaključak
Pregled skladišta podataka Oracle
Zašto se naziva 'Skladište podataka'?
Pokušajmo se prisjetiti značenja riječi „skladište“ kako bismo se povezali s pojmom „Skladište podataka“.
Fizičko skladište je spremište koje se koristi za skladištenje robe primljene iz različitih izvora, a koja se kasnije može isporučiti kupcu na temelju njegovih potreba.
(slika izvor )
Slično tome, skladište podataka je spremište podataka primljenih iz različitih izvornih sustava. Ti izvori mogu biti bilo koji sustavi za pohranu poput podataka, ravne datoteke ili bilo koji uređaji za pohranu medija koji sadrže podatke za različite poslovne domene poput HR-a, prodaje, poslovanja, upravljanja resursima i marketinga itd.
Svrha posjedovanja skladišta podataka
Poduzeće je možda čulo za koncept skladišta podataka, ali mogu biti nesigurni trebaju li ga uključiti u svoje poduzeće. Ipak, uvijek bi bilo potrebno izbaciti podatke iz različitih izvora na zajedničko tlo i arhivirati ih tako da se prostor za pohranu može osloboditi iz transakcijskih sustava. Tu sustav skladištenja podataka postaje poslovni zahtjev.
Da bi mogao rasti na tržištu, menadžment bi trebao biti dobar u donošenju odluka, što se može donijeti tek nakon temeljitog proučavanja prošlih trendova organizacije. Stoga se ovi arhivirani podaci čuvaju u skladištu podataka u dobro organiziranom i proračunatom formatu, tako da se u budućnosti mogu uputiti na poslovnu analizu.
Prednosti skladištenja podataka
Skladište podataka ako se uspješno implementira moglo bi biti korisno na sljedeće načine:
# 1) Pojednostavio je poslove analitičara isporukom poboljšane verzije rješenja za poslovnu inteligenciju. Izvlači podatke iz više izvornih sustava, transformira ih i pohranjuje, a koje poduzeće može izravno zatražiti za analizu.
Također nudi razne alate koji podržavaju sljedeće:
- Generiranje prilagođenih poslovnih izvještaja.
- Interaktivne nadzorne ploče koje prikazuju potrebne informacije.
- Mogućnost analiziranja kroz nadzorne ploče samo da biste saznali detalje.
- Vađenje podataka i analiza trendova.
#dva) Čak i nakon primanja podataka iz različitih izvornih sustava, podaci unutar skladišta podataka ostaju dosljedni kao rezultat transformacija koje su se dogodile tijekom ETL procesa. Konzistentni podaci daju povjerenje donositelju odluke u pogledu točnosti.
# 3) Skladišta podataka također su definirana kao ušteda vremena jer su kritični podaci potrebni dionicima za donošenje poslovnih odluka dostupni na jednom mjestu i mogu se lako doći.
# 4) Oni su dizajnirani za čuvanje povijesnih podataka i stoga se mogu pitati za proučavanje trendova tijekom različitih vremenskih razdoblja. Također pomaže dionicima da izvuku budući put rasta.
Rizici povezani s korištenjem skladišta podataka
Zajedno s prednostima, svaka nova provedba uključuje i niz rizika o kojima treba voditi računa.
U nastavku su navedeni neki od povezanih rizika:
- Nekompatibilnost izvornih sustava sa sustavom skladištenja podataka može na kraju raditi puno ručnog rada.
- Pogrešna procjena vremena ETL postupka može dovesti do prekida rada.
- To su vrlo vrhunski sustavi za pohranu i stoga im je potrebno veliko održavanje. Bilo koji tijek posla ili poslovne promjene mogu koštati vrlo visoko.
- Postavljanje skladišta podataka zahtijeva puno vremena, jer mu treba puno vremena za razumijevanje poslovnih tokova i prepoznavanje integracijskih mogućnosti za dizajn skladišta.
- Sigurnost podataka ovdje je uvijek rizik jer sadrži vjekovne povijesne podatke koji ako procure mogu utjecati na poslovanje.
Usporedba OLTP-a protiv skladišta podataka
Razlike između OLTP-a i skladišta podataka mogu se razumjeti iz donje tablice.
| OLTP | Skladištenje podataka |
|---|---|
| Umetanje i ažuriranja glavne su operacije koje krajnji korisnici izvode na OLTP sustavima. | Skladišta podataka uglavnom se pitaju pomoću izjave SELECT i mogu se ažurirati samo pomoću ETL usluga. |
| OLTP sustavi podržavaju poslovne transakcije. | Skladište podataka podržava poslovne odluke donesene nakon analize izvršenih poslovnih transakcija. |
| Podaci ostaju nestabilni, tj. Stalno se mijenjaju | Podaci se ne bi trebali mijenjati. |
| Sadrže najnovije podatke. | Oni sadrže povijesne podatke. |
| Sadrži neobrađene podatke bez ikakvih izračuna. | Sadrži sažete i dobro proračunate podatke. |
| Podaci će se normalizirati. | Podaci će ostati denormalizirani. |
| Veličina Oracle baze podataka može varirati od 50 MB do 100 GB. | Veličina Oracle baze podataka može varirati od 100 GB do 2 TB. |
Suprotno skladište podataka i podaci Mart
Data Warehouse i DataMart, nisu li pojmovi slični i čine se povezanima s pohranom podataka.
Da, povezani su i oboje se koriste za pohranu podataka. Glavna razlika između njih obje je sposobnost držanja podataka i ta razlika pomaže krajnjim korisnicima da odaberu pravu jedinicu za pohranu za svoje sustave.
Data Mart ima manje kapaciteta za čuvanje podataka u usporedbi sa skladištem podataka, pa se stoga može smatrati njegovim podskupom. Marke podataka obično se identificiraju za pohranu ograničenih podataka koji bi mogli pripadati određenom odjelu ili djelatnosti, dok se skladišta podataka mogu koristiti za čuvanje objedinjenih podataka za sve.
Uzmimo primjer web stranice e-trgovine koja ima razne kategorije za robu poput mode, modnih dodataka, predmeta za kućanstvo, knjiga i školskog pribora, elektroničkih uređaja itd.
Dakle, Data Marts mogu biti dizajnirani za pametno pohranjivanje kategorija podataka proizvoda, dok se skladišta podataka mogu koristiti za pohranu kompletnih podataka web stranica, uključujući povijest, na jednom mjestu.
Data martovi su manje veličine, mogu se stvoriti mnogo brže bez puno analize koliko je potrebno za projektiranje skladišta podataka. Međutim, potreban je veliki napor da bi se nekoliko podataka usklađivalo kako bi se održala dosljednost podataka.
Pregled ETL postupka
ETL (ekstrakcija, transformacija i učitavanje) postupak je izdvajanja podataka iz različitih izvornih sustava, pretvaranja i učitavanja u sustav skladišta podataka. To je složen proces koji treba komunicirati s raznim izvornim sustavima za izdvajanje podataka, a time je i tehnički zahtjevan.
Za transformaciju je ponovno potrebno puno analize kako bi se razumio format izvornih sustava i doveli podaci u zajednički format kako bi se isti podaci mogli pohraniti u skladište podataka.
ETL postupak je ponavljajući posao koji se može izvoditi svakodnevno, tjedno ili čak mjesečno, ovisno o poslovnim zahtjevima.
Arhitektura skladišta podataka
Razumijemo arhitekturu skladišta podataka koje je uglavnom dizajnirano za pohranu pročišćenih podataka za unaprijed definirane poslovne zahtjeve. Arhitektura se sastoji od 5 komponenata s protokom podataka od vrha do dna.
Sastavnice su kako slijedi:
- Izvori podataka
- Postavljanje podataka
- Skladište podataka (pohrana podataka)
- Data March (pohrana podataka)
- Prezentacija podataka
alati za pregled otvorenog koda git
Razumijemo sve faze navedene jednu po jednu.
# 1) Izvori podataka
Postoje različiti izvorni sustavi koji djeluju kao ulaz u sustave skladišta podataka.
Ti izvorni sustavi mogu biti:
- Relacijske baze podataka poput Oracle, DB2, MySQL, MS Access itd. Koje se mogu koristiti za bilježenje dnevnih transakcija bilo koje organizacije. Te svakodnevne poslovne transakcije mogu biti povezane s ERP-om, CRM-om, prodajom, financijama i marketingom itd.
- Ravne datoteke
- Web usluge
- RSS izvori i slični izvori.
# 2) Postavljanje podataka
Jednom kada izvori podataka budu postavljeni, sljedeći bi korak bio izvlačenje tih podataka iz izvornih sustava u područje spremišta skladišta.
Budući da su podaci preuzimani iz različitih sustava koji slijede različite formate pohrane, potrebno je restrukturirati podatke tako da ih se dovede u zajednički format. Stoga se transformacija podataka odvija kao sljedeći korak.
Tijekom transformacije događa se čišćenje podataka koje uključuje primjenu poslovnih pravila, filtriranje podataka, uklanjanje suvišnosti, oblikovanje podataka, sortiranje podataka itd.
# 3) Skladište podataka (pohrana podataka)
Nakon što se podaci izvuku i transformiraju, učitat će se u višedimenzionalno okruženje, tj. Skladište podataka. Sada ove obrađene podatke krajnji korisnici mogu koristiti za analizu i u druge svrhe.
# 4) Oznake podataka (pohrana podataka)
Kao što je gore spomenuto, da su podaci sada spremni za upotrebu od strane krajnjih korisnika, postoji neobavezni postupak izrade Data Marts-a kao sljedeći korak. Te se podatkovne oznake mogu koristiti za pohranu sažetih podataka određenog odjela ili djelatnosti za namjensku upotrebu.
Na primjer, zasebne oznake podataka mogu se dodati za odjele poput prodaje, financija i marketinga itd. kao sljedeći korak koji će sadržavati određene podatke i omogućava analitičaru da izvrši detaljne upite za poslovne potrebe. Također onemogućava svakom drugom krajnjem korisniku pristup cjelovitom skladištu i time čini podatke sigurnima.
# 5) Alati za pristup podacima (prezentacija podataka)
Postoji niz unaprijed definiranih alata za poslovnu inteligenciju koje korisnici mogu koristiti za pristup skladištima podataka ili martovima podataka. Ovi su front-end alati dizajnirani na izuzetno jednostavan način pružajući korisnicima razne mogućnosti za pristup podacima.
Opcije su navedene u nastavku:
- Primjenom upita na Oracle ili bilo koje druge baze podataka izravno kroz SQL.
- Generiranje izvještaja.
- Razvoj aplikacije.
- Korištenje alata za rudarenje podataka itd.
Nekoliko popularnih skladišnih alata dostupnih na tržištu su:
- Analytix DS
- Amazon Redshift
- Ab Initio softver
- Code Futures
- Holističko upravljanje podacima
- Korporacija za informatiku
Skladištenje podataka u oblaku
Svijet je pretjerano prepoznao skladišta podataka. Sljedeće pitanje koje se nameće: Koristimo li optimizirani pristup za postavljanje podatkovnih skladišta?
Tada je uvedeno Cloud Data Warehousing, koje prevladava u Enterprise Data Warehousing (EDW). Koncept skladišta podataka temeljenih na oblaku ponudio je razne prednosti.
To su kako slijedi:
(i) Skalabilnost: Podaci na oblačnim sustavima lako se skaliraju gore i dolje bez muke, dok troše puno vremena i resursa za skaliranje na tradicionalnim skladištima podataka.
(ii) Ušteda troškova: Skladišta podataka zasnovana na oblaku značajno su promijenila ulaganje potrebno za postavljanje skladišta. Smanjili su glavnu količinu unaprijed uklanjanjem troškova
-
- Održavanje hardverskih / poslužiteljskih soba.
- Osoblje potrebno za održavanje.
- Ostali operativni troškovi.
(iii) Izvedba: Izvedba je još jedan faktor koji je omogućio sustavima koji se temelje na oblaku da dominiraju nad tradicionalnim. Ako se posao proširi globalno, a podacima treba pristupiti iz raznih dijelova svijeta bržim preokretom, najbolje je koristiti skladišta u oblaku.
kako instalirati eclipse c ++
Masivno paralelna obrada (MPP) jedna je od metoda suradničke obrade koju skladišta koriste za postizanje iste.
(iv) Povezivost: Kao što je gore spomenuto, ako treba pristupiti podacima s više geografskih mjesta, korisnici trebaju izvrsnu povezanost s tim skladištima, a skladište temeljeno na oblaku nudi isto.
Zaključak
Nadamo se da ste svi stekli poštenu predodžbu o sustavu skladištenja podataka Oracle nakon što ste pročitali gornji članak. Javite nam trebate li uvid u određenu temu oko skladištenja podataka kako bismo to mogli prikriti u nadolazećim vodičima.
Preporučena literatura
- Što je jezero podataka | Skladište podataka vs Data Lake
- Vodič za ispitivanje skladišta podataka sa primjerima | Vodič za ispitivanje ETL-a
- 10 najpopularnijih alata za skladište podataka i tehnologija za testiranje
- Dimenzionalni model podataka u skladištu podataka - Vodič s primjerima
- Metapodaci u skladištu podataka (ETL) objašnjeni primjerima
- Vodič za ispitivanje skladišta podataka ETL-a (cjelovit vodič)
- Vrste shema u modeliranju skladišta podataka - shema Star & SnowFlake
- Što je ETL (ekstrakt, transformacija, učitavanje) postupak u skladištu podataka?