Meni

Proces rudarenja podataka: uključeni modeli, koraci i izazovi

  • Glavni
  • Ostalo
  • Proces rudarenja podataka: uključeni modeli, koraci i izazovi

data mining process models

Isprobajte Naš Instrument Za Uklanjanje Problema

Ova lekcija o procesu rudarenja podataka obuhvaća modele, korake i izazove rudarstva podataka koji su uključeni u postupak vađenja podataka:

Tehnike rudarenja podataka su detaljno objašnjeni u našem prethodnom vodiču u ovome Završite obuku rudarenja podataka za sve . Data Mining je perspektivno područje u svijetu znanosti i tehnologije.

Rudarstvo podataka, koje je poznato i kao Otkrivanje znanja u bazama podataka, postupak je otkrivanja korisnih informacija iz velikih količina podataka pohranjenih u bazama podataka i skladištima podataka. Ova se analiza radi za procese donošenja odluka u poduzećima.

Iskopavanje podataka vrši se pomoću različitih tehnika kao što su klasterizacija, pridruživanje i sekvencijalna analiza uzoraka i stablo odlučivanja.

Proces rudarenja podataka

Što ćete naučiti:

Što je rudarenje podataka?

Data Mining je postupak otkrivanja zanimljivih obrazaca i znanja iz velike količine podataka. Izvori podataka mogu obuhvaćati baze podataka, skladišta podataka, web i druga spremišta podataka ili podatke koji se dinamički ulijevaju u sustav.

Zašto poduzećima treba izdvajanje podataka?

Pojavom velikih podataka, rudarenje podataka postalo je sve zastupljenije. Veliki podaci izuzetno su veliki skupovi podataka koje računala mogu analizirati kako bi otkrili određene obrasce, asocijacije i trendove koje ljudi mogu razumjeti. Veliki podaci sadrže opsežne informacije o različitim vrstama i raznolikom sadržaju.

Stoga s ovom količinom podataka jednostavne statistike s ručnom intervencijom ne bi funkcionirale. Ovu potrebu ispunjava postupak rudarenja podataka. To dovodi do promjene od jednostavne statistike podataka do složene algoritme rudarenja podataka.

Proces rudarenja podataka izvući će relevantne informacije iz sirovih podataka kao što su transakcije, fotografije, videozapisi, ravne datoteke i automatski obrađivati ​​informacije kako bi se generirala izvješća korisna za poduzeća da poduzmu mjere.

Stoga je postupak rudarenja podataka presudan za tvrtke da donose bolje odluke otkrivanjem obrazaca i trendova u podacima, sažimanjem podataka i iznošenjem relevantnih informacija.

Izdvajanje podataka kao proces

Bilo koji poslovni problem ispitat će neobrađene podatke kako bi se stvorio model koji će opisati informacije i iznijeti izvješća koja će poduzeće koristiti. Izgradnja modela iz izvora podataka i formata podataka je iterativni postupak jer su neobrađeni podaci dostupni u mnogo različitih izvora i u mnogim oblicima.

Podaci se povećavaju iz dana u dan, stoga kad se pronađe novi izvor podataka, to može promijeniti rezultate.

Ispod je pregled procesa.

Kratki opis postupka rudarenja podataka

(slika izvor )

Modeli rudarenja podataka

Mnoge industrije poput proizvodnje, marketinga, kemijske i zrakoplovne industrije koriste prednosti rudarenja podataka. Stoga se drastično povećava potražnja za standardnim i pouzdanim procesima rudarenja podataka.

Važni modeli rudarenja podacima uključuju:

# 1) Međuindustrijski standardni postupak za rudarenje podataka (CRISP-DM)

CRISP-DM pouzdan je model rudarenja podataka koji se sastoji od šest faza. To je ciklički postupak koji pruža strukturirani pristup procesu rudarenja podataka. Šest faza može se implementirati u bilo kojem redoslijedu, ali ponekad će biti potrebno vraćanje na prethodne korake i ponavljanje radnji.

top c ++ pitanja za intervju

Šest faza CRISP-DM uključuje:

# 1) Poslovno razumijevanje: U ovom se koraku postavljaju ciljevi poduzeća i otkrivaju važni čimbenici koji će pomoći u postizanju cilja.

# 2) Razumijevanje podataka: Ovaj će korak prikupiti cijele podatke i popuniti ih u alat (ako koristite bilo koji alat). Podaci su navedeni s izvorom podataka, mjestom, načinom prikupljanja i problemima. Podaci se vizualiziraju i traže kako bi se provjerila njihova potpunost.

# 3) Priprema podataka: Ovaj korak uključuje odabir odgovarajućih podataka, čišćenje, konstrukciju atributa iz podataka, integriranje podataka iz više baza podataka.

# 4) Modeliranje: U ovom se koraku vrši odabir tehnike rukovanja podacima, kao što je stablo odluka, generiranje testa za ocjenu odabranog modela, izrada modela iz skupa podataka i procjena izgrađenog modela sa stručnjacima za raspravu o rezultatu.

# 5) Procjena: Ovaj će korak odrediti stupanj u kojem dobiveni model udovoljava poslovnim zahtjevima. Evaluacija se može izvršiti testiranjem modela na stvarnim aplikacijama. Model se pregledava radi pogrešaka ili koraka koje treba ponoviti.

# 6) Implementacija: U ovom se koraku izrađuje plan implementacije, formira se strategija praćenja i održavanja rezultata modela rudarenja podataka kako bi se provjerila njegova korisnost, izrađuju se konačna izvješća i vrši se pregled cijelog postupka kako bi se provjerila bilo kakva pogreška i vidjelo da li se bilo koji korak ponavlja .

CRISP - DM model

(slika izvor )

# 2) SEMMA (uzorak, istraživanje, izmjena, model, procjena)

SEMMA je još jedna metodologija za istraživanje podataka koju je razvio SAS Institut. Skraćenica SEMMA znači uzorak, istraživanje, modifikacija, modeliranje, procjena.

SEMMA olakšava primjenu istraživačkih statističkih i vizualizacijskih tehnika, odabir i transformaciju značajnih predviđenih varijabli, izradu modela pomoću varijabli kako bi se dobilo s rezultatom i provjeru njegove točnosti. SEMMA se također pokreće vrlo iterativnim ciklusom.

SEMMA

Koraci u SEMMA-i

  1. Uzorak: U ovom se koraku izvlači veliki skup podataka i vadi uzorak koji predstavlja cjelovite podatke. Uzorkovanje će smanjiti računske troškove i vrijeme obrade.
  2. Istražiti: Podaci se istražuju za bilo kakve izvanredne podatke i anomalije radi boljeg razumijevanja podataka. Podaci se vizualno provjeravaju kako bi se utvrdili trendovi i grupiranja.
  3. Izmijeni: U ovom se koraku manipulacija podacima kao što je grupiranje i podskupina vrši zadržavanjem u fokusu modela koji će se graditi.
  4. Model: Na temelju istraživanja i modifikacija grade se modeli koji objašnjavaju obrasce u podacima.
  5. Procijenite: U ovom se koraku procjenjuje korisnost i pouzdanost konstruiranog modela. Ovdje se vrši testiranje modela na stvarnim podacima.

I SEMMA i CRISP pristup rade za Proces otkrivanja znanja. Jednom kad se modeli izgrade, oni se raspoređuju za tvrtke i istraživački rad.

Koraci u procesu rudarenja podataka

Proces rudarenja podataka podijeljen je u dva dijela, tj. Obrada podataka i rudarenje podacima. Predobrada podataka uključuje čišćenje podataka, integraciju podataka, smanjenje podataka i transformaciju podataka. Dio za rudarenje podataka vrši rudarenje podataka, procjenu uzoraka i predstavljanje podataka.

Proces rudarenja podataka - koraci

Razni koraci u procesu rudarenja podataka

(slika izvor )

Zašto podatke obrađujemo unaprijed?

Mnogo je čimbenika koji određuju korisnost podataka kao što su točnost, cjelovitost, dosljednost, pravodobnost. Podaci moraju biti kvalitetni ako zadovoljavaju namjeravanu svrhu. Stoga je predobrada presudna u procesu rudarenja podataka. Glavni koraci koji su uključeni u pretpreradu podataka objašnjeni su u nastavku.

# 1) Čišćenje podataka

Čišćenje podataka prvi je korak u pretraživanju podataka. Važno je jer prljavi podaci ako se koriste izravno u rudarstvu mogu dovesti do zabune u postupcima i do netočnih rezultata.

U osnovi, ovaj korak uključuje uklanjanje bučnih ili nepotpunih podataka iz zbirke. Dostupne su mnoge metode koje općenito čiste podatke same po sebi, ali nisu robusne.

Ovaj korak obavlja rutinske poslove čišćenja:

(i) Ispunite podatke koji nedostaju:

Podaci koji se nedostaju mogu se popuniti metodama kao što su:

  • Ne obazirući se na korpicu.
  • Ručno popunjavanje vrijednosti koja nedostaje.
  • Upotrijebite mjeru središnje tendencije, medijan ili
  • Ispunjavanje najvjerojatnije vrijednosti.

(ii) Uklonite bučne podatke: Slučajna pogreška naziva se bučni podaci.

koji će program otvoriti eps datoteku

Metode uklanjanja buke su:

Binning: Metode spajanja primjenjuju se sortiranjem vrijednosti u kante ili kante. Zaglađivanje se izvodi konzultiranjem susjednih vrijednosti.

Binning se vrši zaglađivanjem bin tj. Svaka kanta se zamjenjuje sredinom kante. Zaglađivanje medijanom, pri čemu se svaka vrijednost bina zamjenjuje medijanom bina. Izravnavanje granicama spremnika, tj. Minimalne i maksimalne vrijednosti u spremniku su granice spremnika i svaka vrijednost spremnika zamjenjuje se najbližom vrijednošću granice.

  • Utvrđivanje krajnjih vrijednosti
  • Rješavanje nedosljednosti

# 2) Integracija podataka

Kada se za analizu kombiniraju višestruki heterogeni izvori podataka, kao što su baze podataka, kocke podataka ili datoteke, taj se postupak naziva integracija podataka. To može pomoći u poboljšanju točnosti i brzine postupka rudarenja podacima.

Različite baze podataka imaju različite konvencije imenovanja varijabli, uzrokujući viškove u bazama podataka. Dodatno čišćenje podataka može se izvršiti za uklanjanje suvišnosti i nedosljednosti iz integracije podataka, a da to ne utječe na pouzdanost podataka.

Integracija podataka može se izvesti pomoću alata za migraciju podataka kao što su Oracle Data Service Integrator i Microsoft SQL itd.

# 3) Smanjenje podataka

Ova se tehnika primjenjuje za dobivanje relevantnih podataka za analizu iz zbirke podataka. Veličina prikaza je znatno manja u volumenu uz održavanje integriteta. Smanjenje podataka izvodi se metodama kao što su Naive Bayes, Stabla odlučivanja, Neuronska mreža itd.

Neke strategije smanjenja podataka su:

  • Smanjenje dimenzija: Smanjivanje broja atributa u skupu podataka.
  • Smanjenje brojnosti: Zamjena izvornog volumena podataka manjim oblicima predstavljanja podataka.
  • Sažimanje podataka: Komprimirani prikaz izvornih podataka.

# 4) Transformacija podataka

U ovom se procesu podaci transformiraju u oblik prikladan za proces rudarenja podataka. Podaci se objedinjuju tako da je postupak rudarstva učinkovitiji i obrasci su lakši za razumijevanje. Transformacija podataka uključuje proces mapiranja podataka i generiranja koda.

Strategije za transformaciju podataka su:

  • Zaglađivanje: Uklanjanje šuma iz podataka upotrebom klastera, tehnika regresije itd.
  • Zbirka: Sumarne operacije primjenjuju se na podatke.
  • Normalizacija: Skaliranje podataka spada u manji raspon.
  • Diskretizacija: Sirove vrijednosti numeričkih podataka zamjenjuju se intervalima. Na primjer, Dob.

# 5) Rudarstvo podataka

Data Mining je postupak za identificiranje zanimljivih obrazaca i znanja iz velike količine podataka. U ovim se koracima primjenjuju inteligentni obrasci za izdvajanje uzoraka podataka. Podaci su predstavljeni u obliku uzoraka, a modeli su strukturirani pomoću tehnika klasifikacije i klasterizacije.

# 6) Procjena uzorka

Ovaj korak uključuje prepoznavanje zanimljivih obrazaca koji predstavljaju znanje na temelju mjera zanimljivosti. Metode sažimanja i vizualizacije podataka koriste se kako bi podaci bili razumljivi korisnicima.

pokrenut .jar datoteke Windows 10

# 7) Predstavljanje znanja

Predstavljanje znanja korak je u kojem se za predstavljanje miniranih podataka koriste alati za vizualizaciju podataka i predstavljanje znanja. Podaci se vizualiziraju u obliku izvještaja, tablica itd.

Proces rudarenja podataka u Oracle DBMS-u

RDBMS predstavlja podatke u obliku tablica s retcima i stupcima. Podacima se može pristupiti pisanjem upita baze podataka.

Relacijski sustavi za upravljanje bazama podataka, kao što je Oracle, podržavaju rudarenje podataka pomoću CRISP-DM. Oprema baze podataka Oracle korisna je u pripremi i razumijevanju podataka. Oracle podržava rudarenje podataka putem java sučelja, PL / SQL sučelja, automatiziranog rudarenja podacima, SQL funkcija i grafičkih korisničkih sučelja.

Proces rudarenja podataka u Datawarehouseu

Skladište podataka modelirano je za višedimenzionalnu strukturu podataka koja se naziva podatkovna kocka. Svaka ćelija u kocki podataka pohranjuje vrijednost nekih agregatnih mjera.

Iskopavanje podataka u višedimenzionalnom prostoru izvedeno u OLAP stilu (mrežna analitička obrada) gdje omogućuje istraživanje više kombinacija dimenzija na različitim razinama granulacije.

Koje su primjene izdvajanja podataka?

Popis područja u kojima se rudarenje podataka široko koristi uključuje:

# 1) Analiza financijskih podataka: Data Mining se široko koristi u bankarstvu, investicijama, kreditnim uslugama, hipoteci, automobilskim zajmovima i uslugama osiguranja i ulaganja u dionice. Podaci prikupljeni iz ovih izvora potpuni su, pouzdani i visokokvalitetni. To olakšava sustavnu analizu podataka i rudarenje podacima.

# 2) Maloprodajna i telekomunikacijska industrija: Maloprodajni sektor prikuplja ogromne količine podataka o prodaji, povijesti kupovine kupaca, prijevozu robe, potrošnji i uslugama. Maloprodaja podataka pomaže identificirati ponašanje kupaca pri kupnji, obrasce i trendove kupca, poboljšati kvalitetu korisničke usluge, bolje zadržavanje kupaca i zadovoljstvo.

# 3) Znanost i inženjerstvo: Računalne znanosti i inženjerstvo rudarstva podataka mogu pomoći u praćenju statusa sustava, poboljšanju performansi sustava, izoliranju programskih pogrešaka, otkrivanju softverskog plagijarizma i prepoznavanju kvara sustava.

# 4) Otkrivanje i sprječavanje upada: Upad je definiran kao bilo koji skup radnji koji ugrožavaju integritet, povjerljivost ili dostupnost mrežnih resursa. Metode rudarenja podataka mogu pomoći sustavu za otkrivanje i sprječavanje upada da poboljša njegove performanse.

# 5) Sustavi koji preporučuju: Sustavi preporučivača pomažu potrošačima davanjem preporuka za proizvode koje zanimaju korisnike.

Izazovi u rudarstvu podataka

U nastavku su navedeni razni izazovi koji su uključeni u Data Mining.

  1. Data Mining trebaju velike baze podataka i prikupljanje podataka kojima je teško upravljati.
  2. Proces rudarenja podataka zahtijeva stručnjake domene koje je opet teško pronaći.
  3. Integracija iz heterogenih baza podataka složen je proces.
  4. Potrebno je izmijeniti prakse na organizacijskoj razini kako bi se koristili rezultati pretraživanja podataka. Restrukturiranje procesa zahtijeva napor i troškove.

Zaključak

Data Mining je iterativni postupak u kojem se postupak rudarstva može usavršiti, a novi podaci mogu integrirati kako bi se postigli učinkovitiji rezultati. Data Mining udovoljava zahtjevima učinkovite, skalabilne i fleksibilne analize podataka.

Može se smatrati prirodnom ocjenom informacijske tehnologije. Kao postupak otkrivanja znanja, zadaci pripreme podataka i rudarenja podataka dovršavaju postupak rudarenja podacima.

Procesi rudarenja podataka mogu se izvoditi na bilo kojoj vrsti podataka kao što su podaci baze podataka i napredne baze podataka poput vremenskih serija itd. Postupak rudarenja podataka također ima svoje izazove.

Pratite naš nadolazeći vodič da biste saznali više o primjerima rudarenja podataka !!

PREV Vodič | SLJEDEĆA Vodič

Preporučena literatura

^