hadoop hdfs hadoop distributed file system
Ovaj vodič objašnjava Hadoop HDFS - Hadoop distribuirani datotečni sustav, komponente i arhitektura klastera. Također ćete naučiti o algoritmu svjesnosti o policama:
Kao što smo saznali u prethodnom vodiču, najveći je problem s Big Dataom pohraniti ih u postojeći sustav. Pa čak i ako smo dio toga nekako pohranili u postojeći sustav, obrada tog BigData trajala je godinama.
Rezultati koje ste željeli u nekoliko minuta trajali su tjednima ili možda mjesecima i zbog toga je vrijednost tog rezultata izgubljena.
=> Ovdje pripazite na jednostavnu seriju treninga BigData.
Što ćete naučiti:
Distribuirani sustav datoteka Hadoop
Da bismo riješili ovaj problem ili se suočili s njim, sada imamo HADOOP. Hadoop je ovaj problem velikih podataka riješio koristeći Hadoop HDFS.
Hadoop HDFS riješio problem pohrane velikih podataka i Hadoop karta smanji riješio probleme vezane uz obradu dijela velikih podataka.
Sada znamo da Hadoop u osnovi ima Distribuirani datotečni sustav ... ALI ZAŠTO?
Pitanja i odgovori za intervjue za podršku radne površine za pdf razine l2
Zašto je Hadoop distribuirani datotečni sustav?
Pokušajmo shvatiti što je distribuirani datotečni sustav i shvatiti prednosti distribuiranog datotečnog sustava.
Distribuirani datotečni sustav
Uzmimo primjer čitanja 1TB podataka. Imamo poslužitelj koji je dobar vrhunski poslužitelj koji ima 4 I / O (Input Output) kanala i svaki kanal ima propusnost od 100MB / s, pomoću ovog stroja moći ćete pročitati ove podatke od 1TB u 43 Zapisnik.
Sad, ako unesemo 10 br. Strojeva točno takvih, što će se onda dogoditi?
Vrijeme smanjeno na točno 4,3 minute. To je zato što se cijeli trud podijelio na 10 strojeva i zato se vrijeme obrade 1TB podataka smanjuje na 1/10thtj. 4,3 minute.
Slično tome, kada uzmemo u obzir BigData, ti se podaci dijele na više dijelova podataka i zapravo ih obrađujemo odvojeno i zato je Hadoop odabrao Distribuirani datotečni sustav umjesto centraliziranog datotečnog sustava.
Komponente Hadoopa
Hadoop HDFS ima dvije glavne komponente za rješavanje problema s BigData-om.
- Prva komponenta je Hadoop HDFS za pohranu velikih podataka.
- Druga komponenta je Hadoop Map Reduce za obradu velikih podataka.
Sad kad vidimo arhitekturu Hadoopa (slika dana ispod), ima dva krila tamo gdje je lijevo krilo 'Pohrana' a desnica je 'Obrada' . To znači da je lijevo HDFS tj. Hadoop Distribution File System, a desno YARN i Map Reduce tj. Dio je obrade.
Koristeći HDFS, Hadoop nam omogućuje pohranu velikih podataka, a pomoću YARN & Map Reduce, Hadoop nam omogućuje obradu istih velikih podataka koje pohranjujemo u HDFS.
Kao što možete vidjeti na gornjoj slici, HDFS ima dva glavna demona ili ih možete nazvati kao procese ili niti koji nisu ništa drugo nego JAVA procesi, tj. Pokreću se unutar JVM - NameNode i DataNode.
NameNode je glavni demon koji radi na Master Machineu, tj. Vrhunskom stroju, a DataNode je Slave Machine koji radi na robnom hardveru. DataNode može biti više jer su podređeni strojevi više od glavnog stroja.
Dakle, uvijek imamo jedan NameNode i više DataNode pokrenutih na slave uređajima.
Slično tome, imamo YARN s druge strane koja opet ima dva demona, jedan je Resource Manager koji radi na Master Machine-u i Node Manager koji radi na Slave Machine-u baš kao DataNode. Dakle, svaki Slave Machine ima dva demona - jedan je DataNode, a drugi Node Manager.
Glavni stroj ima pokrenut NameNode i pokrenut je Resource Manager. NameNode odgovoran je za upravljanje podacima na distribuiranom datotečnom sustavu Hadoop, a upravitelj resursa odgovoran je za izvršavanje zadataka obrade nad ovim pohranjenim podacima.
NameNode i DataNode
Ući ćemo duboko u HDFS arhitekturu i stoga je važno razumjeti što je NameNode i DataNode jer su to dva glavna demona koja zapravo u potpunosti pokreću HDFS.
NameNode
- To je Master Daemon.
- Upravljanje i održavanje DataNodes-a.
- Snima metapodatke.
- Prima otkucaje srca i blokira izvješća sa svih DataNodes.
DataNode
- To je rob demon.
- Ovdje se pohranjuju stvarni podaci.
- Poslužuje zahtjeve za čitanje i pisanje od klijenata.
Samo se usredotočite na Dijagram, kao što vidite da postoji Centralizirani Machine NameNode koji kontrolira razne DataNode koji su tamo, tj. Robni hardver. Dakle, Name Node nije ništa drugo do Master Daemon koji održava sve DataNode.
Ovi NameNode imaju sve informacije o podacima koji su pohranjeni u DataNode. DataNode kao što i samo ime sugerira pohranjuje podatke koji se nalaze u klasteru Hadoop.
NameNode ima samo informacije o tome koji su podaci pohranjeni na kojem DataNodeu. Dakle, ono što možemo reći je da NameNode pohranjuje metapodatke podataka koji su pohranjeni na DataNodes.
DataNode također radi još jedan zadatak, tj. Redovito šalje otkucaje srca natrag u NameNode. Otkucaji srca zapravo kažu NameNodeu da je ovaj DataNode još uvijek živ.
Na primjer, DataNodes šalje otkucaje srca natrag na NameNode i na taj način NameNode ima sliku da su ti DataNodes živi, tako da NameNode može koristiti ove DataNode za pohranu više podataka ili čitanje podataka s tih DataNodes.
Sada dolazimo do DataNode, DataNode nije ništa drugo do slave robovi koji zapravo pohranjuju podatke koji se šalju u klaster Hadoop. Ovi Čvorovi podataka zapravo služe zahtjevima za čitanje i pisanje koje izrađuju klijenti.
Ako netko želi pročitati podatke iz klastera Hadoop, tada ti zahtjevi zapravo obrađuju DataNodes u kojima se podaci nalaze.
Arhitektura klastera Hadoop
U prethodnoj temi koja se odnosi na NameNode i DataNode koristili smo izraz 'Hadoop klaster'. Pogledajmo na brzinu što je točno to?
Gornja slika prikazuje pregled arhitekture klastera Hadoop. Hadoop klaster nije ništa drugo nego Master-Slave Topology, u kojem se nalazi Master Machine kao što možete vidjeti na vrhu, tj. Hadoop klaster. U ovom glavnom stroju postoji NameNode i pokrenut je upravitelj resursa, tj. Glavni demoni.
Glavni stroj povezan je sa svim podređenim strojevima pomoću prekidača jezgre, jer su ti Čvorovi podataka zapravo pohranjeni u raznim stalcima, pa kao što vidite računalo 1, računalo 2, računalo 3 do računala N. Ovo nije ništa drugo nego slave Strojevi ili DataNodes i svi su prisutni u jednom stalku.
'Stalak je zapravo skupina strojeva koji su fizički prisutni na jednom određenom mjestu i međusobno su povezani.'
Stoga je mrežna propusnost između svakog stroja što manja. Slično tome, postoji više stalaka, međutim, oni nisu prisutni na istom mjestu, stoga možemo imati „n“ broj stalaka, a možemo imati i „n“ broj DataNodes-a ili računala ili podređenih strojeva unutar tih stalaka.
Na taj se način Slave strojevi zapravo raspoređuju po klasteru, međutim, istovremeno su međusobno povezani.
Kako se podaci pohranjuju u HDFS?
Sada polako ulazimo u detalje kako HDFS uopće funkcionira. Ovdje ćemo istražiti arhitekturu HDFS-a.
Kad kažemo, spremanje datoteke u HDFS, podaci se spremaju kao blokovi u HDFS. Cijela datoteka nije pohranjena u HDFS, jer je, kao što znate, Hadoop distribuirani datotečni sustav.
Dakle, ako imate veličinu datoteke možda 1 PB (Peta Byte), tada takva vrsta pohrane nije prisutna ni na jednom stroju jer je Hadoop klaster napravljen pomoću robnog hardvera. Hardver u jednom stroju bio bi oko 1 TB ili 2 TB.
Stoga cijelu datoteku treba razbiti na dijelove podataka koji se nazivaju HDFS blokovi.
- Svaka datoteka pohranjuje se na HDFS kao blokovi.
- Zadana veličina svakog bloka je oko 128 MB u Apache Hadoop 2.x (i 64 MB u prethodnoj verziji, tj. Apache Hadoop 1.x).
- Postoji mogućnost povećanja ili smanjenja veličine datoteke blokova pomoću konfiguracijske datoteke, tj. Hdfssite.xml koja dolazi s paketom Hadoop.
Uzmimo primjer kako bismo razumjeli ovaj mehanizam i vidjeli kako se stvaraju ti blokovi.
Razmotrimo ovdje datoteku od 248 MB, sada ako je prelomimo ili ako datoteku premjestimo u Hadoop Cluster tj. 2.x, tada će se ova datoteka razbiti na jedan blok, tj. Na blok A od 128 MB i drugi blok B od 120 MB.
Kao što vidite, prvi je blok od 128 MB, tj. Tamo se siječe prva ploča i zato je drugi blok od 120 MB, a ne 128 MB, tj. Neće izgubiti prostor ako je preostala veličina datoteke manja od zadane veličine bloka.
Sada je pred nama još jedan problem, tj. Je li sigurno imati po jednu kopiju svakog bloka?
kako otvoriti .bin datoteke
Odgovor je NE, jer postoji vjerojatnost da sustav može zakazati, a to je samo robni hardver zbog kojeg bismo mogli biti u velikim problemima. Da bi prevladao ovaj problem, Hadoop HDFS ima dobro rješenje, tj. 'Replikacija bloka'.
Replikacija bloka arhitekture Hadoop
Hadoop stvara replike svakog bloka koji se pohrani u sustav distribuiranih datoteka Hadoop i ovo je način na koji je Hadoop sustav s tolerancijom na greške, tj. Iako vaš sustav zakaže ili vaš DataNode zakaže ili se kopija izgubi, imat ćete više drugih kopija prisutni u drugim DataNodes-ima ili na drugim poslužiteljima, tako da te kopije uvijek možete odabrati odande.
Kao što se vidi na gornjem dijagramu koji predstavlja replikaciju bloka, postoji pet različitih blokova datoteke, tj. Blok 1, 2,3,4,5. Prvo provjerimo Block 1, a kopije Bloka 1 pronaći ćete u Node 1, Node 2 i Node 4.
Slično tome, blok 2 također je dobio tri kopije, tj. Čvor 2, čvor 3 i čvor 4, pa tako i za blok 3, 4 i 5 u odgovarajućim čvorovima.
Dakle, osim izrade replika, svaki je blok repliciran tri puta, tj. Hadoop slijedi zadani faktor replikacije od tri, što znači da se svaka datoteka koju kopirate u Hadoop Distribution File System tri puta replicira.
Drugim riječima, ako kopirate 1 GB datoteke u Hadoop Distribution File System, on zapravo pohranjuje 3 GB datoteke u HDFS. Dobar je dio što se zadani faktor replikacije mijenja promjenom u konfiguracijskim datotekama Hadoopa.
Kako Hadoop odlučuje gdje će pohraniti replike?
Hadoop zapravo slijedi koncept Rack Awareness-a kako bi odlučio gdje će se pohraniti koja replika bloka.
Dolje je dat dijagram koji prikazuje algoritam svjesnosti o stalku.
Postoje tri različita stalka, tj. Rack-1, Rack-2 i Rack-3.
Rack-1 ima četiri DataNode, kao i Rack-2 & Rack-3, tako da će se ukupno cijeli Hadoop klaster sastojati od sva tri stalka i bit će 12 DataNodes.
Recimo da je Blok A kopiran na DataNode 1 u Rack-1, prema konceptu Rack Awareness-a, replika Bloka A ne može se stvoriti u istom stalku i treba ga stvoriti u bilo kojem drugom stalku, osim u Rack-1 kao glavna datoteka već postoji u Rack-1.
Ako stvorimo replike bloka A na istom Rack-1 i u slučaju da cijeli Rack-1 ne uspije, sigurno ćemo izgubiti podatke, pa se replike moraju pohraniti u bilo koji drugi stalak, ali ne i u Rack-1.
Dakle, replika će se stvoriti u DataNode 6 i 8 Rack-2. Slično tome, za blok B i blok C, replike će se stvoriti u različitim stalcima, kao što je prikazano na gornjem dijagramu.
Zaključak
Naučili smo sa sljedećim uputama iz ovog vodiča -
- Hadoop HDFS rješava problem pohrane BigData.
- Hadoop Map Reduce rješava probleme vezane uz obradu BigData.
- NameNode je glavni demon i koristi se za upravljanje i održavanje DataNodes-a.
- DataNode je Slave Daemon i stvarni podaci su ovdje pohranjeni. Služi za čitanje i pisanje zahtjeva klijenata.
- U klasteru Hadoop stalak je zapravo skupina strojeva koji su fizički prisutni na jednom određenom mjestu i međusobno su povezani.
- Svaka datoteka pohranjuje se na HDFS kao blokovi.
- Zadana veličina svakog bloka je oko 128 MB u Apache Hadoop 2.x (64 MB u prethodnoj verziji, tj. Apache Hadoop 1.x)
- Postoji mogućnost povećanja ili smanjenja veličine datoteke blokova pomoću konfiguracijske datoteke, tj. Hdfssite.xml koja dolazi s paketom Hadoop.
U sljedećem uputstvu o HDFS-u naučit ćemo o HDFS arhitekturi i mehanizmima čitanja i pisanja.
=> Posjetite ovdje da biste vidjeli seriju treninga BigData za sve.
Preporučena literatura
- Što je Hadoop? Vodič za Apache Hadoop za početnike
- Manipulacija datotekama u Unixu: Pregled Unix datotečnog sustava
- Unixovi posebni znakovi ili metaznakovi za manipulaciju datotekama
- Dopuštenja za pristup Unix datotekama: Unix Chmod, Chown i Chgrp
- Ranorex Test Suite, izrada test modula, datoteka UserCode, Xpath i povezivanje podataka
- Objekti datoteke VBScript: CopyFile, DeleteFile, OpenTextFile, čitanje i pisanje tekstualne datoteke
- Izlazne operacije unosa datoteke u C ++
- Implementacija Jave: Izrada i izvršavanje Java JAR datoteke