Meni

Vodič za Apache Hadoop YARN za početnike | Što je pređa?

  • Glavni
  • Ostalo
  • Vodič za Apache Hadoop YARN za početnike | Što je pređa?

apache hadoop yarn tutorial

Isprobajte Naš Instrument Za Uklanjanje Problema

Hadoop komponente - MapReduce s Hadoop PREDIJOM:

U našem prethodnom vodiču o komponenti Hadoop saznali smo o Hadoop MapReduceu i njegovom mehanizmu obrade poput INPUT, SPLITTING, MAPPING, SHUFFLING, REDUCING i FINAL RESULT.

U ovom uputstvu istražit ćemo:

  • Kako Map Reduce radi s PREĐOM?
  • Tijek rada aplikacije Hadoop YARN.

=> Ovdje pogledajte vodič za početnike BigData.

KARTU SMANJITE HADOOOP PREDIJOM

Što ćete naučiti:

Zemljovid smanjite s Hadoop PREDIJOM

Razumijemo kako MapReduce koristi YARN za izvršavanje poslova preko klastera Hadoop. Ali prije nego što nastavimo, prvo nam to pitanje padne na pamet koji je puni oblik PREDJE? Ili što znači YARN?

PREĐA sredstva Još jedan pregovarač o resursima.

Ona je ta koja raspoređuje resurse za razne poslove koje treba izvršiti preko klastera Hadoop. Uveden je u Hadoop 2.0.

Do Hadoopa 1.0 MapReduce bio je jedini okvir ili jedina procesorska jedinica koja se može izvršavati preko klastera Hadoop. Međutim, u Hadoop 2.0 uvedena je YARN i pomoću nje smo u mogućnosti ići i dalje od MapReducea.

Okvir Podržava Hadoop YARN

Kao što možete vidjeti na dijagramu, imamo HDFS u dnu između, imamo YARN i koristeći YARN, puno okvira može se povezati i koristiti HDFS. Dakle, čak se i MapReduce koristi za povezivanje pomoću YARN-a za traženje resursa i tek tada može izvršiti posao preko HDFS-a, tj. Hadoop klastera.

Slično; SPARK, STORM i druge tražilice mogu se povezati na HDFS. HBase koja nije baza podataka SQL također je može povezati. Tako su aplikacije HDFS-a postale ogromne, samo zato što je YARN uspio otvoriti vrata za druge okvire i druge analitičke alate Bigdata.

Koja je razlika između MapReduce Version1 (MRv1) i MapReduce Version2 (MRv2)?

MRv1 je u osnovi bio dio Hadoop okvira 1, a s Hadoop 2 YARN ušao je u sliku, a MapReduce je nadograđen na MRv2 s nekoliko promjena u klasama. Predavanja su ažurirana, međutim, sintaksa pisanja programa MapReduce ostaje ista.

U ovom se scenariju MapReduce sada povezuje s YARN-om kako bi smjestio HDFS.

Zajedno s YARN, Resource Manager i Node Manager novi su demoni koji su uvedeni u Hadoop klaster.

Prije su to bili Job Tracker i Task Tracker. Međutim, uklonjeni su iz Hadoop-a 2.0, a Resource Manager i Node Manager uvedeni su zajedno s YARN-om u Hadoop-ov okvir.

Hadoop 2.x demoni

Kratko ćemo pogledati novo predstavljene demone u Hadoop 2.0 koji pokreću komponente, tj. Pohranu i obradu.

java kako napraviti popis

U vodiču za HDFS detaljno smo razumjeli Daemon tj. NameNode i DataNode. U ovom ćemo uputstvu razumjeti kako Upravitelj resursa i Upravitelj čvorova rade u Hadoop 2.x klasteru kako bi upravljali obradom i poslovima koji se trebaju izvršiti u Hadoop klasteru.

Komponente Hadoopa 2.X

Dakle, što je Resource Manager? Upravitelj resursa je glavni demon koji radi na glavnom stroju ili NameNode koji je vrhunski stroj. S druge strane, Node Manager je Daemon koji se izvodi na podređenim strojevima ili DataNodes-ima ili zajedno s DataNode Process-om.

Hadoop 2.x MapReduce komponente pređe

Istražimo ostale komponente PREĐE u nastavku.

  • Klijent: To je jedinica koja predaje sučelje naredbenog retka nalik poslu (CLI), a klijent bi mogao biti JAVA aplikacija.
  • Upravitelj resursa: To je glavni demon kojem se svi poslovi dostavljaju od klijenta, a on dodjeljuje sve resurse na razini klastera za izvršavanje određenog posla. Radi na vrhunskom stroju koji ima kvalitetan hardver i dobru konfiguraciju jer je glavni stroj taj koji mora upravljati svime preko klastera.
  • Upravitelj čvorova : To je Slave Daemon koji se izvodi na Slave Machinesima ili DataNodeu, tako da svaki Slave Machine ima pokrenut Node Manager. Nadgleda resurse određenog DataNode-a, Resource Manager upravlja resursima klastera, a Node Manager upravlja DataNode resursima.
  • Poslužitelj povijesti posla: Jedinica je za praćenje svih poslova koji su izvršeni u klasteru ili su predani klasteru. Prati i status, a također čuva i datoteke dnevnika svakog izvršenja izvršenog u Hadoop klasteru.
  • Master Master : To je komponenta koja se izvršava preko Node Machine, Slave Machine i kreira je Resource Manager za izvršavanje i upravljanje poslom. Ona pregovara o resursima iz Upravitelja resursa i konačno se koordinira s Upraviteljem čvorova za izvršavanje zadatka.
  • Spremnik: Stvara ga sam upravitelj čvorova kojeg je dodijelio upravitelj resursa i svi se poslovi konačno izvršavaju u spremniku.

PRETOK Radni tok

PRETOK Radni tok

Kao što je prikazano na gornjem dijagramu, postoji Upravitelj resursa na koji su poslani svi poslovi i postoji klaster u kojem su podređeni strojevi, a na svakom podređenom stroju postoji Upravitelj čvorova trčanje.

Upravitelj resursa ima dvije komponente tj. Planer i Upravitelj aplikacija.

Koja je razlika između Application Master i Application Manager?

Upravitelj aplikacija je komponenta Upravitelj resursa što osigurava izvršenje svakog zadatka i Master Master je stvorena za to. Master Master, s druge strane, netko je tko izvršava zadatak i zahtijeva sve resurse koji se trebaju izvršiti.

Recimo da se posao predaje Upravitelj resursa , čim se posao preda, Planer zakazuje posao. Jednom Planer zakazuje posao koji će se izvršiti Upravitelj aplikacija stvorit će a Spremnik u jednom od Čvorovi podataka , i unutar ovoga Spremnik, Master Master bit će pokrenut.

Ovaj Master Master tada će se registrirati kod Upravitelj resursa i zahtjev za a Spremnik za izvršenje zadatka. Čim se Spremnik je dodijeljen, Master Master sada će biti povezan sa Upravitelj čvorova i zahtjev za pokretanje Spremnik .

Kao što vidimo, Master Master dodijeljen Čvorovi podataka D i JE , a sada ovo Master Master zatražio Upravitelj čvorova za pokretanje Spremnici od Čvor podataka D i Čvor podataka E .

Čim se Spremnici su pokrenuti, Master Master izvršit će zadatak unutar Spremnik a rezultat će biti poslan natrag na Klijent .

Tijek primjene

Shvatimo to na malo sekvencijalni način.

Na donjem dijagramu imamo četiri komponente. Prvi je Klijent, drugi je Upravitelj resursa , treći je Upravitelj čvorova a četvrti redak sadrži Master Master .

Slijed izvršenja

Pa da vidimo kako se ti koraci izvršavaju između njih.

Prvi korak je Klijent koji posao predaje na Upravitelj resursa , u drugom koraku Upravitelj resursa izdvaja a Spremnik za pokretanje Master Master na Robovske mašine ; treći korak je Master Master registrira kod Upravitelj resursa .

Čim se registrira, traži Spremnik za izvršenje zadatka tj. četvrti korak. U petom koraku, Master Master obavještava Upravitelj čvorova na kojem se Spremnik treba pokrenuti.

U šestom koraku, jednom Upravitelj čvorova je pokrenuo Spremnici, Master Master izvršit će kod unutar njih Spremnici .

Napokon, u sedmom koraku, Klijent kontaktira Upravitelj resursa ili Master Master za praćenje statusa aplikacije.

Na kraju, Master Master će se odjaviti iz Upravitelj resursa a rezultat se vraća na Klijent . Dakle, ovo je jedan jednostavan sekvencijalni tok izvođenja programa MapReduce pomoću okvira YARN.

Zaključak

Dakle, u ovom uputstvu naučili smo sljedeće upute:

  • PREĐA sredstva Još jedan pregovarač o resursima.
  • PREĐA je predstavljena u Hadoop 2.0
  • Upravitelj resursa i Upravitelj čvorova uvedeni su zajedno s YARN-om u Hadoop okvir.
  • Komponente pređe kao što su klijent, upravitelj resursa, upravitelj čvorova, poslužitelj povijesti posla, master aplikacije i spremnik.

U nadolazećem uputstvu razgovarat ćemo o tehnikama testiranja BigData i izazovima s kojima se suočava BigData testiranje. Također ćemo upoznati kako prevladati te izazove i bilo koje zaobilazne načine kako bismo olakšali BigData testiranje.

=> Posjetite ovdje da biste naučili velike podatke od nule.

Preporučena literatura

^