Mikä on hadoop tarkalleen? kyynikon teoria

Kaikki, mikä näyttää liian hyvältä ollakseen totta, on yleensä. Tällainen tilanne voi olla Apache Hadoop, paljon ballyhooed avoimen lähdekoodin projekti, josta kaikki puhuvat. Joten mitä tarkalleen ottaen tämä asia on? Hyvä kysymys!

Asiantuntijat epäilevät

Kolmannen luonteen analyytikko Mark Madsen naulasi sen jonkin aikaa seinälle takaisin sisuslehteen InsideAnalysis.com-sivustossa: "Mikä Hadoop on. Mikä Hadoop ei ole." Koska joku, joka osaa suunnitella reaalimaailman ratkaisuja ja sitten tosiasiallisesti ottaa ne käyttöön, hänen neuvojaan ei pidä sivuuttaa.

Mutta täällä virtaa syvempi virta, ja on lähellä aikaa löytää tämän kiehtovan kasviston juuret nähdäkseen, emmekö pysty saamaan jonkinlaista näkökulmaa siihen, mitä tapahtuu enemmän makrotasolla. Loppujen lopuksi myyjät sanovat, että se on iso juttu, ja osallistujia on niin paljon.

Palkkaa sitoutuneita! (?)

Kolme yritystä omistaa tällä hetkellä suurimman osan Hadoopin syntyvistä markkinoista: Cloudera, Hortonworks ja MapR. Äskettäisessä, melko kiistanalaisessa Boulder BI Brain Trust -järjestön (#BBBT) välityksellä Jim Walker Hortonworksista kommentoi tätä uteltavaa kommenttia:

"Et voi edistää tekniikkaa, jos et palkkaa toimeenpanijoita!"

Tule uudestaan?

Eikö tämä kuulosta siltä, ​​että senaattori Palpatine voisi sanoa Tähtien sota -elokuvassa?

Senaatti Palpatine: "Palkkaa sitoutuneita!"

Läheinen Minion: "Mutta mutta, herra! Ajattele lapsia!"

Sillä maallikolle, joka yrittää vain saada asiat aikaan, toimeenpanijat ovat ihmisiä, jotka ovat omistautuneet tietylle avoimen lähdekoodin projektille. Apache-säätiöllä on tiukat protokollat, joiden avulla heidän projektinsa etenevät, mikä on usein hyvä asia.

Walkerin kommentti vaatii kuitenkin tutkinnan. Yksi terävä kysymys (leikkikenttäpäivien loistamisen vaarassa) olisi: Onko se lupaus vai uhka? Sanooko hän, että Hortonworks saattaa vain ottaa pallon ja mennä kotiin?

Yhteistyö vai kilpailu?

Mielenkiintoinen, vaikka paradoksaalinen näkökulma tässä, on se, että suurin osa Hadoop-ryhmän toimeksiantajista (yhteensä noin 30) on Hortonworksista ja Clouderasta - jotka ovat kilpailijoita. Tämä on erittäin utelias kilpailutapaus.

Joten mitä sopimusta? Tässä on koulutettu arvaus: Hadoop velkaa suuresti kuuluisuutensa älykkäälle suunnitelmalle, jonka on suunnitellut ryhmä Piilaakson pääomasijoittajia ja insinöörejä, jotka yrittävät pääasiassa suojata vedonlyöntiään Orackelta vastaan.

Yleinen idea on siementtää markkinat perusta koodilla, jota voidaan parantaa ja vahvistaa rag-tag-laivastolla, joka kehittää ajan mittaan kaikenlaisia ​​tiedonhallintatyökaluja, mukaan lukien tietokantatuotteet. Pääomasijoitusyritykset voivat sijoittaa ja nostaa rahaa jonain päivänä. Mutta pelissä on joitain vakavia haasteita.

Kuten kaikki monoliittiset yritykset, myös Oracle on monien pienempien pelaajien ristissä. Ja kuka ei haluaisi vain vihaa heidän mieltään numboivasta tulosta? Pelkästään viimeisellä vuosineljänneksellä Oracle kirjasi ~ 9 miljardia dollaria. Mutta Big Redin haastaminen ja heidän lyöminen ovat kaksi hyvin erilaista todellisuutta.

Ilmainen Webcast: Mikä on Hadoop ja minne se menee? Liity Eric Kavanaghiin, Robin Blooriin ja Techopediaan keskustelemaan siitä, kuinka Hadoop eroaa huomattavasti Linuxista tai SOA: sta ja miksi sen tulevaisuus on pitkälti kirjoittamaton.

Pakkausongelmat

Hadoopin asia sinänsä on, että se ei ole millään tavalla pakattu ratkaisu. Pikemminkin se on monimutkainen kokoelma moduuleja, joiden avulla korkealaatuiset ohjelmoijat voivat hyödyntää massiivisia rinnakkaisprosessointialgoritmeja tehdä hyvin erityisiä asioita. Mutta ei ole hienoa käyttöliittymää, ja käsikirjat ovat raakoja.

Lisää tähän haasteeseen tämä kriittinen este: tarvitset myös liikemiehiä, joilla on ainakin yleinen käsitys siitä, mitä se voi tehdä. Näiden ihmisten on kyettävä valloittamaan ideoita siitä, kuinka sitä voidaan käyttää, ja kommunikoitava sitten kehittäjille, joiden on myöhemmin tuotettava, testattava, otettava käyttöön ja tuettava sovelluksia.

Tämän tanssin järjestäminen on se, kuinka Cloudera ja Hortonworks ansaitsevat suuren osan rahansa. Ongelmana on, että suurin osa tällä menetelmällä luotuista ratkaisuista on ainutlaatuisia ja keskittyvät tyypillisesti käyttöjärjestelmiin analyyttisten ratkaisujen sijaan. Käännös? Tällaiset asiat eivät todellakaan sovellu pakattuihin ohjelmistotuotteisiin.

Pakkauksen kannattavuus!

Mikä vie meidät takaisin Oracliin. Larry Ellison ja pojat tekevät heinään myyvän tietokantatekniikan, laitteistot, palvelut ja (odota sitä …) pakatun ohjelmiston. Cloudera ilmeisesti tajusi tämän, joten he keskittyivät Impalaan. Mutta Hortonworks?

Heidän malli näyttää jäljittelevän tarkemmin RedHatia, ihmisiä, jotka rakensivat miljardin dollarin liiketoiminnan Linux-käyttöjärjestelmän päälle. Nary, yritysohjelmistoteollisuuden merkittävä toimittaja, ei kirjoita Linuxille, käyttöjärjestelmälle, jolla IBM johti Microsoftin ohi. Mutta Hadoop ei ole Linux, ei kaukaakaan.

Dr. Geoffrey Malafsky, entinen Yhdysvaltain laivaston nanoteknologi, nyt PASIC Systemsin ja PSIKORS-instituutin tietoteknikko, tislaa Hadoopin arvoehdotuksen seuraavasti:

"Hadoop on hieno haku, erittäin laaja trendianalyysi stokastisille tuloksille ja todennäköisesti erittäin halpa ovela rinnakkaisprosessointi esimerkiksi entisen vaimoni tapaan: kvanttimekaanisten aaltojen funktion laskenta kiinteän tilan ja kemiallisten reaktioiden suhteen. Tämä todellinen tiede perustuu Supertietokoneissa ja siirtyi jonkin verran rinnakkaisprosessointiin, mutta se on vaikea muutos ohjelmointimenetelmässä. Nuoret, älykkäät, energiset jatko-opiskelijat tekevät tämän. Epäilen, että tutkimusapurahat alkavat suuntautua tähän suuntaan joillekin suuritehoisille laskennallisille sovellukset."

Huomaat, että se ei kuulosta mitään kuten tietojen varastointi, yritystiedot, tietojen integrointi tai edes iso data. Se kuulostaa supertietokoneelta. Ja jostain mielenkiintoisesta syystä korkean suorituskyvyn tietotekniikan ja liike-elämän älykkyyden maailmat eivät ole koskaan oikein törmäneet tai yhdistyneet merkityksellisellä tavalla.

Pitkä tie eteenpäin Hortonworksille ja Clouderalle

Ja tässä on todella huonoja uutisia Hortonworksille ja mahdollisesti Clouderalle. Suuret toimittajat, kuten IBM, SAP, Oracle ja Teradata - sanoen pehmeästi ja lainaamalla Dire Straitsia: "He eivät ole tyhmä!" Kolme ja enemmän vuosia sitten, kaikki he ottivat käyttöön vakavia Hadoop-strategioita.

Keskeistä näille suunnitelmille ovat sellaiset asiat, joita yrityskäyttäjät odottavat: graafiset käyttöliittymät, vedä ja pudota -toiminnot, mallintamis- ja löytämistyökalut, työnkulku, hallinto, turvallisuus; lyhyesti sanottuna kaikki bitit ja kappaleet, jotka tekevät yritysohjelmistoista käyttökelpoisia. Ja tietysti näillä isoilla myyjillä on valtavat asennuskannat.

On varma, että Clouderalla ja Hortonworksilla on molemmat ollut hyvää liiketoimintaa, mutta vain pieni osa siitä, mitä nämä suuret toimijat saavat vuosittain. Tee matematiikka siitä, kuinka paljon haastajat veloittavat asiakkaitaan verrattuna siihen, kuinka paljon heidän yleiskustannuksensa todennäköisesti on, ja kuva ei ole niin ruusuinen. Myönnetään, että se on verrattuna kurssille varhaisen vaiheen ohjelmistohuolenaiheilla, mutta silti …

Hadoopin tulevaisuus?

Joten voisimmeko nähdä klassisen yritysostojen aallon, kuten olimme palanneet takaisin, kun IBM osti Cognoksen, Oracle sai Hyperionin ja SAP: n Business -objektit? Ehkä, mutta tämän korttelin uudet lapset eivät omista Hadoopia; he vain lainaavat sen. Ja niin lupaavat kuin YARN ja Tez saattavat olla, julkaisusyklit näyttävät olevan jäljessä siitä, mitä raskaat hitterit tuottavat.

Vasta toisena päivänä teollisuuden sisäpiiriläinen kommentoi, että Apachen politiikka voi olla vakava pullonkaula. Tämä ei ole kovin yllättävää, varsinkin kun ajatellaan mukana olevia dollareita - innovoijilla on suuri motivaatio löytää se rikas. Ja onko kukaan huomannut, kuinka Chrome näyttää viime aikoina ylittäneen Firefoxin toiminnallisuudessa ja käytettävyydessä? Suljetun lähteen, kukaan?

Yksi asia on varma: tämä peli pelataan mielenkiintoisilla tavoilla. Kyllä, nisäkkäät (lue: pienkauppiaat) voivat usein ylittää dinosaurukset; mutta alligaattoreita ja krokotiileja on edelleen ympäri maailmaa; ja jos kompastat yhtä odottamatta, saatat vain löytää kuinka terävät nuo hampaat voivat olla. Muutama krokki yhdessä voi jopa poistaa norsun tai kaksi.