Suurtietojen kehitys

2000-luvun alussa oli selvää, että tietoon liittyviä innovaatioita oli valtava tarve. Rajoitukset, joita yritykset voisivat tehdä tietojensa kanssa, turhauttavat johtajia ja heikensivät tehokkuutta valtavasti. Monet yritykset tallensivat valtavia määriä tietoa, mutta eivät yksinkertaisesti kyenneet hallitsemaan, analysoimaan tai manipuloimaan sitä hyödyksi. Juuri tämä kasvava paine antoi tietä suurten tietojen rajalle.

Vuonna 2003 Google perusti MapReduce-tietosovelluksen, jonka avulla yritys pystyi käsittelemään ja analysoimaan hakulausekkeidensa tietoja tuhansien palvelimien välillä lyhyessä ajassa. Sekä skaalautuva että mukautettavissa oleva ohjelma antoi Googlelle mahdollisuuden suorittaa tuhansia datatehtäviä vain minuuteissa, mikä paransi tuottavuutta ja määritteli uudelleen havaitut rajat siihen, mitä tiedoille voidaan tehdä. Lähes 10 vuotta myöhemmin isoista tiedoista on tullut tietotekniikan keskeinen teemo. Sen kauaskantoisuus ja kyky ovat perusteellisesti muuttaneet tiedonhallintaa työpaikalla. Mutta mikä on saanut aikaan tämän kehityksen ja kuinka suurilla tiedoilla tarkalleen on vaikutusta tulevaisuuteen? Ajattelimme et koskaan kysy. (Tutustu isoihin tietoihin liittyviin taustalukemiin tarkistamalla Big Data: Kuinka ne otetaan talteen, rypistetään ja miten niitä käytetään liiketoimintapäätösten tekemiseen.)

Vastausten etsiminen Big Data -kysymyksiin

MapReducen kauneus oli tapa, jolla se yksinkertaisti erittäin monimutkaisia ​​tehtäviä. Viestintää voitaisiin hallita koneiden välillä, järjestelmävirheitä voitaisiin korjata ja syöttötiedot voidaan organisoida automaattisesti. Prosessia voisivat valvoa henkilöt, jotka eivät enää tarvitse erittäin teknisiä taitoja. Tekemällä tietojenkäsittelyn paitsi mahdollista, myös lähestyttävää, Google innosti kulttuurista muutosta tiedonhallintaan. Ei kauan ennen kuin tuhannet suuret yritykset käyttivät MapReducea tiedoilleen.

Mutta oli yksi ongelma: MapReduce oli yksinkertaisesti ohjelmointimalli. Vaikka se helpotti tietojenkäsittelyn perusteita, se ei itse ollut vastaus olemassa oleviin tietojen puutteisiin; se oli vain kaivattu askel oikeaan suuntaan. Yritykset tarvitsevat edelleen järjestelmää, joka pystyisi vastaamaan niiden ainutlaatuisiin tietotarpeisiin ja ylittämään tiedonhallinnan paljaat olennaiset asiat. Lyhyesti sanottuna, kehitykseen tarvittava tekniikka.

Kirjoita Hadoop

Anna Hadoop, avoimen lähdekoodin ohjelmisto, jonka ovat luoneet useat ohjelmoijat, mukaan lukien Doug Cutting. Missä MapReduce oli yksinkertainen ja laaja, Hadoop tarjosi virkistävän spesifisyyden. Yritykset voivat suunnitella omia räätälöityjä sovelluksia, jotka vastaavat tiedon tarpeisiin tavalla, jota mikään muu ohjelmisto ei pystyisi, ja se oli yleensä yhteensopiva muiden tiedostojärjestelmien kanssa. Lahjakkaiden ohjelmoijien kanssa toimiva yritys voisi suunnitella tiedostojärjestelmän, joka saavuttaisi ainutlaatuiset tehtävät tiedoilla, jotka näyttivät aikaisemmin saavuttamattomilta. Mahdollisesti parasta siinä oli, että kehittäjät jakavat sovelluksia ja ohjelmia keskenään, joita voitaisiin selittää ja täydentää.

Demokratisoimalla tällainen tärkeä resurssi Hadoopista tuli trendi. Loppujen lopuksi, että monet suuret yritykset, etenkin hakukoneyritykset, kokivat tarvitsevansa sitä vuosikymmenien ajan! Ei kauan ennen kuin hakukone jättiläiset, kuten Yahoo, ilmoittivat suurten Hadoop-sovellusten käyttöönoton, jotka tuottivat Web-hakulausekkeissa käytettyä tietoa. Aallolta tuntuneet useat tunnetut yritykset ilmoittivat tämän tekniikan käyttöönotosta massiivisissa tietokannoissaan, kuten Facebook, Amazon, Fox, Apple, eBay ja FourSquare. Hadoop asetti uuden tiedonkäsittelystandardin.

Suuret tiedot, suuret ongelmat

Vaikka tietotekniikan kehitys on muuttanut tapaa, jolla yritykset käsittelevät tietoja, useat avainhenkilöt pitävät niitä silti vapaana kaikissa vaadituissa tehtävissä. Heinäkuussa 2012 Oracle julkaisi yli 300 C-tason johtajan kyselyn, joka paljasti, että vaikka 36 prosenttia yrityksistä luottaa tietotekniikkaan tietojen hallinnassa ja analysoinnissa, 29 prosentilla yrityksistä tuntuu, että heidän järjestelmissään ei ole riittäviä kykyjä tavata yrityksensä. tarvitsee. Tutkimuksen mahdollisesti silmiinpistävin havainto oli, että 93 prosenttia vastaajista uskoi, että heidän yrityksensä menetti jopa 14 prosenttia tuloistaan, koska se ei pysty käyttämään kerättyjä tietoja. Tämä tulo voidaan käyttää parempien tuotteiden valmistamiseen ja lisää työntekijöiden palkkaamiseen. Aikana, jolloin yritykset kamppailevat pysyäkseen kannattavina, on välttämätöntä parantaa tietoja, jotta yrityksistä voi tulla kannattavampia. Tutkimus osoittaa, että huolimatta niistä, jotka uskovat, että suuren datan vaikutus kauppaan on jo ohitettu, sen hallussa olevat kasvumahdollisuudet ja etenemisen mahdollisuudet eivät ole vielä täysin toteutuneet.

Mitä tulevaisuus pitää isoissa tiedoissa?

Hyvä uutinen on, että Hadoop ja MapReduce ovat innoittaneet monia muita tiedonhallintatyökaluja. Monet uudet yritykset luovat laajoja tietoalustoja, jotka toimivat Hadoopilla, mutta tarjoavat laajan valikoiman analyyttisiä toimintoja ja helpompaa järjestelmien integrointia. Näyttää siltä, ​​että yritykset ovat investoineet paljon resursseja tietoongelmien ratkaisemiseen, ja tietoyritysten taloudellinen menestys on osoittanut tämän. Vuonna 2010 tietoyritykset tekivät vähittäismyynnissä arviolta 3, 2 miljardia dollaria. Monet asiantuntijat ovat arvioineet, että tämä määrä kasvaa mahtavaan 17 miljardiin dollariin pelkästään vuoteen 2015 mennessä. Tätä tosiasiaa ei ole menetetty joillekin suurimmista teknologiayrityksistä. Sekä IBM että Oracle ovat käyttäneet miljardeja viimeisten useiden kuukausien aikana hankkiakseen datayrityksiä. Monet muut yritykset tekevät samanlaisia ​​muutoksia tulevina vuosina, kun ne edelleen pyrkivät kilpailukykyiseen markkinaosuuteen.

Suuri dataraja

Kerättävän tiedon määrä kasvaa edelleen eksponentiaalisesti, mikä on huolestuttavaa ja toiset innostunut. Haittapuoli on, että ihmisistä tulee entistä tuottavampia ja mukautuvampia, kun opimme uusia tietoja maailmastamme tietojen analysoinnin avulla. Haittapuoli on se, että tietoja on niin valtava määrä, että monet pelkäävät, etteivät kykene säilyttämään kaikkea asianmukaisesti, ja vielä vähemmän hallitsemaan sitä asianmukaisesti, jotta sitä voivat käyttää kaikki tarvittavat.

Suurten tietojen edistyminen voi kuitenkin tarjota ennennäkemättömiä mahdollisuuksia ratkaista kiireellisiä tietoja koskevia kysymyksiä. Asiantuntijat ovat esimerkiksi ehdottaneet, että jos suuria tietoja toteutettaisiin asianmukaisesti painottaen tehokkuutta ja laatua, sillä olisi potentiaalia säästää noin 300 miljardia dollaria vuodessa pelkästään terveydenhuollon menoihin; vähittäiskauppiaat pystyisivät parantamaan toimintamarginaaliaan, julkinen sektori voisi tarjota parempia palveluita ja suuret yritykset säästäisivät miljardeja. Ja niin, näyttää siltä, ​​että tietoongelmien ratkaisemista ei tarvita vain yritysten hallitustiloissa, vaan kaikkialla. Mikä kertoo hyviä asioita big datan tulevaisuudesta - ja kenties myös meidän.