K:
Mitkä olosuhteet johtivat suurten tietoekosysteemien nousuun?
V:On monia tekijöitä, jotka ovat vaikuttaneet nykypäivän suurdattatietoekosysteemin syntymiseen, mutta yleinen yksimielisyys on, että iso data syntyi monien laitteisto- ja ohjelmistosuunnittelujen takia, jotka yksinkertaisesti sallivat suurten tietojen olemassaolon.
| Verkkoseminaari: Big Iron, tavata Big Data: Mainframe-tietojen vapauttaminen Hadoop & Sparkin avulla Rekisteröidy täällä |
Suurten tietojen tavanomainen määritelmä on seuraava: Tietojoukot, jotka ovat riittävän suuria ja monimutkaisia, jotta ne estävät helpon iteratiivisen hallinnan tai käsin tapahtuvan hallinnan. Suuret tietojoukot tunnistetaan usein tietokokonaisuuksiksi, jotka eivät sovi yksinkertaiseen tietokantaverkkoon, koska niiden analysointi vaatii liikaa työtä tietoja käsitteleviltä palvelimilta.
Tätä silmällä pitäen suuri osa siitä, mikä tuotti suurta dataa, on Mooren laki -niminen idea, tai piirissä olevien transistorien kaksinkertaistaminen kahden vuoden välein, luomalla yhä pienempiä laitteistoja ja tallennuslaitteita (samoin kuin tehokkaampia mikroprosessoreita). . Mooren lain yhteydessä ja todennäköisesti sen takia saavutettavien ohjelmistojärjestelmien laskentakyky kasvoi jatkuvasti siihen pisteeseen, että jopa henkilökohtaiset tietokoneet pystyivät käsittelemään paljon suurempia tietomääriä ja yritys- ja eturintajärjestelmät alkoivat kyetä käsittelemään datan kokoja käsittämätöntä vain useita vuosia ennen. Henkilökohtaiset järjestelmät siirtyivät kilotavuista megatavuihin ja sitten gigatavuihin kuluttajille avoimen prosessin avulla. Vanguard-järjestelmät siirtyivät gigatavuista teratavuihin ja petabateihin ja suuruusluokkiin kuten zetabyytit tavalla, joka oli tavalliselle kansalaiselle paljon vähemmän läpinäkyvä.
Toinen isoihin tietoihin sopiva edistysaskel oli muutokset tapauksissa, joissa käsittelijät käsittelivät tietojoukkoja. Sen sijaan, että suoritettaisiin lineaarinen käsittely tavanomaisen relaatiotietokannan suunnittelun avulla, käsittelijät alkoivat käyttää työkaluja, kuten Apache Hadoop ja niihin liittyvät laitteistonhallintapalat, tietoprosessien pullonkaulojen poistamiseksi.
Tuloksena on iso tietomaailma, jossa elämme, missä massiivisia tietokokonaisuuksia säilytetään ja ylläpidetään tietokeskuksissa, ja niitä käytetään yhä enemmän monenlaisella tekniikalla moniin käyttötarkoituksiin. Kaupasta ekologiaan, julkisesta suunnittelusta lääketieteeseen, suurista tiedoista on tulossa yhä helpommin saatavissa. Samaan aikaan valtion virastot ja muut suuret organisaatiot ajavat edelleen suurten datakokojen rajoja ja toteuttavat entistä edistyneempiä ratkaisuja.
