Tekijä Techopedia Staff, 24. helmikuuta 2016
Takeaway: Isäntä Rebecca Jozwiak keskustelee streaming-analytiikasta alan parhaiden asiantuntijoiden kanssa.
Et ole tällä hetkellä kirjautunut sisään. Kirjaudu sisään tai kirjaudu sisään nähdäksesi videon.
Rebecca Jozwiak: Hyvät naiset ja herrat, hei ja tervetuloa vuoden 2016 kuumaan teknologiaan! Päivän otsikko on ”Firehose-järjestelmän hyödyntäminen: liiketoiminnan arvon saaminen Streaming Analyticsista.” Tämä on Rebecca Jozwiak. Olen toinen webcast-isännän komento aina, kun rakas Eric Kavanagh ei voi olla täällä, joten on hienoa nähdä niin monet teistä tänään siellä.
Tämä jakso on hiukan erilainen kuin muut. Puhuimme tavallaan siitä, mikä on kuuma ja tietysti tämä vuosi on kuuma. Useat viimeiset vuodet ovat olleet kuumia. Aina tulee uusia juttuja. Tänään puhumme analyysin suoratoistosta. Analysoinnin suoratoisto on tavallaan uusi. Tietenkin suoratoisto, keskustiedot, RFID-tiedot, nämä eivät ole välttämättä uusia. Mutta dataarkkitehtuurien yhteydessä olemme keskittyneet niin levossa olevaan tietoon jo vuosikymmenien ajan. Tietokannat, tiedostojärjestelmät, tietovarastot - kaikki enimmäkseen eräkäsittelyä varten. Mutta nyt siirryttäessä luomaan arvoa tiedonsiirrosta, datatiedoista, jotkut kutsuvat sitä eläviksi virroiksi, ne todella vaativat virtapohjaisen arkkitehtuurin, eivät lepoarkkitehtuureissa olevaa tietoa, johon olemme tottuneet, ja sen on kyettävä siihen. käsittelee nopeaa nauttimista, reaaliaikaista tai melkein reaaliaikaista käsittelyä. Sen on kyettävä palvelemaan paitsi esineiden Internetiä myös kaiken Internetiä.
Tietenkin, ihannetapauksessa olisi hienoa, jos molemmat arkkitehtuurit eläisivät vierekkäin, toiset peseisivät toisiaan niin sanotusti. Vaikka päivien, viikkojen ja vuosien vanhoilla tiedoilla on tietenkin edelleen arvoa, historiallista analysointia, trendi-analyysiä, elävät tiedot ajavat nykyään live-älykkyyttä, ja siksi streaming-analytiikasta on tullut niin tärkeä.
Puhun enemmän siitä tänään. Meillä on tietoteknikomme Dez Blanchfield, joka soittaa Australiasta. Hänelle on nyt aikaisin aamulla. Meillä on pääanalyytikko, tohtori Robin Bloor. Liittyy meihin Anand Venugopal, StreamAnalytix-tuotepäällikkö Impetus Technologies -yhtiössä. He ovat todella keskittyneet tämän tilan streaming-analytiikkaan.
Aion mennä eteenpäin ja välittää sen Dezille.
Dez Blanchfield: Kiitos. Minun täytyy tarttua näytön hallintaan täällä ja siirtyä eteenpäin.
Rebecca Jozwiak: Tänne.
Dez Blanchfield: Vaikka tartumme dioihin ylös, sallikaa minun kattaa vain ydinteema .
Pidän sen melko korkealla tasolla ja pidän sen suunnilleen 10 minuutin ajan. Tämä on erittäin iso aihe. Olen osallistunut tapahtumaan, jossa vietimme kaksi tai kolme päivää sukeltamalla yksityiskohtiin siitä, mitä streamin prosessointi on ja nykyisiä kehitteitämme, mitä analytiikan tekemiselle noissa suuren volyymin virroissa pitäisi tarkoittaa.
Aiomme vain selventää, mitä tarkoitamme streaming analytiikalla, ja pohdimme sitten, voidaanko liiketoiminnan arvoa johtaa, koska se on sitä, mitä yritykset etsivät. He haluavat saada ihmiset selittämään heille nopeasti ja ytimekkäästi. Mistä voin saada arvon soveltamalla jonkinlaista analytiikkaa streamitietoihimme?
Mitä streaming analytiikka on?
Analysoinnin suoratoisto antaa organisaatioille tavan hankkia arvoa suuren määrän ja nopeuden tiedoista, jotka he ovat tulleet liiketoiminnan kautta eri liikkeissä. Merkittävä ero tässä on se, että meillä on ollut pitkä historia analysoinnin ja linssien kehittämisessä sekä näkemyksissä tiedoista, joita olemme prosessoineet levossa vuosikymmenien ajan sen jälkeen kun keskusyksikkö keksittiin. Massiivinen paradigmamuutos, jota olemme nähneet viimeisen kolmen tai viiden vuoden aikana niin sanotussa web-mittakaavassa, on napauttaminen reaaliajassa tai melkein reaaliajassa saapuvaan datavirtaan, eikä vain käsittele ja etsi tapahtumien korrelaatiota tai tapahtuma laukaisee, mutta suorittaa todella yksityiskohtaisen ja perusteellisen analyysin näistä streamista. Se on merkittävä muutos siihen, mitä olemme tehneet aiemmin, joka on joko tietojen kerääminen, sijoittaminen jonkinlaiseen arkistoon, perinteisesti suuriin tietokantoihin, suuriin suuriin tietokehyksiin, kuten Hadoop-alustaan, ja erämoodikäsittelyn suorittaminen ja saaminen jonkinlainen käsitys.
Meillä on erittäin hyvä tehdä se nopeasti ja kokeilla paljon raskaata rautaa asioissa, mutta vangitsemme silti tietoja, tallennamme ja katsomme sitä ja saamme siitä jonkinlaisia oivalluksia tai analyyttisiä tietoja. Siirtymä näiden analytiikkojen suorittamiseen datan virtaamisen myötä on ollut hyvin uusi ja mielenkiintoinen kasvualue suurten tietojen ympärillä tapahtuville asioille. Se vaatii täysin erilaisen lähestymistavan vain kaapata, tallentaa ja käsitellä ja suorittaa analytiikkaa.
Yksi avaintekijöistä siirtymisessä ja keskittymisessä analytiikan suorittamiseen streamissa on, että voit saada merkittävää liikearvoa saamalla nämä oivallukset nopeammin ja helpommin, kun tiedot tulevat sinulle, kun tietoa asetetaan yrityksen saataville. Ajatuksella päivän lopun käsittelystä ei ole enää merkitystä tietyillä aloilla. Haluamme pystyä tekemään analyysiä lennossa. Päivän loppuun mennessä me jo tiedämme, mitä on tapahtunut niin kuin on tapahtunut sen sijaan, että päästämme päivän päätteeksi ja teemme 24 tunnin erätyö ja saamme nämä oivallukset.
Suoratoistoanalyysin tarkoituksena on napauttaa suoraan tähän virtaan, kun taas tietovirrat ovat yleensä useita erittäin suurten tietomäärien ja datan virtoja, jotka tulevat meille liikkeelle hyvin, hyvin nopeasti ja saavat näkemyksiä tai analytiikkaa näistä virroista, kun ne tulevat meille sijaan sallia, että se tulee ulos levossa, ja analysoida heitä.
Kuten mainitsin, meillä on ollut vuosikymmeniä ja vuosikymmeniä suorittamassa sitä, jota kutsun eräanalyysiksi. Olen laittanut todella hienon kuvan tähän. Tämä on kuva herrasmiesstä, joka seisoo pilkillisen tietokoneen edessä, jonka RAND Corporation on luonut elämänsä sitten, ja he katsoivat talossa olevan tietokoneen näyttävän siltä. Mielenkiintoista on, että silloinkin heillä oli tämä käsitys kaikista näistä pienistä valitsimista ja nämä valitsimet edustavat talosta tulevaa tietoa, jota käsitellään reaaliajassa ja kertovat sinulle mitä tapahtuu. Yksinkertainen esimerkki on joukko ilmanpainetta ja lämpötilaa, jotka näemme missä näemme mitä tapahtuu reaaliajassa. Mutta kuvittelen tuon jopa silloin, kun RAND Corporation kokosi pienen mallin, he todellakin miettivät tietojen käsittelyä ja analyyttisen suorittamista sille, koska se tulee stream-muodossa. En ole aivan varma, miksi he asettavat ohjauspyörän tietokoneelle, mutta se on aika siistiä.
Tulostimen keksimisestä lähtien meillä on ollut käsitys tietojen sieppaamiseen ja eräanalyysien suorittamiseen siihen. Kuten olen sanonut suuressa muutoksessa nyt ja olemme nähneet tämän kaikkien tunnettujen web-pelaajien tykkäämistä, he ovat kaikki kotitalousmerkkejä, kuten Twitter, Facebook ja LinkedIn, interaktiivista käyttäytymistä, joka meillä on niiden sosiaalisten ryhmien kanssa käyttöympäristöt eivät edellytä vain sieppausta, tallentamista ja sitten prosessointia eräajona, mutta ne todellakin kaappaavat ja ajavat analytiikkaa lennossa läpi tulevien datavirtojen kautta. Lähettäessään jotain, heidän ei tarvitse vain siepata ja tallentaa ja tehdä jotain myöhemmin, vaan heidän on myös voitava laittaa se heti takaisin streamiini ja jakaa se muiden minua seuraavien ihmisten kanssa. Se on eräkäsittelymalli.
Miksi menisimme tällä reitillä? Miksi organisaatiot sijoittaisivat aikaa, vaivaa ja rahaa edes harkitsemaan haastetta pyrkiä alaspäin stream-analytiikan tielle? Organisaatioilla on tämä valtava halu saada suorituskykyä kilpailijoihinsa nähden aloilla, joilla he ovat, ja että suorituskyvyn voitto voidaan nopeasti toteuttaa yksinkertaisella stream-analyysillä ja se voi alkaa yksinkertaiselta, vain reaaliaikaisen tiedon seurannalta, jota olemme jo perehtynyt. Sain siellä pienen kuvakaappauksen Google Analyticsista. Tämä on todennäköisesti yksi ensimmäisistä kerroista, jolloin olemme todella saaneet käytännöllisen kuluttajaluokituksen analytiikan. Joten kun ihmiset vierailivat verkkosivustollasi ja saat nämä osumakerrat, kun verkkosivustosi alaosaan on upotettu pieni JavaScripti HTML-koodiin, nämä pienet koodit tehtiin reaaliajassa takaisin Googlelle ja ne olivat suorittaa analytiikkaa niille tietovirtoille, jotka tulevat verkkosivustosi jokaiselta sivulta, jokaiselta verkkosivustosi objektilta reaaliajassa, ja he lähettävät sen takaisin sinulle tällä todella suloisella pienellä verkkosivulla reaaliaikaisen kuvaajan kojelaudan, söpöjen pienten histogrammien ja rivikaavio, joka näyttää sinulle X-lukumäärän ihmisiä, jotka ovat menneet sivullesi historiallisesti, mutta tässä on kuinka monta heitä on tällä hetkellä.
Kuten näet kuvakaappauksesta, se sanoo 25 nyt. Sillä sivulla oli tällä hetkellä 25 ihmistä silloin, kun kuvakaappaus tehtiin. Se on ensimmäinen todellinen mahdollisuus, jota pelasimme kuluttajaluokan analytiikkatyökalulla. Uskon, että monet ihmiset todella saivat sen. He vain ymmärsivät voiman tietää mitä tapahtui ja kuinka he voivat vastata siihen. Kun ajatellaan avioniikan laajuutta, ympärillä lentäviä lentokoneita, pelkästään Yhdysvalloissa tapahtuu 18 700 kotimaan lentoa päivässä. Luin paperia jonkin aikaa sitten - se oli noin kuusi tai seitsemän vuotta sitten -, että kyseisten lentokoneiden tuottaman datan määrä oli noin 200-300 megatavua vanhassa suunnittelumallissa. Nykypäivän ilma-alusten suunnittelussa nämä lentokoneet tuottavat noin 500 gigatavua dataa tai noin puoli teratavua dataa lentoa kohti.
Kun teet matematiikan erittäin nopeasti pään yläosasta, että 18 700 kotimaan lentoa 24 tunnin välein pelkästään Yhdysvaltojen ilmatilassa, jos kaikki nykyaikaiset lentokoneet tuottavat noin puoli teratavua, se on 43 - 44 petatavua dataa läpi ja se tapahtuu, kun koneet ovat ilmassa. Se tapahtuu, kun he laskeutuvat ja tekevät dataa. Silloin he menevät kauppaan ja saavat suunnittelutiimiltä täydellisen datan katsoa, mitä tapahtuu laakereissa, pyörissä ja moottoreiden sisällä. Osa näistä tiedoista on käsiteltävä reaaliajassa, jotta he voivat tehdä päätöksiä siitä, onko todellinen ongelma koneen ollessa ilmassa tai ollessaan maassa. Et vain voi tehdä sitä eräajona. Muilla teollisuudenaloilla, joita näemme siellä finanssi-, terveys-, valmistus- ja tekniikkakysymyksissä, he katsovat myös, kuinka he voivat saada tämän uuden käsityksen siitä, mitä reaaliajassa tapahtuu, sen sijaan, mitä vain tallennetaan tietokantoihin termi.
Tässä käsitteessä käsitellään myös tietoa, jota kutsun pilaantuvaksi tavaraksi tai helposti pilaantuvaksi hyödykkeeksi - että suuri osa tiedoista menettää arvon ajan myötä. Tämä pätee yhä enemmän liikkuvuussovelluksiin ja sosiaalisen median työkaluihin, koska mitä ihmiset sanovat ja mikä on nyt trendissä, on se, mihin haluat vastata. Kun mietit muita elämämme osia logistiikan ja elintarvikkeiden kuljetuksen kanssa, ymmärrämme pilaantuvan hyödykkeen käsitteen siinä mielessä. Ajattele kuitenkin organisaatiosi läpi meneviä tietoja ja arvoa, joka sillä on. Jos joku tekee liiketoimintaa kanssasi tällä hetkellä ja voit olla vuorovaikutuksessa heidän kanssaan reaaliajassa, et halua odottaa tuntia, jotta tiedot voidaan kaapata ja laittaa Hadoopin kaltaiseen järjestelmään ja painaa sitten tätä painiketta, sinä ei pysty käsittelemään sitä nyt ja haluat pystyä tekemään sen heti asiakkaan pyynnöstä. Siellä on termi, jonka näet ponnahdusikkunassa nyt, kun ihmiset puhuvat siitä, että sinulla on tämä reaaliaikainen tietovirta, joka voi antaa sinulle personoinnin, ja että personointi virittää käyttämäsi järjestelmä henkilökohtaiseen kokemukseesi. Joten kun osut esimerkiksi Google-hakutyökaluun, jos teen kyselyn ja teet saman kyselyn, emme aina saa täsmälleen samoja tietoja. Saamme pohjimmiltaan mitä viittaan kuuluisuuteen. Minua hoidetaan kertaluonteisena. Saan oman henkilökohtaisen versioni näiden järjestelmien tapahtumista perustuen profiiliin ja tietoon, jonka he ovat keränneet minusta, ja pystyin analysoimaan reaaliajassa streamissa.
Ajatus siitä, että tiedot ovat helposti pilaantuvia hyödykkeitä, on toistaiseksi todellinen asia, ja datan arvo, joka on ajan myötä vähentynyt, on jotain, joka meidän on käsiteltävä tänään. Se ei ole eilinen asia. Rakastan tätä kuvaa karhusta, joka tarttuu joesta hyppivälle lohelle, koska se todella maalaa tarkalleen sen, mitä näen streaming analytiikassa. Se on tämä massiivinen tiedonjohto tulossa meille, firehose jos haluat, ja karhu istuu puron keskellä. Se aikoo tehdä reaaliaikaista analyysiä ympärillä tapahtuvasta tapahtumasta siten, että se pystyy itse suunnittelemaan kykynsä vangita kyseinen kala ilmaan. Se ei ole kuin vain upottaminen streamiin ja tarttuminen siihen. Tämä juttu hyppää ilmaan ja sen on oltava oikeassa paikassa oikeaan aikaan kalan saaliiksi. Muuten hän ei saa aamiaista tai lounasta.
Organisaatio haluaa tehdä samoin tiedoillaan. He haluavat saada arvon nykyisestä liikkeessä olevasta suuresta tietomäärästä. He haluavat analysoida tietoja ja suuren nopeuden tietoja, joten kyse ei ole vain datan määrästä, vaan siitä, kuinka nopeasti se tulee tästä. Esimerkiksi turvallisuuden kannalta kaikki reitittimet, kytkimet, palvelimet, palomuurit ja kaikki tapahtumat tulevat niistä ja kymmenien tuhansien, ellei satojen tuhansien laitteiden kanssa, joissakin tapauksissa pilaantuvaa tietoa. Kun ajattelemme sitä esineiden Internetissä ja teollisessa Internetissä, puhumme miljoonista ellei jopa miljardeista sensoreista, ja koska tietoja tulee läpi, joka suorittaa analytiikkaa, tarkastelemme nyt monimutkaisten tapahtumien käsittelyä sellaisella suuruusluokalla ja nopeudella, jota emme ole koskaan edes nähneet ja joudumme käsittelemään tätä tänään. Meidän on rakennettava työkalut ja järjestelmät sen ympärille. Se on todellinen haaste organisaatioille, koska toisaalta meillä on erittäin suuret brändit, jotka tekevät itse DIY: tä, paistavat sen itse, kun heillä on kyky tehdä se ja taitojoukot sekä tekniikka. Mutta keskimääräisen organisaation tapauksessa niin ei ole. Heillä ei ole taitoa. Heillä ei ole kapasiteettia tai aikaa tai edes rahaa investoida selvittämiseen. He kaikki pyrkivät kohti tätä melko reaaliaikaisen päätöksenteon käsitettä.
Käytä tapauksia, joita olen törmännyt, ja niitä on jokaisella laaja-alaisella alueella, jonka voitte kuvitella. Ihmiset istuvat ja kiinnittävät huomiota ja sanovat, kuinka voimme soveltaa joitain analyyttisiä tietoja virtatietoihimme? Puhumme web-laajuisista verkkopalveluista. Siellä on perinteisiä sosiaalisen median alustoja sekä verkkokauppaa ja vähittäiskauppaa - esimerkiksi sovelluksia. He kaikki yrittävät antaa meille tämän reaaliaikaisen julkkiskokemuksen. Mutta kun alamme enemmän teknologiapinopalveluita, puhelinpalveluita, ääntä ja videota, näen ihmisten kävelevän tekemässä FaceTimeä puhelimissa. Se vain räjähtää. Se hämmentää mielestäni sitä, että ihmiset pitävät puhelinta edessään ja puhuvat ystävänsä videovirralle sen sijaan, että pitäisivät sitä enää korvansa vieressä. Mutta he tietävät pystyvänsä tekemään sen ja sopeutuivat, ja he pitivät kokemuksesta. Näiden sovellusten ja niitä tarjoavien alustojen kehittämisen on suoritettava reaaliaikainen analyysi kyseiselle liikenteelle ja sen profiileille, jotta he voivat tehdä yksinkertaisia asioita, kuten reitittää kyseisen videon täydellisesti, jotta äänen laatu saamasi video on riittävä saadaksesi hyvän kokemuksen. Tällaista tietoa ei voi eräkäsitellä. Se ei tekisi reaaliaikaisesta videovirrasta toiminnallista palvelua.
Rahoitustransaktioissa on hallintohaaste. Ei ole oikein päästä päivän päätteeksi ja selvittää, että rikot lakia siirtämällä yksityisiä tietoja ympäri paikkaa. Australiassa meillä on erittäin mielenkiintoinen haaste, jossa yksityisyyteen liittyvien tietojen siirtäminen merelle on kielletty. Et voi viedä PID-tunnustani, henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia tietojani offshore-tilille. Australiassa on lakeja estääkseen sitä tapahtumasta. Erityisesti finanssipalvelujen tarjoajien, valtion palvelujen ja virastojen, heidän on tehtävä reaaliaikaista analyysiä tietovirtoihinsa ja ohjeisiin kanssani varmistaakseen, että ne, mitä he tarjoavat minulle, eivät poistu rannoilta. Kaikkien tavaroiden on pysyttävä paikallisesti. Heidän on tehtävä se reaaliajassa. He eivät voi rikkoa lakia ja pyytää anteeksi myöhemmin. Petosten havaitseminen - se on melko selvä asia, josta kuulemme luottokorttitapahtumien yhteydessä. Mutta koska rahoituspalveluissa suoritettavat transaktiotyypit muuttuvat hyvin, hyvin nopeasti, on eräänlaisia asioita, jotka PayPal tekee ensin havaitsemalla petoksia reaaliajassa, kun raha ei liiku yhdestä asiasta toiseen, mutta se on rahoitusjärjestely järjestelmien välillä. Ebay tarjousympäristöt, petosten havaitseminen on tehtävä reaaliajassa suoratoimistossa.
Nyt on suuntaus siirtyä suorittamaan uutto ja muuttamaan kuormitustoimintoa streamissa, joten emme halua kaapata mitään streamiin menevää. Emme voi oikeasti tehdä sitä. Ihmiset ovat oppineet, että tiedot haluavat rikkoa todella nopeasti, jos kaappaamme kaiken. Temppu on nyt suorittaa analyysiä näille virroille ja tehdä ETL siinä ja vain kaapata tarvitsemasi, mahdollisesti metatiedot, ja ajaa sitten ennakoivaa analysointia, missä voimme tosiasiallisesti sitten kertoa, mitä tapahtuu, hieman kauempana polkuista, mitä me olemme juuri nähneet streamissä sen perusteella tekemämme analyysin perusteella.
Energia- ja yleishyödyllisten palvelujen tarjoajat kokevat tämän kuluttajien valtavan halun kysynnän hinnoittelusta. Voin päättää, että haluan ostaa vihreää voimaa yhdellä tietyllä kellonajalla, koska olen vain kotona yksin ja en käytä paljon laitteita. Mutta jos minulla on päivällinen, haluan ehkä, että kaikki laitteet ovat päällä, en halua ostaa halpaa virtaa ja odottaa sen toimittamista, mutta haluaisin maksaa lisää kustannuksia saadakseen tämän virran. Tämä kysynnän hinnoittelu etenkin yleishyödyllisissä palveluissa ja energiatiloissa on jo tapahtunut. Esimerkiksi Uber on klassinen esimerkki asioista, joita voit tehdä joka päivä, ja kaiken ohjaa kysynnän hinnoittelu. On olemassa joitain klassisia esimerkkejä siitä, että Australiassa ihmiset saavat 10 000 dollarin hinnat, koska uudenvuodenaattona valtava kysyntä. Olen varma, että he ovat käsitelleet tätä asiaa, mutta stream-analyysi suoritetaan reaaliajassa autossa ja kertoo sinulle, kuinka paljon minun pitäisi maksaa.
Asioiden Internet ja anturivirrat - olemme vain raaputtaneet pintaa tästä ja olemme todella käyneet juuri peruskeskustelua tästä, mutta näemme mielenkiintoisen muutoksen tekniikan käsittelemisessä, koska kun puhut vain noin tuhansia tai kymmeniä tuhansia, mutta satoja tuhansia ja mahdollisesti miljardeja laitteita, jotka virtaavat sinulle, melkein mikään nykyisistä tekniikkapinoistamme ei ole suunniteltu selviytymään siitä.
Paikalla on joitain todella kuumia aiheita, kuten turvallisuus ja verkkoriski. Ne ovat meille erittäin todellisia haasteita. Verkossa on todella siisti työkalu nimeltään Pohjois, jossa voit istua ja katsella verkkosivulla erilaisia reaaliajassa tapahtuvia kyberhyökkäyksiä. Kun tarkastelet sitä, luulet "Voi, se on mukava söpö pieni verkkosivusto", mutta noin viiden minuutin kuluttua siellä huomaat, kuinka paljon tietoa järjestelmästä analysoi kaikkien eri laitteiden ympäri maailmaa. joita ruokitaan heille. Se alkaa häiritä mieltä siitä, kuinka he suorittavat kyseisen levyn reunalla ja tarjoavat sinulle yksinkertaisen pienen näytön, joka kertoo mitä tai jotain muuta hyökkää sitä reaaliajassa ja millaisia hyökkäyksiä. Mutta se on todella siisti pieni tapa saada vain hyvä maku siitä, mitä stream-analytiikka voi sinulle tehdä reaaliajassa seuraamalla tätä sivua ja saaksesi käsityksen pelkästään äänenvoimakkuudesta ja haasteesta, joka liittyy streamien käsittelyyn, käsittelyyn analytiikkakyselyihin heitä ja edustavat sitä reaaliajassa.
Uskon, että keskusteluani, jonka minulla on lopun istunnon ajan, on tarkoitus käsitellä kaikkia näitä tyyppejä yhdellä mielenkiintoisella näkökulmalla, ja se on DIY: n haaste, leipoa se itse, sopii joihinkin klassiset yksisarviset, joilla on varaa rakentaa tällaisia asioita. Heillä on miljardeja dollareita näiden suunnittelutiimien ja tietokeskuksien rakentamiseksi. Mutta 99, 9%: lle organisaatioista, jotka haluavat saada arvoa stream-analytiikkaan liittyvässä liiketoiminnassaan, heidän on saatava hyllypalvelu. Heidän on ostettava tuote laatikosta ja he yleensä tarvitsevat konsultointipalvelua ja ammattitaitoista palvelua auttaakseen heitä toteuttamaan sen. He saavat arvon takaisin liiketoiminnassa ja myyvät sen yritykselle toimivana ratkaisuna.
Aion palata takaisin teille, Rebecca, koska uskon, että sitä me nyt käsittelemme yksityiskohtaisesti.
Rebecca Jozwiak: Erinomainen. Kiitos paljon, Dez. Se on hieno esitys.
Nyt annan pallon Robinille. Ota se pois.
Robin Bloor: Okei. Koska Dez on joutunut suoravirtaisten prosessointien kurjaan jauhoon, minusta ei tuntunut olevan järkevää peittää sitä uudestaan. Joten otan vain täysin strategisen näkemyksen. Tarkastellaan melkein erittäin korkealta tasolta, mitä helvettiä tapahtuu, ja sijoitan sen, koska mielestäni se saattaa auttaa ihmisiä, etenkin meitä ihmisiä, joita ei ole leiritetty virtojen käsittelyyn suurella syvyydellä ennen.
Virrankäsittely on ollut olemassa jo pitkään. Kutsuimme sitä aiemmin CEP: ksi. Ennen sitä oli olemassa reaaliaikaisia järjestelmiä. Alkuperäiset prosessinohjausjärjestelmät todella prosessoivat tietovirtoja - tietysti mikään ei mennyt niin pitkälle kuin nykyään. Tämä grafiikka, jonka näet diassa täällä; se osoittaa monia asioita tosiasiallisesti, mutta se osoittaa kaiken muun ja ulkopuolella - tosiasian, että täällä on erilaisia viiveitä, jotka esiintyvät eri väreissä. Se mitä tapahtui tietotekniikan tai kaupallisen laskennan keksinnän jälkeen, joka saapui aivan 1960-luvulla, on, että kaikki on vain noussut. Aikaisemmin pystyimme olemaan riippuvaisia siitä, miten tämä todella tuli esiin, jos pidät aalloista, koska se näyttää siltä. Tämä todella riippuu siitä. Koska kaiken ohjasi Mooren laki ja Mooren laki antaisi meille kertoimen, joka on noin kymmenen kertaa nopeampi noin kuuden vuoden aikana. Sitten kun olemme tosiasiallisesti päässeet vuoteen 2013, kaikki rikkoi, ja aloimme yhtäkkiä kiihtyä nopeudella, jota emme koskaan ole, mikä on omituisen ennennäkemätöntä. Saimme noin kymmenen kertoimen nopeuden lisääntymisen ja siten viiveen vähentymisen suhteen joka kuusi vuotta. Noin vuodesta 2010 lähtien kuluneiden kuuden vuoden aikana meillä on vähintään tuhannen kerrannainen. Kolme suuruusluokkaa yhden sijaan.
Sitä on tapahtunut, ja siksi teollisuus näyttää tavalla tai toisella liikkuvan fantastisella nopeudella - koska se on. Vain läpi tämän nimenomaisen kuvan merkityksen vasteajat ovat muuten tosiasiassa algoritmisessa mittakaavassa pystyakselin alapuolella. Reaaliaika on tietokoneen nopeus, ihmisiä nopeampi. Interaktiiviset ajat ovat oransseja. Se on silloin, kun olet vuorovaikutuksessa tietokoneen kanssa, ja sinä haluat todella kymmenesosasta noin sekuntiin viiveen. Yllä on tapahtuma, jossa me todella ajattelemme mitä teet tietokoneella, mutta jos se sammuu noin 15 sekunnissa, siitä tulee sietämätöntä. Ihmiset todella eivät vain odota tietokonetta. Kaikki tehtiin erissä. Monet asiat, jotka tehtiin erässä, ovat tulossa nyt suoraan transaktiotilaan, suoraan interaktiiviseen tilaan tai jopa reaaliaikaiseen tilaan. Kun aikaisemmin aaltoileva, jolla oli hyvin pieniä tietomääriä, voimme tehdä osan tästä, nyt voimme tehdä erittäin suurilla tietomäärillä käyttämällä erittäin mitoitettua ympäristöä.
Joten pohjimmiltaan kaikki nämä sanovat olevan todella tapahtuma ja interaktiivinen ihmisen vastausaika. Hirveä paljon siitä, mitä virroilla tällä hetkellä tehdään, on ihmisille tiedottaminen asioista. Osa siitä menee nopeammin ja tiedottaa asioita hyvin, joten se on reaaliaikainen. Sitten otamme lisenssin pudota vain kuin kivi, jolloin välitön analysointi on mahdollista ja muuten melko kohtuuhintaista. Ei ole vain, että nopeus on laskenut, ja myös yläosa on romahtanut. Todennäköisesti suurin vaikutus näihin kaikkiin kaikista sovelluksista, voit tehdä kaikki nämä ennustavat analytiikat. Kerron sinulle miksi minuutissa.
Tämä on vain rautakauppa. Sinulla on rinnakkaisohjelmisto. Puhumme vuodesta 2004. Skaalattava arkkitehtuuri, moniytimiset sirut, muistin lisäys, konfiguroitava CPU. SSD-levyt menevät nyt paljon nopeammin kuin kehruukiekko. Voit melko paljon aalto kehruu levy hyvästellä. SSD-levyt ovat myös useassa ytimessä, joten taas nopeammin ja nopeammin. Pian ilmestymään, meillä on muistikirja HP: ltä. Meillä on 3D XPoint Inteliltä ja Micronilta. Niiden lupaus on, että se saa kaiken kuitenkin kulkemaan nopeammin ja nopeammin. Kun todella ajattelet kahta uutta muistitekniikkaa, jotka molemmat tekevät kokonaisuudesta pienen osan, yksittäinen piirilevy menee nopeammin, emme ole edes nähneet sen loppua.
Streams-tekniikka, joka on todella seuraava viesti, on täällä jäädäkseen. Siellä on oltava uusi arkkitehtuuri. Tarkoitan, että Dez on eräänlainen maininnut tämän esityksessään useissa kohdissa. Vuosikymmenien ajan tarkastelimme arkkitehtuuria yhdistelmänä tietokasoja ja dataputkia. Meillä oli tapana käsitellä kasoja ja pyrkimme putkistamaan tietoja kasojen välillä. Siirrymme nyt pohjimmiltaan kohti sitä, jota kutsumme Lambda-tietoarkkitehtuuriksi, joka yhdistää tietovirtojen käsittelyn tietokasoihin. Kun käsittelet tosiasiallisesti tulevaa tapahtumavirtaa vastaan historiallista dataa tietovirrana tai tietokasana, tarkoitan sitä Lambda-arkkitehtuurilla. Tämä on vasta alkuvaiheessa. Se on vain osa kuvaa. Jos pidät jotain niin monimutkaista kuin Internet kaikesta, jonka Dez on myös maininnut, huomaat todellakin, että tiedon sijaintipaikkaan liittyy kaikenlaisia ongelmia - päätöksiä siitä, mitä sinun tulisi käsitellä streamissä.
Asia, jonka sanon täällä, on se, että prosessoidessamme erässä prosessoimme tosiasiallisesti virrat. Emme vain pystyneet tekemään sitä yksi kerrallaan. Odotamme vain, kunnes siellä on iso kasa tavaraa, ja käsittelemme sen sitten kaikki kerralla. Olemme siirtymässä tilanteeseen, jossa todella pystymme käsittelemään streamin tavaroita. Jos pystymme käsittelemään streamissä olevia tavaroita, niin pitämämme datakeroista tulee staattista dataa, johon meidän on viitattava, jotta voimme käsitellä streamissa olevia tietoja.
Tämä vie meidät tähän erityiseen asiaan. Olen maininnut tämän aiemmin jossain biologisen analogian esityksessä. Tapa, jonka haluaisin sinun ajattelevan, on tällä hetkellä ihmisiä. Meillä on kolme erillistä verkkoa reaaliaikaiseen ennakoivaan käsittelyyn. Niitä kutsutaan somaattisiksi, autonomisiksi ja enteerisiksi. Enteerinen on vatsasi. Autonominen hermosto huolehtii taistelusta ja lennoista. Se itse asiassa huolehtii nopeista reaktioista ympäristöön. Somaattiset, jotka huolehtivat kehon liikkumisesta. Ne ovat reaaliaikaisia järjestelmiä. Mielenkiintoinen asia siinä - tai mielestäni on sellainen mielenkiintoinen - on, että monet niistä ovat ennakoivampia kuin mitä koskaan voisi kuvitella. Tuntuu siltä, että katsot näytöllä noin 18 tuumaa kasvosi ympäriltä. Kaikki mitä näet selvästi, kaikki mitä kehosi pystyy näkemään selvästi, on itse asiassa noin 8 × 10 suorakulmio. Kaikki tämän ulkopuolella on todella hämärtynyt kehosi suhteen, mutta mielesi tosiasiallisesti täyttää aukot ja tekee siitä epäterävän. Et näe hämärtymää ollenkaan. Näet sen selvästi. Mielesi todella tekee ennustavaa menetelmää tietovirrasta voidaksesi nähdä selvyyden. Se on eräänlainen utelias asia, mutta voit tosiasiallisesti tarkastella hermostojärjestelmän toimintaa ja tapaa, jolla onnistumme kiertämään ja käyttäytymään kohtuullisesti - ainakin jotkut meistä - kohtuullisen järkevästi ja olematta kimpussa asioihin koko ajan.
Se kaikki tehdään sarjan neuraalianalyysiasteikolla täällä. Mitä tapahtuu on, että organisaatioilla tulee olemaan samanlaista asiaa ja rakennetaan samanlaista asiaa, ja se tulee olemaan prosessien käsittely, mukaan lukien organisaation sisäiset virrat - asiat, jotka tapahtuvat sisällä se, asiat, jotka tapahtuvat sen ulkopuolella, välittömät vastaukset, jotka todella on tehtävä, tietysti ruokkivat ihmistä tekemään päätöksiä, jotta nämä kaikki tapahtuisi. Siihen menemme, sikäli kuin näen.
Yksi niistä seurauksista, että suoratoistosovelluksen taso menee hyvin. Siellä tulee olemaan kauhean paljon enemmän kuin näemme nyt. Tällä hetkellä poimimme matalalla hedelmää tehdä selviä asioita.
Joten joka tapauksessa se on johtopäätös tästä. Analysoinnin suoratoisto on kerran oma markkinarako, mutta siitä on tulossa yleistä ja se otetaan pian käyttöön yleisesti.
Annan sen takaisin Rebeccaan.
Rebecca Jozwiak: Kiitos paljon, Robin. Upea esitys tavalliseen tapaan.
Anand, olet seuraavassa. Lattia on sinun.
Anand Venugopal: Fantastinen. Kiitos.
Nimeni on Anand Venugopal ja olen StreamAnalytixin tuotepäällikkö. Se on tuote, jonka tarjoaa Impetus Technologies, Los Gatos, Kalifornia.
Impetuksella on ollut todella suuri historia ollessaan iso dataratkaisujen toimittaja suurille yrityksille. Joten olemme tosiasiallisesti tehneet useita streaming-analytiikan toteutuksia palveluyrityksenä ja saaneet paljon oppia. Vaihimme myös pariksi viimeksi kuluneeksi vuodeksi tuote- ja ratkaisuvetoiseksi yritykseksi, ja stream-analytiikka on vastuussa muutoksesta Impetuksen muuttamiseksi suurelta osin tuotevetoiseksi yritykseksi. On joitain kriittisiä, erittäin, erittäin tärkeitä hyödykkeitä, jotka Impetus selvitti yrityksille altistamisen ansiosta, ja StreamAnalytix on yksi niistä.
Olemme liiketoiminnassa 20 vuotta ja siellä on loistava valikoima tuotteita ja palveluita, jotka tekevät meistä valtavan edun. Ja StreamAnalytix syntyi kaikista oppista, jotka opimme viidestä tai kuudesta ensimmäisestä suoratoiston toteutuksesta.
Käsittelen muutamia asioita, mutta analyytikot, Dez ja Robin, ovat tehneet upeaa työtä peittämällä koko tilan, joten aion ohittaa paljon päällekkäistä sisältöä. Menen todennäköisesti nopeasti. Näemme todellisten suoratoistotapausten lisäksi paljon vain eräkiihdytystä, kun yrityksissä on kirjaimellisesti erittäin tärkeitä eräprosesseja. Kuten voitte nähdä, koko tapahtuman havaitsemisen ja sen analysoinnin ja siihen toimimisen jakso voi todellakin viedä viikkoja suurissa yrityksissä, ja he kaikki yrittävät kutistaa sen minuutteihin ja joskus sekunteihin ja millisekuntiin. Joten kaikki, jotka ovat nopeampia kuin kaikki nämä eräprosessit, ovat ehdokkaita yritystoiminnan hankkimiseksi, ja se on hyvin, että datan arvo vähenee dramaattisesti sen iän myötä, joten mitä enemmän arvoa alkuperäisellä osuudella on sekunneissa, että juuri tapahtui. Ihannetapauksessa, jos voisit ennustaa, mitä tapahtuu, se on suurin arvo. Se riippuu kuitenkin tarkkuudesta. Seuraava korkein arvo on, kun se on siellä, kun se tapahtuu, voit analysoida sitä ja vastata. Tietysti arvo vähenee dramaattisesti sen jälkeen, tärkein rajoittava BI, johon olemme sijoittuneet.
Se on kiinnostavaa. Saatat odottaa dramaattisesti tieteellistä vastausta miksi streaming analytics. Monissa tapauksissa se, mitä näemme, johtuu siitä, että se on nyt mahdollista ja koska kaikki tietävät, että erä on vanha, erä on tylsää ja erä ei ole siisti. Kaikilla on nyt ollut tarpeeksi koulutusta siitä, että suoratoisto on mahdollista ja jokaisella on nyt Hadoop. Nyt Hadoop-jakeluissa on upotettu streaming-tekniikka, olipa kyseessä Storm- tai Spark-streaming, ja tietysti viestijonot, kuten Kafka, jne.
Näkemämme yritykset hyppäävät siihen ja alkavat kokeilla näitä tapauksia, ja näemme kaksi laajaa luokkaa. Yhdellä on jotain tekemistä asiakasanalyysien ja asiakaskokemuksen kanssa ja toisella operatiivisella tiedolla. Tarkastelen joitain yksityiskohtia siitä vähän myöhemmin. Koko asiakaspalvelun ja asiakaskokemuksen näkökulma ja me, Impetus StreamAnalytixillä, olemme tehneet tämän monilla eri tavoilla, on oikeastaan kyse oikeastaan, vangitsemalla kuluttajan monikanavainen sitoutuminen reaaliajassa ja antamalla heille erittäin, erittäin asiayhteyteen liittyviä kokemuksia jotka eivät ole nykyään yleisiä. Jos selaat verkossa, Bank of America -sivustolla ja tutkit joitain tuotteita ja soitat vain puhelinkeskukseen. Sanoisiko he: "Hei Joe, tiedän, että tutkit joitain pankkituotteita, haluaisit minun täyttävän sinut?" Et odota sitä tänään, mutta se on sellainen kokemus, joka on todella mahdollista streaming-analytiikan avulla. Monissa tapauksissa sillä on valtava ero, varsinkin jos asiakas aloitti tutkimuksen tapoista päästä eroon kanssasi tekemästään sopimuksesta etsimällä verkkosivustollesi ennenaikaisia irtisanomislausekkeita tai varhaissuhteen ehtoja ja soittaa sitten sinulle, ja et voi ota suoraan yhteyttä heihin siitä, mutta tee vain epäsuorasti tarjous jonkinlaisesta ensimmäisestä ylennyksestä, koska järjestelmä tietää, että tämä henkilö etsii varhaista irtisanomista ja kun teet tarjouksen tuolloin, voisit hyvinkin suojella tätä houkuttelevaa asiakasta ja suojata kyseistä omaisuutta .
Se olisi yksi esimerkki, ja monet asiakaspalvelut ovat kaikki erittäin hyviä esimerkkejä. Toteutamme tänään alentaa kustannuksia puhelinkeskuksessa ja tarjoaa dramaattisesti ilahduttavia asiakaskokemuksia. Dez teki hienoa työtä tiivistämällä joitain käyttötapauksia. Voit tuijottaa tätä kaaviota muutama minuutti. Luokittelin sen pystysuoraksi, vaakasuoraksi ja yhdistelmäalueeksi, Internet-verkkoon, mobiilisovellukseen ja puhelinkeskukseen. Ne ovat kaikki pysty- ja vaakatasoja. Se riippuu siitä, kuinka katselet sitä. Bottom line, näemme paljon horisontaalisia käyttötarkoituksia, jotka ovat melko yleisiä teollisuudenaloilla, ja on olemassa vertikaalisia erityiskäyttötapauksia, mukaan lukien rahoituspalvelut, terveydenhuolto, televiestintä, valmistus jne. Jos kysyt itse itseltäsi kysymystä tai kerrot itsellesi että ”voi, en tiedä mitä käyttötapauksia on olemassa. En ole varma, onko streaming-analytiikalla todella mitään arvoa yritykselleni tai yrityksellemme ”, ajattele kovasti, ajattele kahdesti. Keskustele muiden ihmisten kanssa, koska yrityksessäsi on käyttötapauksia, jotka ovat ajankohtaisia. Tarkastelen yrityksen arvoa siitä, kuinka liikearvo tarkalleen johdetaan.
Täällä olevan pyramidin alaosassa on ennakoiva ylläpito, turvallisuus, vaihtosuojaus jne. Tällaiset käyttötapaukset muodostavat tulojen ja omaisuuden suojan. Jos Target suojaa heidän tietoturvaloukkauksiaan, joita tapahtui tuntien ja viikkojen ajan, CIO olisi voinut pelastaa työpaikkansa. Se voisi säästää kymmeniä tai satoja miljoonia dollareita jne. Reaaliaikainen suoratoistoanalytiikka todella auttaa suojaamaan näitä varoja ja tappioita. Se on suoraa liiketoiminnan lisäarvoa heti.
Seuraava luokka on tulossa kannattavammaksi, alentaen kustannuksiasi ja saamaan enemmän tuloja nykyisestä toiminnasta. Se on nykyisen yrityksen tehokkuutta. Nämä ovat kaikki käyttötapausryhmiä, joita kutsumme reaaliaikaiseksi operatiiviseksi tiedusteluksi, jolloin saat syvällistä tietoa siitä, kuinka verkko toimii, miten asiakkaasi toiminnot käyttäytyvät, miten liiketoimintaprosessisi käyttäytyvät ja pystyt säätämään kaikki tämä reaaliajassa, koska saat palautetta, saat hälytyksiä. Saat häiriöitä, variaatioita reaaliajassa ja voit nopeasti toimia ja erottaa prosessin, joka poistuu rajoista.
Voit säästää myös paljon rahaa kalliissa pääoman päivityksissä ja asioissa, jotka pidät tarpeellisina ja jotka eivät välttämättä ole tarpeen, jos optimoit verkkopalvelun. Kuulimme tapauksesta, jossa suuri puhelinlaskuri lykkäsi 40 miljoonan dollarin päivitystä verkkoinfrastruktuuriinsa, koska he huomasivat, että heillä oli tarpeeksi kapasiteettia hallita nykyistä liikennettä, eli optimoimalla ja tehostamalla heidän liikenteen ja vastaavien älykästä reititystä. Ne ovat kaikki mahdollisia vain jollain reaaliaikaisella analyysillä ja toimintamekanismilla, joka vaikuttaa näihin oivalluksiin reaaliajassa.
Seuraava lisäarvon taso on up-sell, cross-sell, missä on mahdollisuuksia saada enemmän tuloja ja voittoja nykyisistä tarjouksista. Tämä on klassinen esimerkki, jonka monet meistä tietävät kokeneistaan tilanteista, joissa ajattelet elämässäsi, jos olet valmis ostamaan tuotteen, jota ei tarjota sinulle tänään. Monissa, monissa tapauksissa niin todella tapahtuu. Sinulla on mielessäsi asioita, joista haluat ostaa, jotka tiedät haluavasi ostaa, että sinulla on tehtäväluettelo tai jotain, mitä vaimosi kertoi sinulle tai jos sinulla ei ole vaimoa, mutta todella halusit ostaa ja lähdet joko ostoksille verkkosivustolle tai olet tekemisissä vähittäiskaupan kanssa, myymälällä ei vain ole kontekstia, sillä ei ole älykkyyttä laskeaksesi mitä tarvitset. Siksi he eivät saa liiketoimintaa turvassa. Jos suoratoistoanalytiikkaa voitaisiin käyttää todella tarkkojen ennusteiden tekemiseen ja jotka ovat todella mahdollisia siinä, mikä sopisi parhaiten tähän erityiseen tilanteeseen, tällä asiakkaalla tällä hetkellä tässä paikassa, on paljon ylösmyyntiä ja ristiinmyyntiä ja se tulee jälleen virtausanalyysi - mahdollisuus tehdä taipumuspäätös siitä, mitä tämä asiakas todennäköisesti ostaa tai vastaa siihen totuuden hetkellä, kun siellä on mahdollisuus. Siksi rakastan sitä kuvaa, jonka Dez näytti karhun kanssa juuri syövän tuota kalaa. Se on melko paljon.
Katsomme myös, että siellä on suuri luokka dramaattisista, muutoksellisista muutoksista yrityksessä, joka tarjoaa täysin uusia tuotteita ja palveluita, jotka perustuvat yksinkertaisesti asiakaskäyttäytymisen havaitsemiseen, kaikki perustuvat toisen yrityksen käyttäytymisen havaitsemiseen. Jos sanotaan, että puhelin- tai kaapeliyhtiö todella tarkkailee asiakkaiden käyttötapoja siinä markkinasegmentissä, jota hän tarkastelee, mihin ohjelmaan milloin, jne., He lopulta luovat tuotteita ja palveluita, joita lähes kerätään sillä jollain tavalla. Joten koko moninäyttökäyttäytymisen käsite juuri nyt, jossa olemme nyt melkein itsestään selviä, että näemme televisiossa tai kaapelisisällössä mobiilisovelluksissamme. Jotkut näistä esimerkeistä ovat peräisin niistä uusista tuotteista ja palveluista, joita meille tarjotaan.
Siirryn kysymykseen: “Mitkä ovat streaming analytiikan arkkitehtuurinäkökohdat?” Viime kädessä sitä yritämme tehdä. Tämä on Lambda-arkkitehtuuri, jossa sekoitat historiallista tietoa ja reaaliaikaisia oivalluksia ja näet sen samanaikaisesti. Sitä Sigma mahdollistaa. Meillä kaikilla on tänään eräarkkitehtuuri ja yrityskuva. Valitsemme jonkinlaista BI-pinoa ja käyttöpinoa ja Lambda-arkkitehtuuria lisättynä. Koska nopeuskerros tai tarve ja Lambda on kyse näiden kahden oivalluksen yhdistämisestä ja sen näkemisestä yhdistetyllä tavalla, rikkaalla tavalla, joka yhdistää molemmat oivallukset.
On olemassa toinen kappa-arkkitehtuuriksi kutsuttu nimeltään paradigma, jossa arvellaan, että nopeuskerros on ainoa syöttömekanismi, joka jatkuu pitkällä aikavälillä. Kaikki tulee läpi tämän nopeuskerroksen. Ei ole olemassa edes offline-ETL-mekanismia. Kaikki ETL tapahtuu. Puhdistus, tietojen puhdistus, laadukas ETL - kaikki tämä tapahtuu johdolla, koska pidä mielessä, että kaikki tiedot syntyivät reaaliajassa. Jossain vaiheessa se oli reaaliaikaista. Olemme tottuneet asettamaan tämän järville, joille ja valtamerelle, tekemällä sen sitten staattisella analyysillä, unohtaessamme datan syntyneen jossain vaiheessa reaaliajassa. Kaikki tiedot ovat tosiasiallisesti syntyneet reaaliaikaisena tapahtumana, joka tapahtui ajankohtana, ja suurin osa nykyisen järven tiedoista vain asetettiin tietokantaan myöhempää analyysiä varten, ja meillä on nyt Lambda- ja Kappa-arkkitehtuurissa se etu, että sen näkeminen, analysointi, esikäsittely ja reagointi siihen saapuessaan. Juuri nämä tekniikat mahdollistavat sen. Kun tarkastelet sitä kokonaiskuvana, se näyttää jotain tällaista, missä Hadoop on sisällä, MPP: t ja jo olemassa olevat tietovarastot.
Asetimme tämän, koska on tärkeää, että puhumme pelkästään uusista tekniikoista saarella. Heidän on integroitava. Niiden on oltava järkeviä nykyisessä yritystilanteessa, ja yrityksiä palvelevina ratkaisuntoimittajina olemme erittäin herkkiä tälle. Autamme yrityksiä integroimaan kaiken asian. Vasemmalla puolella on tietolähteitä, jotka syöttävät sekä Hadoop- että tietovarastokerroksia sekä reaaliaikaista kerrosta, ja jokainen näistä entiteetteistä on varastotietokoneita, kuten voit nähdä, ja tietojen kulutuskerros on oikealla puolella. Pyrimme jatkuvasti siirtämään suurimman osan säännöstenmukaisuudesta, hallinnosta, turvallisuudesta, elinkaarien hallinnasta jne., Jotka ovat nykyään saatavilla, kaikki on hyödynnetty tähän uuteen tekniikkaan.
Yksi stream-analytiikan yrittämistä asioista. Jos tarkastellaan maisemaa tänään, streaming-tekniikan maastossa tapahtuu paljon asioita, ja yritysasiakkaiden kannalta on niin paljon ymmärrettävää. Siellä on niin paljon pysymistä. Vasemmalla puolella on tiedonkeruumenetelmiä - NiFi, Logstash, Flume, Sqoop. Olen tietysti antanut vastuuvapauslausekkeen, jonka mukaan se ei ole tyhjentävä. Tulee viestijonoihin ja sitten tulee avoimen lähdekoodin suoratoistokoneisiin - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron ei todennäköisesti ole vielä avoimen lähdekoodin. En ole varma, onko Twitteristä. Ne streaming-moottorit johtavat sitten asetukseen tarkoitettuun analyyttiseen sovelluskomponenttiin, kuten monimutkaiseen tapahtumien käsittelyyn, koneoppimiseen, ennustavaan analytiikkaan, hälytysmoduuliin, streaming ETL: ään, rikastustilastotoimintojen suodattimiin. Niitä kutsumme nyt operaattoreiksi. Niiden operaattoreiden joukosta, jotka on narrattu yhteen, voisi mahdollisesti olla myös jotakin tapaa, joka tarvittaessa pääosin päättyy, tulee streaming-sovellukseksi, joka toimii streaming-moottorilla.
Osana tätä komponenttiketjua sinun on myös tallennettava ja indeksoitava tiedot suosikkitietokantaasi, suosikkihakemistoosi. Saatat joutua levittämään välimuistin ja jälleen sen, joka johtaa tietovisuaalikerrokseen yläosassa oikealla puolella kaupallisiin tuotteisiin tai avoimen lähdekoodin tuotteisiin, mutta viime kädessä tarvitset jonkinlaista tuotetta tämän kuvan visualisoimiseksi reaaliajassa. Lisäksi sinun on joskus hahmotettava muita sovelluksia. Olemme kaikki nähneet, että arvot, jotka johdetaan vain tekemästäsi käsityksestä, kyseinen toiminta tulee laukaisemaan analyyttisestä pinosta toiseen sovelluspinoon, joka ehkä muutti jotain IVR-puolella tai laukaisee puhelinkeskuksen lähtevä puhelu tai jotain sellaista. Meillä on oltava nämä järjestelmät integroituna ja jokin mekanismi streaming-klusterillesi käynnistämään muita sovelluksia datan lähettämiseen alavirtaan.
Se on kokonaispino siirtymästä vasemmalta oikealle. Sitten sinulla on palvelutasot, keskimmäinen valvonta, yleinen tietoturvapalvelukerros jne. Minkälaisia tuotteita asiakkaat näkevät yritystilassa, kuten Hadoop-jakelut, joissa kaikissa on suoratoisto kuten sanoin, ja siellä on kaupallista tai yksittäistä -vendor-ratkaisut, jotka ovat selvästi kilpailijoissamme. Maisemassa on myös paljon enemmän, joita emme ehkä ole maininneet täällä.
Sen, mitä näet siellä, laajasti yrityksen käyttäjä näkee. Kuten näette, monimutkainen ja nopeasti kehittyvä teknologiamaisema streamien käsittelyyn. Meidän on yksinkertaistettava valintaa ja heidän käyttökokemustaan. Ajattelemme, että yritykset todella tarvitsevat kaiken toiminnallisen abstraktin yhden luukun, helppokäyttöisessä käyttöliittymässä, joka yhdistää kaikki nämä tekniikat, mikä tekee käytöstä todella helpon ja ei paljasta kaikkia liikkuvia osia. ja huonontumista, suorituskykyä ja elinkaaren ylläpitoa koskevat kysymykset yritykselle.
Toimintojen abstraktio on yksi. Toinen osa on moottorin abstraktio. Suoratoisto-moottorit ja avoimen lähdekoodin verkkotunnukset ilmestyvät nyt joka kolmas, neljä tai kuusi kuukautta. Se oli Storm pitkään. Samza tuli esiin ja nyt se on Spark Streaming. Flink nostaa päätään ja alkaa saada huomiota. Jopa Spark Streaming -suunnitelma, he tekevät tavan käyttää erilaista moottoria puhdasta tapahtumien käsittelyä varten, koska he myös ymmärtävät, että Spark on suunniteltu erälle ja he tekevät tietä arkkitehtuurinäkemyksessään ja etenemissuunnitelmassaan mahdollisesti erilaiselle moottori virtaprosessointiin nykyisen mikrokertakuvion lisäksi Spark Streaming -tekniikassa.
On totta, että joudut kohtaamaan, että tapahtuu paljon evoluutiota. Sinun on todella suojeltava itseäsi tuolta tekniikan vuodelta. Koska oletuksena sinun täytyy valita yksi ja sitten elää sen kanssa, mikä ei ole optimaalista. Jos tarkastellaan sitä toisella tavalla, taistelet keskenään, "okei, minun täytyy ostaa oma käyttöjärjestelmä, jossa ei ole lukitusta, ei avoimen lähdekoodin vipuvaikutusta, se voi olla erittäin kallis ja rajoitettu joustavuus verrattuna kaikkiin näihin avoimen lähdekoodin pinoihin, joissa joudut tekemään sen itse. ”Jälleen kerran, kuten sanoin, se on paljon kustannuksia ja viivästyminen markkinoille pääsyyn. Sanomme, että StreamAnalytix on yksi esimerkki mahtavasta alustasta, joka yhdistää yritysluokan, luotettavan, yksittäisen toimittajan, tuetun ammattitaitoisen palvelun - kaiken tämän, jota todella tarvitset yrityksenä ja avoimen lähdekoodin ekosysteemin joustavuuden voimaa. jossa yksi alusta yhdistää ne - syö, CEP, analytiikka, visualisointi ja kaikki tämä.
Se tekee myös erittäin, erittäin ainutlaatuisen asian, joka yhdistää useita erilaisia teknologiamoottoreita yhden käyttökokemuksen alle. Uskomme todella, että tulevaisuus tarkoittaa sitä, että voimme käyttää useita virtausmoottoreita, koska erilaiset käyttötapaukset todella vaativat erilaisia suoratoistoarkkitehtuureja. Kuten Robin sanoi, viiveillä on koko kirjo. Jos puhut todella millisekunnin latenssitasosta, kymmenistä tai jopa satoista millisekunnista, tarvitset todella Stormia tällä hetkellä, kunnes on olemassa toinen yhtä kypsä tuote, jolla on vähemmän lievennys tai lievä aikataulu ja viiveet jopa muutamassa sekunnissa, kolmessa, neljä, viisi sekuntia, että etäisyys, niin voit käyttää Spark Streaming -sovellusta. Mahdollisesti on olemassa muita moottoreita, jotka voisivat tehdä molemmat. Bottom line, suuressa yrityksessä tulee olemaan kaikenlaisia käyttötapauksia. Haluat todella, että pääsyllä ja yleisyydellä olisi useita moottoreita yhdellä käyttökokemuksella, ja sitä yritämme rakentaa StreamAnalytixissä.
Vain nopea näkymä arkkitehtuuriin. Aiomme muokata tätä hieman, mutta pohjimmiltaan vasemmalla puolella on tulossa useita tietolähteitä - Kafka, RabbitMQ, Kinesis, ActiveMQ, kaikki nämä tietolähteet ja viestijonot tulevat streamin käsittelyalustaan, missä sinun on koottava sovellus, johon voit vetää ja pudottaa operaattoreilta kuten ETL: t, kaikki jutut, joista puhumme. Alla on useita moottoreita. Tällä hetkellä meillä on Storm- ja Spark Streaming -yritykset teollisuuden ainoana ja ensimmäisenä yritysluokan suoratoistoalustana, jolla on useita moottoritukea. Se on erittäin ainutlaatuinen joustavuus, jota tarjoamme kaiken muun reaaliaikaisten kojetaulujen joustavuuden lisäksi. CET-moottori upotettuna. Meillä on saumaton integrointi Hadoop- ja NoSQL-hakemistoihin, Solr- ja Apache-hakemistoihin. Voit laskeutua suosikki tietokantaasi riippumatta siitä, mikä se on ja rakentaa sovelluksia todella nopeasti, päästä markkinoille todella nopeasti ja pysyä tulevaisuuden todisteena. Se on koko mantramme StreamAnalytixissä.
Sen kanssa luulen päättäväni huomautukseni. Voit vapaasti tulla luoksesi lisää kysymyksiä. Haluaisin pitää puheenvuoron avoinna kysymyksiin ja vastauksiin sekä paneelikeskusteluihin.
Rebecca, sinulle.
Rebecca Jozwiak: Hienoa, okei. Kiitos paljon. Dez ja Robin, onko sinulla joitain kysymyksiä ennen kuin siirrämme sen yleisön kysymyksiin ja vastauksiin?
Robin Bloor: Minulla on kysymys. Laitan kuulokkeet takaisin päälle, jotta kuulet minut. Yksi mielenkiintoisista asioista, jos voisit kertoa siitä ystävällisesti minulle, monet siitä, mitä olen nähnyt avoimen lähdekoodin tilassa, näyttää siltä, mitä sanoisin minulle kypsymättömäksi. Tietyssä mielessä kyllä, voit tehdä erilaisia asioita. Mutta näyttää siltä, että tarkastelemme ohjelmistoja sen ensimmäisessä tai toisessa julkaisussa todellisuudessa, ja ihmettelin vain organisaationne kokemuksen perusteella, kuinka paljon näette Hadoop-ympäristön kypsyyttä ongelmallisena vai onko se jotain, joka ei t luoda liian monia ongelmia?
Anand Venugopal: Se on totta, Robin. Olet aivan oikeassa. Epäküpsyys ei ole välttämättä pelkästään toiminnallisen vakauden ja asioiden alueella, mutta ehkä myös joissakin tapauksissa siitä. Mutta kypsyysaste on enemmän käyttövalmiudessa. Avoimen lähdekoodin tuotteet, kun ne ilmestyvät ja vaikka he tarjoavatkin Hadoop-jakelua, ne ovat kaikki paljon erilaisia kykeneviä tuotteita, komponentit vain löi yhteen. Ne eivät toimi yhdessä saumattomasti, eikä niitä ole suunniteltu sujuvalle saumattomalle käyttökokemukselle, jonka saamme kuten Bank of America tai Verizon tai AT&T, jotta voimme ottaa käyttöön suoratoistoanalyysisovelluksen viikossa. Niitä ei ole suunniteltu varmasti siihen. Tästä syystä tulemme sisään. Yhdistämme sen ja olemme todella helppo ymmärtää, ottaa käyttöön jne.
Sen toiminnallinen kypsyys on mielestäni suurelta osin olemassa. Monet suuret yritykset käyttävät esimerkiksi Stormia tänään. Monet suuret yritykset pelaavat tänään Spark Streaming -sovelluksella. Jokaisella näillä moottoreilla on rajoituksensa siihen, mitä he voivat tehdä, siksi on tärkeää tietää, mitä voit ja mitä et voi tehdä jokaisella moottorilla. Ei ole mitään syytä murtaa päätäsi seinää vasten ja sanoa: "Katso minä valitsi Spark Streaming -sovelluksen, ja se ei sovellu minulle tällä tietyllä toimialalla. ”Se ei toimi. On tapauksia, joissa Spark Streaming on paras vaihtoehto, ja on tapauksia, joissa Spark Streaming ei ehkä toimi lainkaan sinulle. Siksi tarvitset todellakin useita vaihtoehtoja.
Robin Bloor: Sinulla on oltava asiantuntijaryhmät suurimmaksi osaksi tästä. Tarkoitan, etten edes tiedä mistä aloittaa. Taitava henkilöiden järkevä yhteistyö. Olen kiinnostunut siitä, miten sitoutuminen osallistuu ja miten se tapahtuu. Se johtuu siitä, että tietty yritys on jonkin tietyn sovelluksen jälkeen, vai näetkö sellaista, jota kutsun strategiseksi omaksumiseksi, kun he haluavat koko alustan tekevän paljon asioita.
Anand Venugopal: Näemme esimerkkejä molemmista, Robin. Jotkut kymmenen parhaan tuotemerkin joukosta, joita kaikki tietävät, käyttävät sitä strategisella tavalla. He tietävät, että heillä tulee olemaan erilaisia käyttötapauksia, joten he arvioivat alustaa, joka sopii tähän tarpeeseen, joka on useita erilaisia käyttötapauksia monivuokralaisella tavalla käytettäväksi yrityksessä. On kertakäyttöisiä tapaustarinoita, jotka myös alkavat. Asuntolainayrityksessä työskentelee erityinen liiketoiminnan seurannan tyyppinen käyttötapaus, jota et voi kuvitella ensimmäisenä käyttötapauksena, mutta se on heidän keksimänsä liiketoimintaratkaisu tai käyttötapaus, jonka jälkeen yhdistimme pisteet suoratoistoon . Sanoimme: "Tiedätkö mitä? Tämä on hieno tapa analysoida suoratoistoa ja näin voimme toteuttaa sen. ”Näin se alkoi. Sitten siinä prosessissa he saavat koulutuksen ja sanovat: “Voi vau, jos voimme tehdä tämän ja jos tämä on yleinen alusta, niin voimme erottaa sovelluksen, kerrostaa ne alustalle ja rakentaa paljon erilaisia sovelluksia tälle alustalla.”
Robin Bloor: Dez, onko sinulla kysyttävää?
Anand Venugopal: Dez on todennäköisesti mykkä.
Dez Blanchfield: Anteeksi, mykistys. Minulla oli vain hyvä keskustelu itse. Seuraamalla vain Robinin alkuperäistä havaintoa olet täysin oikeassa. Mielestäni haaste on nyt se, että yrityksillä on ekosysteemi sekä kulttuuri- ja käyttäytymisympäristö, jossa ilmainen ja avoimen lähdekoodin ohjelmisto on jotain, mikä heille on tiedossa ja he pystyvät käyttämään Firefoxin kaltaisia työkaluja selaimena ja sillä on ollut kunnollinen käyttöikä, kunnes siitä tulee vakaa ja turvallinen. Mutta jotkut niistä erittäin suurista alustoista, joita he käyttävät, ovat yritysluokan omia käyttöympäristöjä. Joten avoimen lähdekoodin käyttöympäristöjen käyttöönotto ei ole aina jotain, mikä on heille helppoa kulttuurisesti tai tunnepitoisesti. Olen nähnyt tämän vain pienten ohjelmien hyväksymisen kautta, jotka olivat paikallisia projekteja pelataksesi vain suuria tietoja ja analytiikkaa peruskonseptina. Mielestäni yksi keskeisistä haasteista, olen varma, että olet nähnyt ne nyt organisaatioiden kautta, on heidän halu saada lopputulos, mutta samalla heidän jalkansa on kiinnitetty vanhaan tölkkiin, josta he voisivat vain ostaa tämän “Lisää iso tuotemerkki” Oracle, IBM ja Microsoft. Nämä uudet ja tunnetut merkit ovat tulossa läpi Hadoop-alustoilla ja vielä enemmän. Mielenkiintoisempia merkkejä on tulossa, joiden kautta on huipputeknologiaa, kuten stream.
Millaisia keskusteluja sinulla on ollut sellainen saada tai leikata läpi? Tiedän, että osallistumme tänä aamuna massiiviseen läsnäoloon ja olen varma, että jokaisen mielestä jokainen mielestäni on “Kuinka leikata läpi koko haastava kerros hallitustasolta, oh, se on liian avoimen lähdekoodin ja liian verenvuoroinen reuna? "Kuinka asiakkaiden kanssa käymäsi keskustelut sujuvat ja kuinka pääset läpi siihen pisteeseen, jossa tyyppi pelottelee tyyppiäsi, jotta voit harkita StreamAnalytixin kaltaisten pelien omaksumista?
Anand Venugopal: Meillä on itse asiassa melko helppoa myydä arvo-esitystämme, koska asiakkaat siirtyvät luonnollisesti kohti avointa lähdekoodia suositeltavana vaihtoehtona. He eivät vain luopu ja sanovat: ”Okei, aion nyt käyttää avointa lähdekoodia.” He todella käyvät läpi sitoutuneen arvioinnin tärkeästä tuotteesta, sanotaan, että se on IBM tai tyypillinen tuote, koska heillä on nämä myyjäsuhteet. He eivät kohtele meitä tai avoimen lähdekoodin moottoria tuota tuotetta vastaan. He käyvät läpi 6–8–12 viikkoa arviointia. He vakuuttavat itsensä siitä, että täällä on tietynlainen suorituskyky ja vakaus, jota haluan, ja sitten he päättävät mieltään sanomalla: "Vau, tiedätkö mitä, voin itse tehdä tämän."
Esimerkiksi tänään meillä on merkittävä ensisijainen puhelinnumero, jolla on tuotannossa suoritettavia stream-analyyttisiä tuotteita paljon pinoa, ja he arvioivat sitä toista erittäin, erittäin suurta tunnettua myyjää vastaan ja he vakuuttuivat vasta sen jälkeen, kun olemme todistaneet kaikki suorituskyky, vakaus ja kaikki nämä asiat. He eivät pidä sitä itsestään selvänä. He saivat selville, että avoimen lähdekoodin asiantuntija on arviointinsa kautta, ja he ymmärtävät pahimmassa tapauksessa: ”Ehkä on niitä kahta käyttötapausta, joita en ehkä pysty tekemään, mutta suurin osa yrityksistäni on nykyään kiihtyvyyskäyttötapauksia avoimen lähdekoodin avulla. pino. ”Ja me sallimme sen käytön. Joten se on iso suloinen paikka täällä. He halusivat avoimen lähdekoodin. He todella haluavat päästä eroon myyjien lukitustilanteesta, johon he ovat tottuneet monien, monien vuosien ajan. Sitten me tulemme sanomaan: "Tiedätkö mitä, teemme avoimen lähdekoodin paljon, paljon helpompaa ja ystävällisempää käyttää sinulle."
Dez Blanchfield: Luulen, että toinen haaste, jonka yritykset löytävät, kun ne tuovat markkinoille perinteisen vakiintuneen operaattorin, ovat usein sukupolvi takana jännittävien juttujen verenvuoresta, joista puhumme täällä, enkä tarkoita sitä, että negatiivinen pieni. On totta, että todellisuus on, että heillä on sukupolvi ja matkansa läpi vapauttaakseen aseman, jota he pitävät vakaina alustoina, vanhan koulun kehittämis- ja UATN-integraatiosyklit ja testit ja dokumentaatio sekä markkinointi ja myynti. Kun taas tekemässäsi tyypissä mielestäni olen mielenkiintoinen ajatella, että katsomalla viime yön viimeisimpiä julkaisujasi teet jonkinlaista tutkimustyötä, saat tämän sekoituksen nyt missä sait pätevyys etukäteen konsultoinnin ja toteutuksen kannalta, mutta sait myös pinon, jonka voit kääntää sisään. Mielestäni tässä vakiintuneet operaattorit kamppailevat jonkin aikaa. Olemme nähneet monia heistä kuten minäkin markkinoilla. Ne ovat usein niin kutsutuissa kiinni-solmuissa, kun taas siitä mitä sanot meille, kun olet tekemässä keskusteluja ja toteuttamassa.
Voitteko antaa meille pari esimerkkiä joistakin raja-alueista, jotka olet nähnyt hyväksymisen? Esimerkiksi, on olemassa todella nichey-ympäristö, kuten rakettitiede, satelliittien sijoittaminen avaruuteen ja tiedon kerääminen Marsilta. On vain kourallinen ihmisiä, jotka tekevät niin planeetalla. Mutta on olemassa suuria pystysuoria, kuten terveys, esimerkiksi ilmailussa, merikuljetuksissa ja logistiikassa, valmistuksessa ja tekniikassa. Nämä ovat pari esimerkkiä suuremmista ja laajemmista teollisuudenaloista, joita olet ollut toistaiseksi, että olet nähnyt todella hyviä adoptio sisään?
Anand Venugopal: Telco on iso esimerkki.
Aion vain korjata diani täällä nopeasti. Näetkö kalvon täällä, tapaustutkimus 4?
Tässä on kyse suuresta puhelinta, joka syöttää digisovittimen tietoja ja tekee sen kanssa useita asioita. He katsovat, mitä asiakkaat todella tekevät reaaliajassa. He katsovat, missä virheet tapahtuvat reaaliajassa digisovittimissa. He yrittävät ilmoittaa puhelinkeskukselle, jos asiakas soittaa juuri nyt, koodilinkitiedot tämän asiakkaan digisovittimesta, huoltolippujen tiedot korreloivat nopeasti onko kyseisen asiakkaan digisovittimella ongelma vai ei edes ennen asiakas puhuu sanan. Jokainen kaapeliyhtiö, jokainen suuri puhelin yrittää tehdä tämän. He syövät digisovittimen tietoja, tekevät reaaliaikaista analyysiä, kampanja-analytiikkaa, jotta he voivat sijoittaa mainoksia. Käyttötarkoitus on valtava.
Kuten totesin, siellä on tämä asuntolainayritys, joka on jälleen yleinen malli, jossa suuret järjestelmät osallistuvat tietojen käsittelyyn. Tiedot, jotka kulkevat järjestelmän A kautta järjestelmästä B järjestelmään C, ja nämä ovat säänneltyjä yrityksiä, kaiken on oltava johdonmukaista. Usein järjestelmät menevät synkronoitumattomasti toistensa kanssa, yksi järjestelmä sanoo: ”Käsittelen sata lainaa, joiden kokonaisarvo on 10 miljoonaa dollaria.” Järjestelmä sanoo: “Ei, käsittelen 110 muun lainaa eri numero. ”Heidän on ratkaistava tämä todella nopeasti, koska he itse asiassa käsittelevät samaa tietoa ja tekevät erilaisia tulkintoja.
Olipa kyse luottokortista, lainankäsittelystä, liiketoimintaprosessista vai asuntolainan liiketoimintaprosessista tai jostakin muusta, autamme heitä tekemään vastaavuuksia ja täsmäytyksiä reaaliajassa varmistaaksemme, että kyseiset liiketoimintaprosessit pysyvät tahdissa. Se on toinen mielenkiintoinen käyttötapaus. Yksi Yhdysvaltain hallitus on urakoitsija, joka etsii DNS-liikennettä poikkeamien havaitsemiseksi. He ovat rakentaneet offline-koulutusmallin, ja he tekevät pisteytystä mallin perusteella reaaliaikaisessa liikenteessä. Jotkut niistä mielenkiintoisista käyttötapauksista. Eräs suuri lentoyhtiö tarkastelee turvajonoja ja he yrittävät antaa sinulle tiedon, että ”Hei, se on porttisi lentokoneellesi. TSA-jono on tänään noin 45 minuuttia verrattuna kahteen tuntiin verrattuna muuhun. ”Saat päivityksen etukäteen. He työskentelevät edelleen sen parissa. Mielenkiintoinen Internet-tapaus, mutta hieno tapa analysoida suoratoistoa asiakaskokemukseen.
Rebecca Jozwiak: Tämä on Rebecca. Kun olet käyttötapausten aiheena, yleisöjäseneltä on suuri kysymys, joka ihmettelee: ”Ovatko nämä tapaustutkimuksia, johdetaanko nämä aloitteet talon tietojärjestelmien analyyttiselta puolelta vai johdetaanko niitä enemmän yritys, jolla on erityisiä kysymyksiä tai tarpeita mielessä? ”
Anand Venugopal: Luulen, että näemme noin 60 prosenttia, 50–55 prosenttia, enimmäkseen proaktiivisia, innostuneita teknologia-aloitteita, jotka tietävät, jotka ovat melko taitavia ja ymmärtävät tiettyjä liiketoimintavaatimuksia, ja heillä on todennäköisesti yksi sponsori, jonka he Tunnistetut, mutta nämä ovat teknologiatiimiä, jotka valmistautuvat läpi käytetyn liiketoiminnan hyökkäysten hyökkäyksiin, ja kun he ovat pystyneet rakentamaan kyvyn, he tietävät voivansa tehdä tämän ja sitten mennä yritystoimintaan ja myymään aggressiivisesti. 30–40 prosentissa tapauksista näemme, että yrityksillä on jo tietty käyttötapaus, joka vaatii virtausanalyysikykyä.
Rebecca Jozwiak: Siinä on järkeä. Minulla on toinen yleisöjäsen, hieman teknisempi kysymys. Hän pohtii, tukevatko nämä järjestelmät sekä jäsenneltyjä että jäsentämättömiä tietovirtoja, kuten Twitter-streamien sedimenttejä tai Facebook-viestejä reaaliajassa, vai onko se ensin suodatettava?
Anand Venugopal: Tuotteet ja tekniikat, joista puhumme, tukevat erittäin välitömästi sekä jäsenneltyä että jäsentämätöntä tietoa. Ne voidaan konfiguroida. Kaikilla tiedoilla on jonkinlainen rakenne riippumatta siitä, onko kyse tekstistä, XML: stä tai jostakin muusta. Aikaleimasyötteellä on jonkin verran rakennetta. Siellä on ehkä toinen blob, joka on jäsentävä, jotta voit pistää parsit streamiin jäsentääksesi tietorakenteet. Jos se on jäsennelty, niin sanomme vain järjestelmälle: "Okei, jos pilkuilla erotetut arvot ja ensimmäinen on merkkijono, toinen on päivämäärä." Joten voimme injektoida kyseisen jäsentämisen älykorttiin yläruudun kerroksiin ja käsittele helposti sekä jäsenneltyä että jäsentämätöntä tietoa.
Rebecca Jozwiak: Minulla on toinen kysymys yleisöltä. Tiedän, että olemme juokseneet hiukan tunnin huipun ohi. Tämä osallistuja haluaa tietää, näyttää siltä, että reaaliaikaiset suoratoistosovellukset saattavat kehittää sekä tarpeen että mahdollisuuden integroitua takaisin transaktiojärjestelmiin, esimerkiksi niiden esittämiin petostentorjuntajärjestelmiin. Tällöin onko transaktiojärjestelmiä tarkistettava sopimaan siihen?
Anand Venugopal: Se on sulautuminen, eikö niin? Se on transaktiojärjestelmien yhdistelmä. Niistä tulee joskus tietolähde, jossa analysoimme tapahtumia reaaliajassa, ja monissa tapauksissa sanotaan esimerkiksi, että sovellusvirrat ovat täällä ja yritän näyttää staattisen tiedonhakusivuston ja tapauksessamme jonkinlaista suoratoistoa sisään ja etsit staattista tietokantaa, kuten HBase tai RDBMS, rikastuttaaksesi suoratoistoa ja staattista tietoa yhdessä päätöksenteon tai analyyttisen näkemyksen tekemiseksi.
Siellä on myös toinen suuri alan suuntaus, jota myös näemme - OLAP: n ja OLTP: n lähentyminen - ja siksi sinulla on Kudun kaltaisia tietokantoja sekä muistin sisäisiä tietokantoja, jotka tukevat samanaikaisesti sekä tapahtumia että analyyttistä käsittelyä. Suoratoistoprosessointikerros olisi kokonaan muistissa, ja tarkastelemme tai olemme tekemisissä joidenkin näiden transaktiotietokantojen kanssa.
Rebecca Jozwiak: Sekoitettu työmäärä on mielestäni yksi viimeisimmistä hyppyjen esteistä. Dez, Robin, onko sinulla kahdella lisää kysymyksiä?
Dez Blanchfield: Aion hypätä viimeiseen kysymykseen ja käsitellä sitä, jos et välitä. Ensimmäinen haaste, jonka organisaatiot, joiden kanssa olen viimeisen vuosikymmenen ajan kärsineet, johtavat tähän jännittävään stream-analyysin haasteeseen, ensinnäkin ne, jotka yleensä laitetaan takaisin pöydälle, kun aloimme keskustelun koko haasteesta, ovat missä saammeko taitosarjan? Kuinka koulutamme taitosarjan ja kuinka saamme tämän kyvyn sisäisesti? Pysymisen tullessa käteen pitää meidät matkan läpi ja toteuttaa sitten hienona ensimmäisenä askeleena, ja tehdä se on paljon järkevää.
Mutta keskisuurille ja suurille organisaatioille, millaisia asioita näet tällä hetkellä valmistautuessasi tähän, rakentamaan tätä kykyä sisäisesti, saamaan jotain pelkästään perussanastosta sen ympärillä ja millaiseen viestiin he voivat tehdä organisaatio, joka on siirtynyt tällaiseen kehykseen ja siirtänyt nykyisen teknisen henkilöstönsä IT-päällikölle uudelleen, jotta he voivat hoitaa tämän itse, kun rakennat ja toteutat sen? Hyvin lyhyesti sanottuna, millaisia haasteita ja miten he ratkaisevat, asiakkaat, joita käsittelette, minkä tyyppisiä haasteita he löytävät ja kuinka he käyvät läpi ratkaisemalla kyseisen uudelleenkoulutuksen ja kokemuksen ja tiedon palauttamisen valmistautuakseen tähän ja ollakseen pystytkö kiertämään toiminnallisesti?
Anand Venugopal: Usein pieni joukko ihmisiä, jotka yrittävät lähteä ostamaan streaming-analytiikkaalustaa, ovat jo kohtuullisen älykkäitä siinä mielessä, että he ovat Hadoopin tietoisia, he ovat jo saaneet Hadoop MapReduce -taitonsa ja koska he tekevät tiivistä yhteistyötä Hadoopin kanssa jakelutoimittaja, he ovat joko tuttuja. Kaikki saa esimerkiksi Kafkan. He tekevät jotain sen kanssa ja joko Storm- tai Spark-streaming on heidän avoimen lähdekoodin toimialueessa. Ehdottomasti ihmiset tuntevat sen tai rakentavat taitoja sen ympärille. Mutta se alkaa pienellä joukolla ihmisiä, jotka ovat riittävän taitavia ja riittävän älykkäitä. He osallistuvat konferensseihin. He oppivat ja kysyvät älykkäitä kysymyksiä myyjille ja joissain tapauksissa oppivat myyjien kanssa. Kun myyjät tulevat ja esittävät ensimmäisessä kokouksessa, he eivät ehkä tiedä tavaraa, mutta lukevat yhdessä ja alkavat sitten leikkiä sen kanssa.
Tämä pieni ihmisryhmä on ydin ja sitten se alkaa kasvaa ja kaikki ymmärtävät nyt, että ensimmäinen yrityskäyttöön tarkoitettu tapaus otetaan käyttöön. Alkaa aalto ja näimme viime viikolla pidetyssä Spark-huippukokouksessa, jossa Capital One: n kaltainen suuri yritys oli siellä ja täydessä vahvuudessa. He valitsivat Sparkin. He puhuivat siitä. He kouluttavat paljon ihmisiä Sparkissa, koska he osallistuvat siihen monissa tapauksissa myös käyttäjänä. Näemme saman monien, monien suurten yritysten kanssa. Se alkaa muutamalla pienellä joukolla erittäin älykkäitä ihmisiä ja sitten se alkaa yleisen koulutuksen aallon ja ihmiset tietävät, että kun vanhempi VP tai kerran vanhempi johtaja on linjassa ja he haluavat panostaa tähän asiaan ja sana kiertää ja he kaikki alkavat kerätä näitä taitoja.
Dez Blanchfield: Olen varma, että sinulla on myös fantastinen aika rakentaa noita mestaria.
Anand Venugopal: Kyllä. Meillä on paljon koulutusta, kun työskentelemme alkuperäisten mestarien kanssa, ja järjestämme koulutuskursseja, ja monien, useiden suurten asiakkaidemme hyväksi, olemme palanneet ja olimme koulutuksen aalloilla ja aalloilla saadaksemme paljon käyttäjiä yleiseen käyttövaiheeseen etenkin Hadoop MapReduce -sivustolla. Huomasimme, että suuressa luottokorttiyhtiössä, joka on meidän asiakasmme, olemme toimittaneet ainakin viisi tai kahdeksan erilaista koulutusohjelmaa. Meillä on myös ilmaisia yhteisöpainoksia kaikista näistä tuotteista, myös omamme, hiekkalaatikot, joita ihmiset voivat myös ladata, tottua ja kouluttaa itseään myös tällä tavalla.
Dez Blanchfield: Siinä kaikki, mitä minulla on tänä aamuna sinulle. Kiitos paljon. Minusta on uskomattoman mielenkiintoista nähdä mallit ja käyttötapaukset, jotka sinulla on meille tänään. Kiitos.
Anand Venugopal: Hienoa. Paljon kiitoksia ihmisille.
Rebecca Jozwiak: Kiitos kaikille liittymisestämme näihin Hot Technologies -verkkoviesteihin . On kiehtovaa kuulla Dez Blanchfieldiltä, tohtori Robin Bloorilta ja Impetus Technologiesilta, Anand Venugopal. Kiitos esittelijöille. Kiitos puhujille ja kiitos yleisölle. Meillä on ensi kuussa uusi Hot Technologies, joten etsi sitä. Löydät sisältömme aina arkistoidusta sivustosta Insideanalysis.com. Laitamme myös paljon sisältöä SlideShareen ja kiinnostavia bittejä myös YouTubeen.
Siinä kaikki ihmiset. Kiitos vielä kerran ja hyvä päivä. Hei hei.
