Big datan vuosi 2014

Hyvä vuosi edessä

Vuodesta 2014 tullee big datan läpimurtovuosi käytännössä. Hadoop-osaajia hakevat nyt mm. Rovio, Fonecta, Sanoma, F-Secure ja muut tunnetut kotimaiset toimijat. Kysyntää koulutuksille on kiihtyvään tahtiin ja tänä keväänä järjestetään mm.

Ennustuksia vuodelle 2014

Vuosi 2014 on datan vuosi

Big data -hype oli vuoden 2013 lopussa huipussaan ja vuodesta 2014 tulee arkipäiväistymisen ja osin myös odotusten maltillistumisen aikaa. Pitkällä aikavälillä murros on suurempi kuin nyt edes osataan ajatellakaan, mutta muutaman vuoden perspektiivillä mitään radikaaleja muutoksia ei tule tapahtumaan. Datan merkitys toki kasvaa ja analytiikkavälineet kehittyvät. Itse käsite "big data" alkaa jo osin menettämään hohtoaan ja kiinnostavuuttaan, mutta samaan aikaan se saa paljon huomiota sieltä, missä käsite on vielä uusi.

Hadoop vuonna 2014

Markkinat kasvavat vauhdilla

Kaikki ennustavat kasvua Hadoop-markkinoille, tässä yksi esimerkki:

The analysts said the Hadoop market would grow from its 2012 size of US$1.5bn to about $21bn in 2018, driven by “exponential” growth in the amount of unstructured data generated by private and public organizations.

Forbes: Big data konkretiaan vuonna 2014

Myös Forbes valaa uskoa big datan arkipäiväistymiseen alkaneen vuoden aikana. Lyhyt kirjoitus listaa neljä keskeistä elementtiä kehityksen vauhdittajina.

Mullistaako big data maailman?

YLE:n "Puheen päivä" -ohjelman aiheena oli äskettäin big data. Otsikkona Mullistaako big data maailman?.

Tiedon määrä maailmassa on lisääntynyt aivan valtavasti. Moni asia on netissä vain klikkauksen päässä, mutta miten luokittelematonta tietomassaa, big dataa, voisi hyödyntää? Miten big dataa voisi hyödyntää arjessa?

Onko palkkaamisen ja irtisanomisen automatisointi tulevaisuutta?

Forbes julkaisi vierailijakirjoituksessaan kannanoton kasvavaan HR-ilmiöön. Yhä suurempi osuus henkilöstön palkkaamisen prosesseista on ulkoistettu ja jopa automatisoitu. Äärimmillään palkkauspäätöksiä tehdään jo kokonaan tapaamatta hakijaa. Taustalla ilmiössä on big data, henkilöiden internet-jalanjälkien tulkinta ja vertailu. Erityisesti teknologiarekrytoinneissa on korostettu hakijan aktiivisuutta arvostetuilla teknologiafoorumeilla tai open source -yhteisöissä.

Kykeneekö pilvitarjonta vastaamaan big datan tarpeisiin?

Internap Network Services julkaisi kansainvälisen selvityksen pilvipalveluiden ja big datan keskinäisen suhteen kypsyydestä. Vastausprosentti ja vastaajien määrä jäivät matalahkoksi, mutta tuloksissa on kuitenkin mielenkiintoista tulkinnanvaraa.

Cloudera ylpeä Impalan suorituskyvystä

Cloudera on julkaissut blogissaan seikkaperäisen kuvauksen Impalan (SQL-rajapinta Hadoopiin) suorituskykytesteistä. Implala on Clouderan oma, Apache Hiven innoittama, myös Apache-lisensoitu kehitysprojekti.

Hive innoittaa ja kehittyy

Apache Hive on yksi eniten käsitellyistä ja käytetyistä laajennoksista Hadoop-ekosysteemissä. Vanhan tutun SQL:n tuominen rajapinnaksi Hadoopin hajautettuun tiedostojärjestelmään ja prosessointiin on ollut selkeästi houkutteleva koukku Hadoopiin tutustumiseen.

Big datan tulevaisuus on pilvessä?

Datan koti on pilvessä

Accenture kirjoittaa julkaisussaan Cloud-Based Hadoop: The Future of Big Data? Hadoopista pilvipalveluna, joka on todennäköisesti yhä keskeisemmässä roolissa tulevaisuuden big data projekteissa. Joustavuus niin käytössä kuin kustannuksissakin tuottaa ilmeisiä etuja ja verkostokumppaneiden sekä varsinkin julkisen datan tehokkaan hyödyntämisen paine ajaa yhä suuremman osan yrityksistä pilvipalveluiden käyttäjäksi.

HDP 2.0 nyt virallisesti saatavissa Windowsille

Hortonworks on julkaissut virallisen version Hadoop-alustastaan HDP 2.0 Windows-palvelimille. He tarjoavat tuotteelleen täyden tuotantokäytön tuen, ja siten laajentavat Hadoop 2:n käyttömahdollisuudet myös Windowsiin sitoutuneille asiakkaille.

Targetin big data -tietovuoto tutkinnassa

Yksi julkisten referenssien perusteella edistyneemmistä vähittäiskaupan big datan hyödyntäjistä, yhdysvaltalainen Target, on tällä kertaa edelläkävijänä myös datan hallinnan tuomien haasteiden selvittelyssä. Joulukuussa tapahtuneen valtavan tietomurron yhteydessä Targetin järjestelmistä varastettiin kymmeniä miljoonia maksukorttitapahtumia ja asiakaskäyttäytymisen transaktiorivejä. Rikostutkinta on vielä kesken, mutta Targetin talousjohtaja on kuultavana Yhdysvaltojen senaatin edessä aiheen tiimoilta.

Hadoop 2014

Hadoop monipuolistuu ja vakiinnuttaa asemaansa

Mielikuva Hadoopista pelkästään eräajoihin soveltuvana yhden ihmeen työkaluna on pahasti vanhentunut. Silti tuota MapReduce-verhoon kiedottua argumenttia kuulee yhä viljeltävän tiuhaan. Hadoop ei tietenkään tee ihmeitä, eikä ole ainoa väline suurten ja vaihtelevien datamassojen tallentamiseen ja käsittelyyn. Se kuitenkin suoriutuu tuosta tehtävästä hyvin ja soveltuu myös datavirtojen (streams) analysointiin.

Tässä Hortonworksin ajankohtaiskatsaus Hadoopiin:

Harkintaa tarvitaan big datan hyödyntämisessäkin

Kiinnostus big dataa ja datan syvällisempää hyödyntämistä kohtaan kasvaa räjähdysmäisesti. Innostuksen myötä nähdään myös harkitsemattomia toteutuksia, joilla on yritysten ja brändien näkökulmasta merkittäviä negatiivisia vaikutuksia. Scientific American -lehti listaa kirjoituksessaan muutamia esimerkkejä, joissa erityisesti markkinoinnin datahankkeissa on ylitetty kohtuullisuuden rajoja moraalisesti ja eettisesti.

Foursquare yhdistää MongoDB:n ja Hadoopin voimat

Yhteisöpalvelu Foursquare kertoo blogimerkinnässään ratkaisustaan, jossa he hyödyntävät toimintansa perustana olevaa MongoDB-tietokantaa ja Hadoopia. Suositun palvelun datamäärät liikkuvat jo petatavujen luokassa ja kuluttajapalvelun luonne vaatii erinomaista vasteaikaa. Varsinaisessa online-käytössä Foursquare luottaa Mongon tarjoamaan arkkitehtuuriin, mutta kompleksisemmat kyselyt ja BI on tehtävä muualla. Ja tähän he ovat valjastaneet Hadoopin.