Big data ja Facebook

Yksi yleisimmistä asioista, joita näkee esitettävän big data -infograafeissa (täällä lista niitä) on Facebook käyttäjien/viestien/valokuvien/datan määrä. Sosiaalinen media on ollut nousussa viime vuodet (kuva Google Trends):

Hadoop työpaikat (USA)

Hadoopin kysyntä työmarkkinoilla on ollut ja on yhä vakaassa kasvussa Yhdysvalloissa. Trendi siirtynee viiveellä myös Suomeen.

Big Data ja Twitter

Facebookin lisäksi toinen tunnettu sosiaalisen median palvelu, jota usein käytetään esimerkkinä Big datan yhteydessä, on Twitter.

Pääomasijoittajat ja Big Data

Big data -yritykset houkuttelevat yhä enemmän pääomasijoittajien rahaa. Markkinoiden kasvuodotukset ovat huikeat. Markkinoiden nykyiseksi kooksi arvioidaan 5 mrd $ (melko hatusta vedettyjä nämä luvut aina johtuen määritelmällisestä epätäsmällisyydestä...) ja kasvuodotukset ovat suuret. Viiden vuoden kuluttua markkinoiden on ennustettu (esim. Wikibon) olevan n. 50 mrd $ ja vuonna 2020 jo yli 80 mrd $ (McDowell, JMP Securities). Olivat luvut sitten miten lähellä todellisia hyvänsä, niin kasvua odotetaan ja eksponentiaalista sellaista.

Big data ja olympialaiset

Yllättäen moni ratsastaa olympialaisten maineella (paitsi lontoolaiset pienyritykset...), niin myös big data. NetApp:n blogissa on hyvä infograafi datamääristä, joita olympialaisten yhteydessä liikkuu.

Rottakokeita Hadoopilla

Clouderan blogissa kerrotaan Hadoopin käytöstä tutkimuksessa, jonka kiinnostuksen kohteena on rotan aivojen toiminta. Ei enempää rotista, mutta Hadoopista tuossa kerrotaan hyvin (kohdassa "Hadoop overview", otsikoilla ei ole id-attribuuttia johon linkittää...). Lisäksi Hiven roolia kuvataan hyvin:

Hanaa HANA

SAP julkisti äskettäin osavuosikatsauksensa ja HANA on hyvässä nosteessä. Ennuste tilikaudelle 2012: 320 milj.$ myyntituloja HANA:sta ja kasvussa. Mihin HANAa sitten käytetään? Suomen Nordea-esimerkistä kerroinkin jo ja täällä on listattuna koko joukko case-esimerkkejä eri toimialoilta.

D2I - Data to Intelligence (TIVIT)

TIVIT julkisti kesällä ohjelman nimeltä Data to Intelligense (D2I), jonka fokus on siis Big datassa. Ohjelman vetäjä on Logican Jukka Ahtikari ja akateeminen koordinaattori Petri Myllymäki. Sivut löytyvät täältä ja tutkimusohjelma täältä. Strategisen tutkimusohjelman tavoite on kunnianhimoinen:

SAS Visual Analytics

SAS Visual Analytics on yksi big data -tuotteista, joita ei tässä blogissa ole vielä tullut mainituksi, joten mainitaan sekin.

Big data ja Facebook, osa 2

Kuten tässäkin blogissa on usein todettu, on Facebook yksi tunnetuimmista esimerkeistä, joita käytetään, kun puhutaan big datasta. Viime viikolla Zdnet pohti Facebookin liikevaihtoa, -tulosta ja mahdollisuutta parantaa asemiaan big datan avulla. Juttua siteerasi seuraavana päivänä Suomessa Tietoviikko.

Big data Gartnerin hype-käyrällä

Gartnerin pilvipalveluiden hype-käyrällä big data on lähellä huippua (blogattu mm. täällä ja täällä).

Hyvä yleiskatsaus big datasta

The Casey Reserch kirjoitti viime viikolla hyvän yleiskatsauksen big dataan. Mitään uutta tai ihmeellistä se ei sisällä, mutta siihen on koottu tunnetuimpi big data -hypeen liittyviä siteerauksia, ennustuksia ja rahoituspanoksia viimeisen vuoden ajalta. Turhaksi hypeksi big dataa ei leimata, vaan ennuste on, että kysymyksessä on pysyvä muutos.

Big data ja tulevaisuus

Mielenkiintoinen kirjoitus big datasta löytyi tällä kertaa "World Future Society":n sivuilta. Siellä Intelin "futuristi" David Johnson kertoo näkemyksistään.

My job as Intel’s futurist is to look 10 to 15 years out and model how people will act and interact with devices in the future.

Hän ennustaa, että lähitulevaisuudessa big datan haaste muuttuu yhä akuutimmaksi.

Hadoop ja Joyent

Joyent on yksi pilvipalveluntarjoajista, ei ehkä tunnetuin, mutta yksi kiinnostavimmista mm. Node.js-aktiivisuutensa ansiosta. Joyentista kerroin enemmän "Hyötyä pilvipalveluista" kirjassani, eivätkä pilvipalvelut ole keskiössä tässä blogissa, joten mennään eteenpäin. Joyent on aktiivinen myös Hadoop rintamalla.

Big data ja tulevaisuus, osa 2

Eilen kirjoitin big datasta ja tulevaisuudesta Intelin futurologistin innoittamana. Siinä visiot olivat maltillisia ja perspektiivi kohtuullisen lyhyt. Vielä pidemmällekin meneviä ennusteita löytyy, mutta mitä kauemmas tulevaisuutta ennustetaan, sen epätarkemmaksi ennusteet muuttuvat (lentävät autot yms.). Toisaalta totta on, että

Mistä sitä dataa oikein tulee?

Kuten tässäkin blogissa on moneen kertaan todettu, vaivaa big dataa määritelmällinen epätarkkuus. Mitä se tarkoittaa? Mikä on "suuri määrä" dataa? Määritelmät ovatkin joko tolkuttoman pitkiä tai sitten äärimmäisen ylimalkaisia. Suuren datamäärän määrittely puolestaan on suhteellista. Teratavu 80-luvulla on jättimäinen datamäärä, mutta kohta se mahtuu älypuhelimen muistiin. Mistä sitä dataa sitten oikein tulee, jos big datassa niin kovasti kohistaan?

Big data -mantroja

Mikä saa koko big data -ilmiön kaikessa kiinnostavuudessaan vaikuttamaan joskus lattealta, ovat tiuhaan toistetut mantrat (koko lista täällä).

Pilvipalveluista big dataan

Big data jatkaa siitä, mihin pilvipalvelut jäivät. Toki suuri osa big data-ilmiöön liittyvistä seikoista on ollut olemassa jo kauan ennen kuin pilvipalveluista(kaan) puhuttiin: analytiikka, tilastotiede, ennustaminen, mallintaminen, joukkoäly, avoin data, Hadoop jne. Big dataan liittyvistä tuotteista iso osa on myös täysin pilvipalveluihin liittymättömiä.

Päivän big data -sitaatti

Taas tuli uusi big data -rahasto, näitähän riittää. Hyvä sitaatti oli uutisen yhteydessä:

"We believe that Big Data, like the PC revolution of the '80s, the emergence of the Internet in the '90s, and Web 2.0 in the 2000s, represents a several-hundred-billion-dollar wealth creation opportunity," DCVC declared.

Ensin oli PC, sitten Internet, joka kehittyi sosiaaliseksi 2000-luvulla ja nyt: big data.

Ennakoiva analytiikka

Kuten viime marraskuussa kirjoitin, on ennakoiva analytiikka yksi big datan kiinnostavimmista elementeistä. Vanha vertauskuva liiketoiminnan ja auton ajamisen välillä toimii yhä: peruutuspeiliin katsomalla on hankala ajaa autoa (ellei sitten peruuta...).

Ennustamisen vaikeus

Jokaisen uuden ilmiön kohdalla löytyy tukku tietäjiä, jotka sanojensa mukaan "ovat aina tienneet", miten asiat tulevat kehittymään. Big datan, pilvipalveluiden, sosiaalisen median, web 2.0:n, mobiilinetin tai koko internetin mullistavan vaikutuksen nämä kaukoviisaat ennustivat sanojensa mukaan hyvissä ajoin ja paljon ennen kuin niistä alettiin puhumaan laajemmassa mittakaavassa. Niinpä.

Big data ja Amazonin pilvipalvelu

Amazonin pilvipalvelusta ja big datasta olen kirjoittanut jo muutamaankin otteeseen (täällä ja täällä) ja tässä vähän lisää.

Hadoop-tarjoajia vertailussa

Hadoop on siis avoimen lähdekoodin ohjelmistoprojekti, joka on vapaasti ja ilmaiseksi ladattavissa täältä. Sen ympärille on kuitenkin rakentunut suuri ekosysteemi big data -toimijoita ja iso osa big dataan liittyvistä tuotteista tai palveluista tavalla tai toisella liittyy Hadoopiin. Joko ne sisältävät Hadoopin osana tarjoomaa tai sitten markkinoinnissa korostetaan yhteensopivuutta tai tarjotaan jotain toimintoa, joka laajentaa Hadoopin käyttötarkoitusta ja -mahdollisuuksia.

Big data -tietoa

Kilpailu big data -markkinajohtajuudesta ja mielikuvajohtajuudesta on tiukka. Osalla yrityksistä paketti on vielä iloisesti levällään ja luulenpa, että vasta vuonna 2013 alkaa kokonaiskuva selkeämmin hahmottua, kun yritysostoja tapahtuu, tuotteita julkistetaan, palvelullistuminen etenee ja vertailukelpoisuus paranee.

Tässä on lista isojen toimijoiden aiheelle pyhitettyjä sivustoja, joista löytyy paitsi markkinointimateriaalia myytävistä tuotteista, niin myös hyvää yleiskuvaa täsmetävää semipuolueetonta materiaalia.

Big datan määritelmä

Hyvä essee alkaa aina käsitteen määrittelyllä. Kirjani johdannossa pohdin samoin, mitä big datalla oikein tarkoitetaan. Kuten pilvipalveluidenkin kohdalla, on big datalle melkein yhtä monta määritelmää kuin on määrittelijääkin. Vuonna 2009 OSCON:ssa puhunut Canonicalin Wardley kertoi löytäneensä kymmeniä määritelmiä käsitteelle "cloud computing":

Hadoop ja Windows Azure

Windows Azure on Microsoftin pilvipalvelu, joka kamppailee mm. Amazonin ja Googlen kanssa pilvipalveluiden herruudesta. Ei ole yllätys, että myös Azurella panostetaan big datan kovimpaan keppihevoseen. Osoitteessa www.hadoopazure.com on tarjolla Hadoopia Azure-alustalla:

Enterprise-ready Hadoop distribution with greater security, performance, ease of management and options for Hybrid IT usage.

Palvelua ei ole vielä julkistettu, mutta sitä pääsee testaamaan kutsusta:

Apps4Finland, avoin data

Apps4Finland-kisa on taas käynnissä ja kilpailuosallistumisia otetaan vastaan 28.10.2012 saakka. Palkintorahaa on jaossa 20 000 € ja sarjoja on viisi:

Big data ja poliisityö

Yksi mediaseksikkyydessään käytetyimmistä esimerkeistä big datan käytöstä on sen hyödyntäminen poliisityössä. Esimerkiksi Santa Cruzin poliisi Yhdysvalloissa käyttää big dataa henkilöstön käytön optimoinnissa.

Big data? Sano se piirretyin.

Suosittua näyttä olevan piirroshahmojen käyttäminen big datan ja siihen liittyvien tuotteiden tai palveluiden esittelyssä. Tässä muutamia esimerkkejä:

Big data NY Times -lehdessä

NY Times -lehdessä oli viime viikon lopulla juttu big datasta, jota on siteerattu paljon viime päivinä. Mitään ihmeellistä siinä ei kerrota, vaan pohditaan lähinnä ilmiön taustoja:

Vapauttakaa data!

TIVIT Oy:n TIVIT Data Reserves White Paper vuodelta 2010 pohjustaa D2I -ohjelmaa:

Tivit also has initial plans of a new program, entitled as “From Data To Intelligence”, which would be targeted to data reserves.

Ohjelma alkoi keväällä 2012 ja kuten "valkoisessa paperissakin" todetaan, potentiaalia on.

Dataa pilvessä

Companies have an “insatiable appetite” to analyze data in the cloud, and Hadoop is the one tool that can feed the hungry masses.

Näin totesi MapR:n edustaja. Dataa kertyy paitsi omille palvelimille, niin myös yhä useammin pilveen. Toisaalta kyllä yhä kannetaan suurta huolta pilvipalveluiden luotettavuudesta ja tietoturvasta, joten kaikkea dataa ei vielä hetkeen sinne lykätä. Datamäärien kasvu pilvipalveluissa on kuitenkin ollut nopeaa.

Google Dremel ja Apache Drill

Techcrunch kirjoittaa uudesta Apache-projektista nimeltä Drill, jonka innoittajana on Google Dremel. Dremelistä löytyy hyvä artikkeli täältä .

Hortonworks vs. Cloudera

Useissa blogeissa on viime päivinä kirjoitettu Clouderan ja Hortonworksin "kamppailusta" markkinaherruudesta Hadoop-jakeluissa. Vain yksi voi voittaa, ennustetaan mm. täällä. Hyvin on myös tiivistetty näiden kahden ero:

Facebook menettänyt puolet markkina-arvostaan

Hesari kirjoitti eilen taloussivuillaan Facebookista, jonka osake on listautumisensa jälkeen menettänyt lähes puolet arvostaan. Markkina-arvo on kuitenkin yhä valtava, joten putoamisen varaa löytyy vielä... Ongelma Facebookilla on muuttaa käyttäjänsä rahaksi, mittavammin kuin mitä se on toistaiseksi onnistunut tekemään. Kohdennettu mainonta on sen tulojen ydin ja vielä innovatiivisemminkin voisi käyttäjätietoja hyödyntää, kuten kirjoitin aiemmin

Kaikki big data -kliseet

Tässä tuore Youtube-video, jossa kaikki big data -kliseet... Näiden markkinoinnillisen arvon voisi kuvitella olevan eroosion kourissa: 2.7 zettatavua, 3V:tä... Onkohan joku tehnyt jo big data -bingon?

Big Data Hub

Linkkivinkki: IBM:llä oma big data -hubi osoitteessa www.ibmbigdatahub.com, jossa paljon tietoa big datasta.

Big data ja pääomasijoittajat

Kirjoitin alkuvuodesta big datasta ja pääomasijoittajista. Siliconangle.com-blogissa oli viikonloppuna kirjoitus pääomasijoittajista ja big datasta. Luetellut kolme esimerkkiä tuossa kirjoituksessa olivat:

Lomalla

Olen lomalla vielä tämän viikon.