Hadoop-kisa pilvessä

Hadoop pilvipalveluna

Ehdottomasti helpoin tapa aloittaa Hadoopin käyttö ja joustavin jatkaa sitä, on valita julkinen pilvi (public cloud). Lainsäädäntö-, tietoturva- ja osaamishuolet jarruttavat kehitystä, mutta suunta on selvä. Omista laitteista hybridiratkaisuihin ja siitä julkiseen pilveen. Poistosuunnitelman kohteena olevista appliance-ratkaisuista joustavaan pilvimalliin. Tämä lienee seuraavan vuosikymmenen trendi.

Sijoittajat panostavat big dataan

Forbes-lehti listaa päivitetyssä blogimerkinnässään kymmenen eniten riskisijoittajien rahaa kerännyttä big data startupia (Yhdysvalloista). Joukosta löytyy tuttuja toimijoita, mm. Hadoop-pelurit Cloudera ja Hortonworks. Vahvaa uskoa ja rahoitusintoa ovat luoneet myös puhtaasti tietokantoihin keskittyneet ja palvelujaan pilvestä tarjoavat yritykset. Tässä lista ja luvut:

Avoimen datan indeksi

Suomi on tällä hetkellä kuudentena Open Knowledge Foundationin avoimen datan indeksissä (täällä). Edellä eurooppalaisista ovat Hollanti, Iso-Britannia, Norja ja Tanska. Ruotsi on seitsemäntenä.

Kiinnostus Hadoopia kohtaan nopeassa nousussa

Viime viikkojen julkistukset (Hadoop 2.20 ja eri palveluntarjoajien siihen liittyvät ja muut julkistukset) ovat saaneet Hadoop-kiinnostuksen Google-hauilla mitattuna räjähdysmäiseen nousuun:

Dynaaminen taulukko

R-ohjelmoinnin kurssi

Ivorio järjestää helmikuussa 2014 kaksipäiväisen R-ohjelmoinnin kurssin, jossa käsitellään myös R:n käyttöä yhdessä Hadoopin kanssa.

Lisätietoa ja ilmoittautuminen täällä.

Analytiikasta ja big datasta Aalto-yliopistolla

Taulukkolaskenta ja analytiikka -kurssi

Ivorio piti eilen esityksen "Taulukkolaskenta ja analytiikka" -kurssille (Aalto-yliopiston kauppakorkeakoulu). Teknologioista esitellyiksi tulivat mm. Hadoop, PowerPivot ja Google BigQuery.

Big data ja analytiikka 200 mrd $ markkina v. 2015

Vuoteen 2015 mennessä 200 mrd $

IBM kertoo big data- ja analytiikkamarkkinoiden kasvavan globaalisti 200 mrd $ suuruisiksi vuoteen 2015 mennessä. Sama ongelma kuin aina näissä eli ilmiön rajaaminen on vaikeaa ja tulevaisuuden ennustaminen vielä vaikeampaa, mutta suunta on selvä: markkinat kasvavat vauhdilla.

Keskustelua tulevaisuusselonteosta

Tulevaisuusselonteosta voit käydä keskustelua kommenttien muodossa täällä. Meneillään olevaa tiedon vallankumousta sivutaan kohdassa 3.2 (täällä). Kattoterminä käytetään tässä yhteydessä "informationaalinen kehitys" -käsitettä.

Tekstinlouhimisen mahdollisuudet

Flunssan ja muiden trendien tunnistaminen

Google-hakujen käyttäminen influenssa-aaltojen tunnistamiseen on yksi tunnetuimmista big data -esimerkeistä. Nyt on tutkittu myös blogosfäärin ja mm. Twitterin louhimista samaan asiaan ja hyvin tuloksin. Louhimalla sitä, mistä ihmiset sosiaalisessa mediassa, blogeissaan ja keskustelupalstoilla puhuvat voidaan vähemmän yllättävästi piirtää trendikäyriä esim. tartunta-aalloista.

Suomedata.fi keskustelu nyt avoin

Keskustelua tiedon vallankumouksesta

Suomen data -verkkofoorumi on nyt avoin. Big data ja avoin data ovat esimerkkejä keskustelunaiheista ja lisää saa ehdottaa.

Facebook julkisti Preston

Valinnanvara kasvaa

Big data -markkina muuttuu teknologioiden osalta yhä kirjavammaksi ja mielenkiintoisemmaksi. Asiakkaan näkökulmasta tämä tarkoittaa yhä suurempaa hämmennystä. Pelkän Hadoopin rinnalle on noussut joukko sisarprojekteja ja Hadoopia itsessään ei käytä enää kukaan, vaan kaikki käyttöönotot tapahtuvat valmiina jakeluina. NoSQL-maailmasta löytyy valinnanvaraa Cassandrasta MongoDB:hen ja sitten ovat vielä uudet Sparkit, Drillit, Giraphtit, Dremelit, Impalat, HAWQ:t ja muut.

Euroopan komission muistio big datasta

MEMO 13/965: What is big data?

Euroopan komissiolta tuli tänään muistio big datasta:

Merkittävin murros sitten teollisen vallankumouksen

Teollisuudesta palveluihin

Elämme teolliseen vallankumoukseen rinnastettavan muutoksen aikaa:

Taloustieteilijä W. Brian Arthur vertaa menossa olevaa murrosta teolliseen murrokseen. Tämän kokoluokan murroksia tapahtuu noin 60 vuoden välein. Boston Consulting Group taas ennusti vuonna 2012, että G20-maiden yhteenlaskettu internet-talous vastaa kooltaan jo vuonna 2016 maailman viidenneksi suurinta kansantaloutta.

Reijo Paajanen DIGILE:n blogissa

Big data for Europe

Neelie Kroesin (Vice-President of the European Commission responsible for the Digital Agenda) puhe big datasta 7.11.2013 täällä.

Big Data can be more than a fashionable slogan: it can become a recipe for a competitive Europe.

Big data ja pilvipalvelut (Amazon)

Amazonin palvelut laajenivat jälleen yhdellä: Kinesis.

Big data, pilvipalvelut ja Sytyke

Ivorion Immo Salo esitteli Sytyke ry:lle pilvipalveluiden roolia big data -ilmiössä viime aikojen tietoturvahaasteiden ja -huolien jälkimainingeissa. Aihe herätti erinomaista keskustelua ja osoitti, että luottamuksessa on eri organisaatioissa otettu askel taaksepäin myös pilvipalveluihin luottamisessa. Kasvava huoli samoista lähtökohdista kohdistuu selvästi myös datan prosessointiin.

Big data ja luottamus

Keskusteluun big datasta on noussut viime aikoina yhä useammin luottamus. Suhtautuminen palveluntarjoajiin sekä dataa kerääviin ja tarjoaviin yrityksiin on muuttunut kriittisemmäksi tietomurto- ja vakoilu-uutisten myötä. Jopa kuluttajatasolla on alettu kantamaan huolta siitä, mitä tietoa yritykset heistä keräävät ja mihin hyödyntävät. Boston Consulting Group julkaisi hiljttain tutkimuksensa aiheesta ja siihen voi tutustua verkossa.

Big data tieteen- ja teknologian tutkimuksessa

Hallitseva ja houkuttava big data

Aiheesta kirjoittaa Minna Ruckenstein (lataa PDF täältä) ja kertoo, että aihe on pinnalla tieteen- ja teknologian tutkimuksessakin.

Finanssiala ja big data

Tässä Olli-Pekka Ruuskasen esitys aiheesta:

Hitachi Information Forum

Ivorion esitys Hitachin Information Forum -tilaisuudessa

"Muutos on tulossa", Immo Salo

Big datalla suurempi huomioarvo kuin koskaan

Big datan huomioarvo huipussaan

Big datan huomioarvo Google-hauilla mitattuna saavutti tänään uuden ennätyksen:

Laantumista ei näy. Hitachi julkisti tänään selvityksen pallon toiselta puolen eli Australiasta. Merkittävä osa on siirtymässä uusien teknologioiden suuntaan, datatieteilijöistä on pulaa, Hadoopia ei osata ja liiketoimintapotentiaali on suuri.

Luottamuksen menettämisen hinta

Financial Times ottaa myös kantaa datapalveluiden luotettavuuteen artikkelissaan. EU komission aikaisemmin luoma poikkeus datapalveluiden sijoitteluun Yhdysvaltoihin (Safe Harbour) joutuu uudelleen tarkastelun kohteeksi viimeaikaisten tiedustelupalvelu NSA:n paljastusten myötä. Riski konkretisoituu pahimmillaan suurille yhdysvaltalaisille palveluntarjoajille, kuten Googlelle ja Amazonille, jopa miljardiluokan menetyksinä liikevaihdossa.