Rate-koulutuksen big data -päivä

Kuukauden kuluttua 1.12.2015 järjestetään taas Rate-koulutuksen big data -päivä Helsingissä Radisson Blu Plaza Hotellissa.

Katsaus big data -ilmiöön. Mistä todella on kysymys, miksi se on ajankohtainen ja miten se liittyy tulevaisuuden liiketoimintaan toimialasta ja kokoluokasta riippumatta? Esittelemme keskeiset toimijat, parhaat käytännöt ja askeleet kohti datan tehokkaampaa hyödyntämistä.

Lue lisää

BigDataFinance

Tampereen teknillinen yliopisto on koordinaattorin EU-hankkeessa BigDataFinance ja rekrytoi nyt osaajia:

Hadoop ja Kudu

Hadoop-ekosysteemi kasvaa ja kehittyy vauhdilla. Uusien julkistusten tahti ei ainakaan ole hidastunut tänä vuonna. Käyttäjäkunnan kasvaessa kasvavat ja monipuolistuvat myös tarpeet. Datan tallennuksen ja käsittelyn muodot ovat valovuosien päässä alkuvaiheen HDFS+MapReduce -mallista. Yksi uusista julkistuksista on Kudu.

The set of data storage and processing technologies that define the Apache Hadoop ecosystem are expansive and ever-improving, covering a very diverse set of customer use cases used in mission-critical enterprise applications.

...

Tietovarastoinnin tulevaisuus ja big data

Microsoft kertoo sivuillaan tietovarastoinnin tulevaisuudesta:

Räjähdysmäisesti kasvavat tietomäärät, puolirakenteiset ja rakenteettomat tietotyypit sekä reaaliaikaisen käsittelyn vauhti edellyttävät uudenlaista tietovarastoa. Microsoftin modernit tietovarastoratkaisut yhdistävät perinteiset tietovarastot ja strukturoimattoman Big Datan – lisäksi ne pystyvät käsittelemään kaikenkokoisia ja ‑tyyppisiä tietomassoja reaaliaikaisesti.

Lue lisää

Miten Uber hyödyntää Hadoopia?

Tässä hyvä kuvaus siitä, miten Uber käyttää Hadoopia ja myös Sparkia asiakaskokemuksen parantamiseksi:

Uber has the envious position of sitting at the junction of the digital and physical worlds. It commands an army of more than 100,000 drivers who are tasked with moving people and their stuff within a city or a town. That’s a relatively simple problem. But as Uber’s Head of Data Aaron Schildkrout recently said, that simplicity of its business plan gives Uber a huge opportunity to use data to essentially perfect its processes.

Moderni sosiaalinen media analytiikan tavoittamattomissa?

Sosiaalinen media ja sen datamassat olivat big data -ilmiön alkuvaiheen suosituimpia esimerkkejä siitä, mitä on big data ja miten sitä käytännössä voisi hyödyntää. Suuressa osassa aamiais- ja muista tilaisuuksista vuosina 2011 ja 2012 esiteltiin Twitter API:n hyödyntämistä Twitterin tekstisisällön louhimisessa. Sosiaalinen media ilmiönä kuitenkin muuttuu ja kehittyy nopeasti. Sisällöstä yhä suurempi osa on kuvia ja videota. Twitterissäkin osa käyttäjistä ilmaisee itseään pääasiassa kuvin ja videoin. Analytiikalle tämä on haaste.

Big data huomioarvon huipussaan?

Big data -hypeä on seurattu tässä blogissa syyskuusta 2011 ja nyt näyttäisi siltä, että tämän vuoden aikana ilmiö saavuttaa huomioarvon huippunsa Google-hakusuosioilla mitattuna. Tilanne on siis sama kuin pilvipalveluilla vuonna 2011 eli kattokäsite alkaa olla tuttu ja koluttu. Huomio siirtyy käytännön toteutuksiin ja teknologioihin. Hyvä niin! Konkretia on se, joka toteuttaa visiot.

big data ja Google Trends 10/2015

Stanfordin big data -podcast

Stanfordin uusi podcast-sarja "Raw Data" käsittelee big dataa ja digitalisaatiota. Stanfordin hankkeesta aiheen takana voit lukea lisää täältä: cyber.stanford.edu

Raw Data. It’s a show about how big data and cyber systems are transforming our world

Lue lisää ja kuuntele

Salesforce.com näyttää mallia murroksesta

Pilvipalvelut kuriositeetti ilmiön alkuvaiheessa

Usko pilvipalveluiden mahdollisuuksiin oli suuri ilmiön alkuvuosina, mutta käytännön toteutukset olivat vielä harvassa ja skeptisyys suurta. Nyt vuonna 2015 näyttää jo selvältä, että paradigman muutos omistamisesta ja pitkäkestoisista sopimuksista kohti joustavia palveluita on vääjäämätön ja myös peruuttamaton.

Geenidata esimerkkinä big datasta

Tunnetuin ihmisen geeniperimää kartoittanut projekti on Human Genome Project.

The Human Genome Project (HGP) was one of the great feats of exploration in history - an inward voyage of discovery rather than an outward exploration of the planet or the cosmos; an international research effort to sequence and map all of the genes - together known as the genome - of members of our species, Homo sapiens. Completed in April 2003, the HGP gave us the ability, for the first time, to read nature's complete genetic blueprint for building a human being.

Big data -kirjoja

Big data -kirjoja paljon

Sitä mukaa kuin huomio big data -ilmiön ympärillä on lisääntynyt, on aiheesta julkaistu kirjoja. Nimikkeitä alkaa olla jo niin paljon, että niiden listaaminen on toivotonta. Ilmiön alkuvaiheessa näin ei vielä ollut. Hyvä tapa tutustua ajankohtaiseen kirjallisuuteen aiheesta ovat Audiblen äänikirjat:

Nimikkeitä alkaa sielläkin olla jo paljon. Tässä muutamia esimerkkejä:

Big data -verkkokurssi

Nyt voit tilata "Big datan perusteet"-verkkokurssin ja tutustua big datan perusteisiin omaan tahtiisi:

Big datan perusteet -verkkokurssilla saat rautaisannoksen big dataa teoriassa ja käytännön esimerkein. Verkkokurssiin on tiivistetty keskeiset asiat ja tunnetuimmat käytännön esimerkit kokonaisuudeksi, jonka voit käydä läpi ja omaksua omaan tahtiisi.

Verkkokurssiin sisältyy tukimateriaalina myös kirja "Big data ja pilvipalvelut" (Docendo 2014):

Olennaista big datassa on lisäarvo

Pelkkä data on arvotonta

Big data -määrittelyissä datan tarkastelunäkökulmia ovat tyypillisesti englanninkieliset V-kirjaimella alkavat sanat, joista tunnetuimmat ovat klassiset Volume, Variety ja Velocity. Nämä toimivat myös suomeksi: Volyymi, Vaihtelevuus ja Vauhti. Nämä datan määrään, monipuolisuuteen ja lisääntymis- sekä analysointivauhtiin liittyvät kolme ulottuvuutta ovat tulleet tutuiksi kaikille big data -ilmiöön tutustuneille.

Myös Hadoopin tulevaisuus on pilvessä

Hadoop palveluna

Jo pitkään on Amazon tarjonnut pilvipalvelussaan AWS:ssä yhtenä palveluna valmiiksi konfiguroitua Hadoop-klusteria. Microsoftin Azure on toinen tunnettu pilvipalvelu, josta Hadoopia saa palveluna. Googlella ei omaa Hadoop-jakelua ole, mutta Google pilvipalvelu Computing Cloud:ia toki voi käyttää myös Hadoopin alustana:

Click to Deploy Apache Hadoop

The Apache Hadoop 2.4.1 framework supports distributed processing of large data sets across clusters of computers.

Data ja analytiikka liiketoiminnan kehittämisessä

Olen huomenna puhumassa Edutechin "Data ja analytiikka liiketoiminnan kehittämisessä" -kurssilla. Analytiikan mahdollisuudet ovat lisääntyneet jättiharppauksin big data -ilmiön myötä ja esimerkiksi Hadoop ja pilvipalvelut yhdessä ja erikseen tarjoavat tapoja tallentaa ja käsitellä liiketoiminnalle arvokasta tietoa tavoilla, jotka olivat tieteiskirjallisuutta kymmenen vuotta sitten.