Big data ja pilvipalvelut

Aiheesta tilaisuus Kuopion yliopistossa 15.05.2014, lue lisää täältä.

Teemakoulutuksessa perehdytään suurten tietomäärien hallinnointiin erilaisissa tietokanta- ja palveluratkaisuissa. Koulutuksessa tutustutaan mm. Hadoop-ekosysteemiin.

Valkoisen talon big data -raportti julkaistu

Valkoinen talo on nyt julkaissut raporttinsa big datasta ja sen vaikutuksista kansalaisten yksityisyyteen ja oikeuksiin. Raportissa käsitellään big data lyhyesti ilmiönä. Siitä siirrytään käsittelemään julkisen hallinnon eri sektorien lähtökohtia big datan käsittelyyn ja yksityiselle sektorille asetettuihin odotuksiin. Raportin keskeinen sanoma, vaikutukset yksittäisten kansalaisten oikeuksiin ja datan hyödyntämisen "pelisäännöt" käsitellään raportin loppupuolella.

Mitä isot IT-yritykset sanovat big datasta nyt?

Markkinakatsaus

Epätieteellisesti harkitulla satunnaisotannalla katsastin muutamien tunnetuimpien IT-toimijoiden big data -lausahduksia:

Urheilu, analytiikka ja IoT

Sensorinen data arkipäiväistyy

Esineiden internetistä puhuttaessa puhe kääntyy usein ensin teollisuuteen. Suuret koneet, tehtaat ja prosessit tuottavat ja keräävät valtavia määriä sensorista dataa ja pyrkivät jatkuvasti optimoimaan omaa toimintaansa. Säästöt ja palvelulupausten parantaminen ovat ilmeisiä tavoitteita.

Big data -konferenssi

Tänään on Management Eventsin järjestämä Big data -konferenssi Helsingissä. Ohjelman näet täältä.

EFF:n kanta Valkoisen talon raportista

EFF on käynyt Valkoisen talon raportin big datasta ja sen vaikutuksista kansalaisten oikeuksiin. Tulkinnasta on hyvä tiivistelmä heidän sivuillaan. Jos koko raporttia ei ehdi tutkia itse, on tässä hyvä kriittisen tarkastelun tuottama yhteenveto. Raportti saa kiitosta sähköpostin yksityisyyden puolustamisesta myös virkavallan suuntaan.

MapR, Hadoop-kilpajuoksun musta hevonen

Ehkä vähimmälle mediahuomiolle viime aikoina jäänyt Hadoop-startup, MapR, kertoo omasta kasvustaan Wall Street Journalin artikkelissa. Clouderan saama jättimäinen rahoituskierros ja Hortonworksin aktiivinen rooli Apache Hadoopin kehityksessä ovat vieneet viime aikoina enimmän osan palstatilasta. MapR:n toimitusjohtaja John Schroeder kuitenkin kertoo myös heidän kysyntänsä moninkertaistuneen vuoden takaisesta.

ICTexpo 2014

Tänään alkoivat ICTexpo 2014-messut. Ivorion lavaesityksen aiheena oli big data ja Hadoop. Kalvosetin lopussa messutarjous Hadoop-verkkokurssiin ja -sertifikaattiin.

Mikä voisi korvata Hadoopin?

Hadoopin haastajat

Näitähän riittää ja kategorisointi on hankalaa. "Big Data"-teknologioita on moneen lähtöön, koska itse käsite sisältää lähes kaiken dataan liittyvän. Hadoop puolestaan kaikkine laajennoksineen vastaa moneen datan tallennus- ja käsittelytarpeeseen. Haluat tallentaa dataa? HDFS auttaa. Tarvitset hajautettua analytiikkaa? MapReduce löytyy Hadoopista. Kaipaat nopeutta datan käsittelyyn? Spark on ratkaisu. Et halua koodata, vaan käyttää SQL-kyselyitä? Onneksi löytyy HAWQ, Hive, Impala ja lukuisat muut sisarprojektit sekä laajennokset.

Big data ja avoin data, mikä on niiden keskinäinen suhde?

Kummasta puhuisimme: big datasta vai avoimesta datasta?

McKinsey on kirjoittanut innostavasti molemmista. Vuonna 2011 tuli raportti big datasta ja vuonna 2013 open datasta. Molemmissa luvattiin samaa eli tuhansien miljardien eurojen vuotuista lisäarvo-/kustannussäästöpotentiaalia.

Big datasta Haaga-Heliassa

Haaga-Helia -ammattikorkeakoulu järjestää tänään seminaarin aiheelle Big Data and the Financial Services Sector. Iltapäivän kestävään tapahtumaan on kutsuttu vierailijapuhujia finanssialan datan hyödyntäjistä, palveluntarjoajista ja suomalaisen datakulttuurin edistäjistä. Tilaisuuden ohjelma on seuraava:

Datan määrä kasvaa

Datan määrä moninkertaistuu lähivuosina

Tämä ennuste ei ole muuttunut mihinkään blogin aloittamisen jälkeen (09/2011). Datan määrä kasvaa vauhdilla ja vuonna 2020 sitä on mm. IDC:n mukaan noin kymmenen kertaa nykyistä enemmän.

Paine reagointiin kasvaa ja ensi vuosikymmenen voittajat löytyvät niiden joukosta, jotka tehokkaimmin hyödyntävät tuottamaansa ja muuten käsillä olevaa (mm. avointa dataa) tehokkaimmin.

Big datan työkaluvalikoima

Big data -ilmiö on tuottanut valtavan määrän yrityksiä ja tuotteita auttamaan loppukäyttäjäorganisaatioita datan uusien haasteiden ja mahdollisuuksien ratkomisessa. Hyvä, ja paljon lainattu, visualisointi aiheesta on tullut vuonna 2012 FirstMarkin Matt Turckilta. Nyt hän on päivittänyt visualisointinsa kattamaan nopeasti kehittyvän markkinan uusimmat trendit ja tulokkaat. Visualisointiin voit tutustua Slidesharessa.

Teollinen internet Aallon aamiaistilaisuuden aiheena

Tänään avattiin Aalto yliopiston toimesta teollisen internetin mahdollisuuksia tutkiva ohjelma aihepiiriin tutustuttavan aamiaistilaisuuden muodossa. Ohjelma sisältää useita tutkimusalueita ja sitä johtaa professori Martti Mäntylä. Tilaisuudessa esiteltiin tutkimusalueiden pääpiirteet lyhyesti ja oman puheenvuoronsa pitivät myös teollisuuden edelläkävijät, Konecranes ja Nokia.

Big data aiheena Microsoftin tilaisuudessa (Launch Party)

Tänään oli Espoon Keilaniemessä Microsoftin "Launch Party", jossa big data oli teemana vahvasti esillä. Lisäksi pilvipalveluista puhuttiin paljon. Näkymät ovat valoisat ja muutos on suuri! Tässä Ivorion esitys tilaisuudesta:

Big data asiakaspalvelussa

Asiakaspalvelu murroksessa

Big datan vaikutus ulottuu kaikille toimialoille, koskettaa kaikkia organisaatioita ja vaikuttaa kaikkiin toimintoihin. Se ei jätä ketään kylmäksi! Asiakaspalvelu on yksi murroksen kohteista:

Oikeus tulla unohdetuksi?

EU:n tuomioistuimen päätös historiatietojen poistamisen oikeudesta herättää valtavaa keskustelua. Aihe on ollut erityisen tärkeänä Googlen asialistalla, koska heidän näkemyksensä eroavat nyt tehdystä päätöksestä merkittävästi. Eu:n tuomioistuin on nyt linjannut, että yksityishenkilöllä on oikeus päättää omien tietojensa poistosta internetistä ja siten myös hakukoneyhtiöiden kannoista. Tällaiseen toimintaan ei ole Googlella ja kumppaneilla kuitenkaan prosesseja tai käytäntöjä mietittynä.

Big data aiheena uudessa Kide-julkaisussa

Iso haloo isosta datasta

Big datasta on kohistu jo muutaman vuoden ajan. Sille on asetettu suuria toiveita tehostaa ja muuttaa liiketoimintaa melkein alasta riippumatta, mutta koko ilmiöstä on vaikea saada konkreettista otetta. Mistä big datassa on kyse? Mitä se on?

Lue lisää

Big data boksissa?

Big dataa jääkaappipakastimessa

Tuotteistetut big data -kokonaisratkaisut ovat suurten ohjelmistotalojen leipälaji. Näitä on syksyn 2011 jälkeen julkistettu kiihtyvään tahtiin ja nimikkeiden perässä on haastavaa pysyä. Tässä pari esimerkkiä tuoreimmista tuotenimistä:

HP

HP HAVEn on akronyymi, joka sisältää mm. vuoden 2011 yritysostot Vertican ja Autonomyn. H viittaa Hadoopiin ja

Kaupan digipäivä Finlandia-talolla

Toistetaanko verkkokaupan virheet?

Verkkokauppa yllätti yli viidentoista vuoden varoittelusta huolimatta monet suuretkin kauppaketjut. Käykö analytiikassa samat virheet vai onnistutaanko katsomaan kuittirivitietoja pidemmälle? Tätä pohditaan tänään kaupan digipäivillä Finlandia-talossa. Pohjustuksena big data -aiheeseen muutaman viikon takainen kirjoitus Kauppa.fi-sivuilta:

Big datan eli isojen tietomassojen analysointi voi jo lähitulevaisuudessa tuoda suuria mullistuksia tapaan, jolla vähittäiskauppaa käydään

Big datan vaikutus markkinoihin

Tarjooman kohdentaminen ja tuotannon automatisointi

Big datalla on vaikutusta pitkällä aikavälillä kaikkeen taloudelliseen toimintaan. Uuden talouden (New Economy) huumassa vuosituhannen taitteessa nostettiin vahvasti esille digitaalisuuden vaikutukset markkinoihin, varsinkin hyödykkeisiin, joita voidaan jaella ja kuluttaa verkossa (kirjat, musiikki, elokuvat...). Big dataa voidaan ilmiönä tarkastella myös talouden rakenteita muuttavana.

Vähittäistä kehitystä vai revoluutio?

Big data mahdollistaa evoluution ja revoluution

Datan kerääminen monipuolisesti ja hyödyntäminen tehokkaasti avaa mielikuvituksellisia mahdollisuuksia. Ensimmäisenä mieleen tulee helposti nykyisten toimintamallien tehostaminen (inkrementaalinen kehitys) vaikka suurimmat vaikutukset saavutetaan toimintamallien muuttamisella (luovan tuhon lähde). Autojen sensoreista on puhuttu paljon ja robottiautokokeilujen myötä väläytelty myös melkoisia visioita lähivuosikymmenille. Autoteollisuus ja liikenne ylipäänsä ovatkin hyviä esimerkkejä big datan käytölle.

Google ja big data

Hyvä esitys Googlen tavasta hoitaa suuria datamääriä ja miten Googlen pilvipalvelut auttavat tässä. App Engine, Compute Engine ja BigQuery hyvin esillä!

Datan määrä vuonna 2030?

Digitaalisen datan määrä maailmassa on kasvanut vuoden 2011 1.8 zettatavusta vuoden 2014 4.4 zettatavuun sanotaan. Vuonna 2020 ennustetaan kokonaismäärän olevan jo 44 zettatavua. Vastaavalla kasvunopeudella digitaalisen datan määrä on vuonna 2030 jo yli 1 300 zettatavua ja kasvunopeus tuskin pysyy vakiona esineiden internetin kumouksen käynnistyttyä.

Sata kertaa nopeampaa analytiikkaa?

Tätä tuntuu lupaavan moni:

Run programs up to 100x faster than Hadoop MapReduce in memory

Lue lisää (Apache Spark)

Deliver query responses up to 100x faster than traditional RDBMS

Lue lisää (SAP Analytics Database)

Kuljetuskalustoa vai datapuimureita?

UPS säästi rahaa algoritmeilla

UPS säästi Yhdysvalloissa polttoainekuluissa merkittäväsi suunnittelemalla jakelureitit niin, ettei jakeluautojen tarvitse juuri koskaan kääntyä vasemmalle:

As of 2012, the right turn rule combined with other improvements -- for the wow factor, UPS doesn't separate them out -- saved around 10 million gallons of gas and reduced emissions by the equivalent of taking 5,300 cars of the road for a year.

Mahdollisuuksien kyberturvallisuus

Kyberturvallisuus puhututtaa

Tästä on kevään mittaan ollut paljon puhetta. Kyberturvallisuus huolettaa monia ja avaa myös hyviä mahdollisuuksia edelläkävijyydelle ja uudelle liiketoiminnalle. Asiaa selvittää mm. Puolustusministeriön työryhmä, jonka lausuntokierroksella Ivoriokin oli mukana:

Työpaikkoja syntyy, vastataanko kysyntään?

Teknologinen kehitys luo talouskasvun

Samalla se synnyttää rakenteellista työttömyyttä. Big data -markkinat kasvavat nopeasti ja uusia mahdollisuuksia syntyy vauhdilla. Osaamisvaatimukset muuttuvat samalla. Suomen valmius hyötyä big data -ilmiöstä on joidenkin selvitysten mukaan korkea (World Economic Forum), mutta toisaalta koulutusjärjestelmämme tuottaa kansainvälisessä vertailussa melko vähän tarvittavia kyvykkyyksiä (McKinsey Global Institute). Todellisuus on varmaan jossain puolivälissä. Vahvuuksia on, mutta niin on puutteitakin.

Teollisuus osana elinvoimaista elinkeinorakennetta

Big data teollisuuden vauhdittajana

Big data -ilmiöstä puhutaan teollisuudessa tällä hetkellä enemmän teollinen internet -nimikkeen alla. Samasta asiasta kuitenkin on kyse: teknologian kehityksestä ja siihen liittyvästä paradigman muutoksesta. Uusimpana "virallisena" julkaisuna teeman nostaa tapetille TEM paperissaan "Teollisuus osana elinvoimaista elinkeinorakennetta".