McKinsey jälleen big datasta

McKinsey kirjoittaa jälleen big datasta otsikolla Game changers: Five opportunities for US growth and renewal ja hyvältä näyttää!

New McKinsey research pinpoints five catalysts—in energy, trade, technology, infrastructure, and talent development—that can quickly create jobs and deliver a substantial boost to GDP by 2020.

Suomen ja Euroopan näkökulmasta tämä tarkoittaa sitä, että mahdollisuutta ei kannata hukata.

Osallistu big data -selvitykseen

Syyskuun alussa julkistetaan Ivorion toteuttama selvitys Suomen big data -markkinoiden nykytilasta. Avoin kyselylomake löytyy täältä.

Big datan nopeuskilpailuja

SAP tekee maailmanennätyksen

SAP:n lehdistötiedotteessa kerrotaan että SAP rikkoi oman nopeusennätyksensä:

Version 16 of SAP® Sybase® IQ software has achieved a Guinness World Record® for loading and indexing big data. In cooperation with BMMsoft, HP and Red Hat, SAP Sybase IQ 16 achieved an audited result of 34.3 terabytes per hour*, far surpassing the previous record of 14 terabytes per hour achieved by the same team using a previous version of SAP Sybase IQ.

Keinoäly ja big data

Tässä hyvä artikkeli big datasta ja tekoälystä. Yhteisiä nimittäjiä näiden kahden käsitteen alta löytyy paljon.

Ivorion syksyn 2013 koulutukset

Big data -aiheiset koulutukset syksyllä

Ivorion koulutukset löytyvät nyt Ivorion nettisivuilta. Aiheet ja päivämäärät ovat seuraavat:

21 polkua kitkattomaan suomeen: Big Data

Polku 10: Big data

Vuonna 2012 käynnistynyt Data to intelligence -ohjelma (D2D) sai vetäjäkseen Tiedon. Kestoksi on suunniteltu 3-4 vuotta eli arvioitavaa pitäisi olla valmiina joskus vuoden 2016 tietämillä. Tavoitteena on:

Tavoitteena on tukea globaalia suuntausta ja tukea sellaisten uusien ekosysteemien syntyä, jotka:

Datan vapauttaminen Suomessa

Valtiontalouden kehykset vuosille 2014—2017

ICT 2015 -raportissa mainittuihin teemoihin panostetaan lähivuosina taloustilanteesta huolimatta ja hyvä niin. Mm. big dataan liittyvä kasvu- ja lisäarvopotentiaali on ilmeinen.

... Suomen Akatemian rahoittamana käynnistetään uusi tutkimus-, kehitys- ja innovaatio-ohjelma, minkä johdosta Suomen Akatamian myöntövaltuutta lisätään vuosittain 10 milj. eurolla.

Big data markkinat v. 2013

Top 15 big data -yritystä

Networkworld listasi tällä viikolla mielestään 15 merkityksellisinta big data -yritystä ja lista oli seuraava:

Ylimmän johdon kiinnostus big dataa kohtaan kasvussa

McKinsey selvitti ylimmän johdon kiinnostuksen kohteita tuoreessa tutkimuksessaan Bullish on digital: McKinsey Global Survey results. Big data on vahvasti esillä:

Giraph

Graph-tietokannat

Graph-tietokannoista on kirjoitettu kiihtyvään tahtiin. Yleisimmin "graph"-käsitteellä viitataan eri olioiden välisten suhteiden mallintamiseen. Näitä sivuavia teknologioita ovat big data -kirjoittelua seuraavat huomanneet tihenevään tahtiin alan blogeissa ja lehdissä. Vuoden 2012 lopussa listatiin Techcrunchissa seuraamisen arvoisia teknologioita, joukossa mm. Giraph.

HP HAVEn

HP HAVEn big data -ratkaisu
HP julkisti HAVEn kesäkuussa (blogikirjoitus täällä) ja nyt sille löytyy jo oma esittelysivusto:

HP HAVEn: Industry leading Big Data platform

Kokonaisuus sisältää HP:n ratkaisujen lisäksi (mm. aiemmin hankitut Vertica ja Autonomy) Hadoopin:

Fonecta ja big data

Big data -osaajien kysyntä kasvaa vauhdilla ja tämä alkaa näkyä Suomessakin. Myös Hadoop-osaajia etsitään yhä aktiivisemmin.

Fonecta hakee big data -kehityspäällikköä:

Tulet vastaamaan Fonectan Big data järjestelmiin ja teknologioihin liittyvästä arkkitehtuurisuunnittelusta, R&D-toiminnasta ja ratkaisujen hyödyntämisestä palveluiden ja prosessien kehityksessä. Vastaat myös käytännön tasolla Big data-ympäristön päivittäisestä toimivuudesta yhteistyössä tuotantotiimin kanssa.

Hadoop-työpaikkoja Suomessa

Hadoop-osaajien kysyntä kasvaa

Eilisessä kirjoituksessa mainitun Fonectan lisäksi on Suomessa haussa jo useammalla yrityksellä Hadoop-osaajaa tai Hadoop-osaaminen mainittuja osaamisvaatimuksissa. Tässä muutama alkusyksyn ilmoitus:

Hadoop-seritikaatti

Ivorio Nordic Hadoop Certificate

Elokuun alussa tuli saataville Ivorion Hadoop-sertifikaatti. Tarkoituksena on antaa perustiedot Hadoopista ja kirjan myötä myös sen suhteesta big data -ilmiöön sekä tarjota yhdenmukainen mittaristo osaamisen osoittamiseksi:

Big data, mikseivät tulokset jo näy?

Big datan vaikutus tuottavuuteen

Talouskasvun moottori on työn tuottavuus ja siihen eniten vaikuttava tekijä on teknologinen kehitys. Suurten muutosten tunnuspiirre on, että muutokset näkyvät hitaasti. Innokkaimmat ennustavat ilmiömäistä murrosta ja skeptisimmät tarttuvat ensin noihin innostuneisuuttaan harhaan osuneisiin ennusteisiin, kun ne eivät heti toteudukaan.

Big data ja markkinointi

Lisää tehoa markkinointiin

MapR kirjoittaa blogissaan big datasta markkinoinnin näkökulmasta ja listaa viisi asiaa, jotka tulevat (ainakin) muuttumaan:

Datavetoisesta liiketoiminnasta ASML

There's no business like data driven business

ASML:n blogissa kerrotaan Disneyn ja Fordin yhä datavetoisemmasta liiketoiminnasta:

Analytiikka on niin strategisten kuin operatiivisten muutosten keskiössä. Data ja analytiikka tuovat kilpailuetua, auttavat kohdentamaan mainosbudjetin tehokkaammin ja ennen kaikkea tuottamaan parempaa asiakaskokemusta. Yhä useammissa yrityksissä on todella isot analytiikkatiimit, jotka palvelevat yrityksen kaikkia osia ja toimintoja halki siilorajojen.

Big data ja terveydenhuolto

Terveydenhuolto yksi suurista voittajista

Big data -koulutusten yhteydessä tulee usein keskustelua siitä, mitkä ovat eniten ja nopeimmin big datasta hyötyviä toimialoja. Aluksi jälleen pitäisi tietenkin määrittää käsitteen täsmällinen sisältö, mutta yleisellä tasolla käytetyimpiä esimerkkejä ovat:

EU:n uusi direktiivi julkisen datan jakamisesta

Directive 2013/37/EU

Uusi direktiivi laajentaa aiempaa kymmenen vuoden takaista ja muuttuu aikanaan kansalliseksi lainsäädännöksi ja vaikutukset ulottuvat laajalle:

Big data ja Hadoop

Hadoop-koulutusta

Koulutusohjelmamallia big dataan ja Hadoopiin pureutumisesta näyttää Chicagon DePaul Universityn 10-viikkoinen "Big data using Hadoop"-ohjelma.

Hadoop-jakeluiden vertailua

Hadoop

Hadoop on tunnetuin (avoimen lähdekoodin) big dataan liitetyistä uusista ohjelmistoista (projekti aloitettiin vuonna 2006). Julkaisemisensa jälkeen se saavuttanut suuren suosion keskeisenä osana suuressa joukossa big data -ratkaisuja ja tyypillisesti tulee otetuksi käyttöön joko valmiina jakeluna tai osana kokonaisuutta joltain suurista palveluntarjoajista. Vaikkei itse ratkaisu sisältäisikään Hadoopia, niin tyypillisesti markkinointimateriaalissa merkittävää huomiota kiinnitetään kuitenkin yhteensopivuuteen ja -liitettävyyteen.

Big data -selvityksen tulokset julkistetaan 13.09.2013

Ivorion big data -selvitys

Ivorion kesän aikana tekemä ja viimeistelyvaiheessa oleva selvitys siitä, mikä on big data -markkinoiden tilanne Suomessa eri toimijoiden näkökulmista katsottuna on valmistumassa ja julkistetaan 13.09.2013. Selvitys on julkinen ja tulee yleisesti saataville.

Mistä kaikkialta Hadoop löytyy?

Täällä on listattuna projekteja ja tuotteita, joiden osana Hadoop on ja lista kasvaa nopeasti. Tuosta saa jotain käsitystä, vaikkei tuo täydellinen lista olekaan. Pivotal esim. puuttuu tuosta kokonaan.

Pilvi ja big data - strategian valttikortit

Pilvi ja Big Data - strategian valttikortit

Pilvipalveluita seurasi big data -buumi ja ilmiöt nivoutuvat monilta osin toisiinsa. Yhdessä ne ovat keskeisiä osia meneillään olevassa suuressa murroksessa. Tuosta aiheesta puhutaan Talentumin tapahtumassa 3.10.2013.

Big data -projektien epäonnistuminen

CIO Insightin lainaaman InfoChimpsin tutkimuksen mukaan 55 % big data projekteista ei koskaan saavuta tavoitettaan. Joko projekti keskeytetään tai se jämähtää epämääräiseen tilaan paikalleen (ja menettää määritelmällisesti projektiluonteensa). Miksi näin käy? Kolme yleisintä syytä tutkimuksen mukaan ovat:

Koska Hadoop otetaan käyttöön

Hadoop yleistyy nopeasti

Osalla se on jo käytössä (Sanoma), osa on rekrytoimassa osaajia sekä testaamassa konseptia ja osalla Hadoop on vasta harkinnassa. Suuri osa ei ole siitä edes vielä kuullut. Hortonworksin mukaan Hadoop on kuitenkin yleistymässä vauhdilla suurimmissa yrityksissä:

Big data ja yksityisyydensuoja

Pelottava big data?

Markku Alanko kirjoittaa Ivorion blogissa big datan yksityisyydensuojanäkökulmasta tuoreiden esimerkkien valossa. Tämä on yksi suurimmista ilmiöön liittyvistä julkilausutuista huolenaiheista.

Gartnerin hype-kuvaaja v. 2013 ja big data

Big data hypekäyrällä

Gartner julkisti vuoden 2013 kehittyvien teknologioiden hypekäyrän. Big data saavuttaa pian huipun. Jos ilmiö seuraa kuvaajaa, niin pian lisääntyy skeptisyys, kun yliodotukset lyhyellä aikavälillä eivät täytykään. Pitkällä aikavälillä odotukset lunastuvat ja todennäköisesti jopa ylittyvät, mielenkiintoista nähdä kuinka pian.

Gartnerin ennuste on, että tuottavuuden tasanko (plateu of productivity) saavutetaan vuonna 2015-2018 eli tämän vuosikymmenen puolella.

IBM:n big data -referenssiarkkitehtuuri

Kokonaiskuvan hahmottaminen

Tässä videossa esitellään IBM:n näkemys referessiarkkitehtuurista big dataan liittyeen.

Hadoopin tulevaisuus

Hadoop YARN

Hortonworksiltä hyvä esitys siitä, mihin suuntaan Hadoop on kehittymässä, kun siirrytään versioon 2.

Positiivia signaaleja big data -markkinoilta

Datanamin blogissa listataan viime aikojen big data -uutisia ja joukossa kiinnostavia yksityiskohtia.

Talendin big data -kyselyn tuloksia

Talend says that last year, when asked the question about interest in big data within their organization, there was a large portion (61%) who said that there was no interest. That number fell to 24 percent this year, showing a dramatic change in the discussion is happening within organizations as they wake up to the trend.

Hadoop ja big data -työpaperi

Ivorion työpaperi maaliskuulta 2013 aiheesta "Hadoop ja big data".

Pivotal

Mikä on Pivotal?

Pivotal on EMC:n,VMwaren ja General Electricsin yhdessä omistama uusi (big data) yritys.

Pivotal One

Pivotal One on Pivotalin tarjoama alusta big data -haasteiden ratkaisemiseksi. Sen luvataan olevan yhteensopiva mm. VMwaren ja OpenStack -pohjaisten pilvipalveluiden kanssa. Lisäksi merkittävästi esille tuodaan yhteensopivuutta IaaS-markkinoiden johtavan tarjoajan Amazon Web Services:n kanssa.

Pivotalin kuvaukseen big data -alustan (Pivotal Data Platform) arkkitehtuurista sisältyvät mm. seuraavat teknologiat ja tuotteet:

Hadoop versio 2 on beta-vaiheessa

Hadoop-projekti etenee versioon 2

Hadoop-projektin seuraavan version julkistus lähenee. Viikonloppuna siirryttiin Alpha-versiosta Betaan (lue lisää). Monissa ratkaisuissa käytössä oleva Hadoop-versio on jo tuo uudempi.

Users are encouraged to immediately move to 2.1.0-beta since this release is significantly more stable and has completley whetted set of APIs and wire-protocols for future compatibility.

CapGemini tarjoaa big data -palvelua pilvessä

CapGemini ja Amazon Elastic MapReduce

Konsulttitoimisto CapGemini kertoo tarjoavansa joustavaa analytiikkapalvelua pilvessä. Käytössä Hadoop Amazonin tarjoamana eli Elastic MapReduce -palvelu.

45 minuuttia

Skannaa internet kolmessa vartissa

Zmap lupaa huikeaa parannusta internetin kahlaamiseen:

ZMap is an open-source network scanner that enables researchers to easily perform Internet-wide network studies. With a single machine and a well provisioned network uplink, ZMap is capable of performing a complete scan of the IPv4 address space in under 45 minutes, approaching the theoretical limit of gigabit Ethernet.

Lue lisää

Sosiaalisen median data

Sosiaalinen media datalähteenä

Facebook ja Twitter taitavat olla tavallisimmat esimerkit, joita big data -aiheisissa demotilaisuuksissa käytetään. Yhden palveluntarjoajan olen tavannut, joka suoraan kertoi, että tarkoituksella välttää käyttämästä kumpaakaan esimerkkinä, koska kaikki muut niin tekevät. Aika monta Twitterin API:a käyttävää demoa on kieltämättä tullut nähtyä.

Blogikirjoituksia aiheesta muualla

Big datasta kirjoitetaan kiihtyvään tahtiin. Tässä muutama tuore kirjoitus aiheesta:

Big datan hyödyntäminen liiketoiminnassa - selkokielellä, Snoobi

Se on iso ja nopea. Se on hallitsematon, jopa pelottava. Se on yksi tämän hetken puhutuimmista, hypetetyimmistä markkinointiin liittyvistä ilmiöistä. Mistä oikeastaan on kyse?
Tuukka Rantamäki, Snoobi

Big data -markkina kasvaa globaalisti yli 30 % vuosivauhtia

SAP:n mukaan tulevaisuus näyttää valoisalta

IDC:n SAP:n toimesta toteuttamassa infograafissa esitetään positiivisia visioita big datan lähitulevaisuudelle:

IDC has issued an infographic commissioned by SAP that estimates SAP partners around the world will earn US$220 billion in revenue in the next five years related to analytics and big data solutions from the company.

Markkinoiden kasvunopeudeksi arvioidaan yli 30 % lähivuosina.

The worldwide big data market will grow by almost 32% until 2016.

Tom Davenport analytiikasta

Analytiikan merkitys kasvaa, osaajia liian vähän

Davenport kirjoittaa Deloitten blogissa analytiikan merkityksen kasvusta liiketoiminnassa eri toimialoilla. 96 % Deloiten kyselyyn vastanneista arvelee merkityksen kasvavan.

Strateginen big data -työpaperi

Ivorion työpaperi huhtikuulta 2013 aiheesta "Strateginen big data".

Big data liikkeenjohdon tutkalla

Medianäkyvyys on hyvä

Big data -kirjoittelulta on vaikea välttyä, jos seuraa aktiivisesti mitään talouselämään tai tietotekniikkaan liittyvää kirjoittelua. Viime päivinä on taas ollut useita ns. uskottavien lähteiden kirjoituksia aiheesta:

Big data -markkinat

Big data -markkinoiden hahmottaminen hankalaa

Big datassa ei ole kysymys vain datan suuresta määrästä, vaan ylipäänsä datan asettamasta haasteesta yrityksille. Maailmassa sitä on paljon, monilla yrityksilläkin melkoisesti. Määrän lisäksi kuitenkin vauhti, jolla sitä tulee lisää sekä datan vaihtelevuus ja luotettavuus ovat keskeisiä tekijöitä luomassa dataan liittyvää painetta ja avaamassa mahdollisuuksia. Tyypillisin lähestymistapa hahmottaa big dataa on käyttää jotain esitetyistä V-alkuisten sanojen yhdistelmistä. Tässä kymmenen ehdokasta, joita olen nähnyt käytettävän.

Hadoop Suomessa -työpaperi

Ivorion työpaperi huhtikuulta 2013 aiheesta "Hadoop Suomessa".