Databricks keräsi Sparkilla $33 miljoonaa

Kiinnostus ja usko Apachen Spark-projektiin ja muistinvaraisen analytiikan merkitykseen big datan seuraavana vaiheena sai jälleen sijoittajat liikkeelle. Yhdysvaltalainen Databricks ilmoitti B-rahoituskierroksensa päättyneen mukavaan 33 miljoonan dollarin lisäsijoitukseen.

Analytiikasta toimintaan

Big data ja konkretisoituvat hyödyt

Big data on monin paikoin ollut enemmän puhetta kuin toimintaa. Teknologia on vain väline, mutta keskeisten teknologioiden osaajia kaivataan nykyistä huimasti enemmän, jotta innokkaimmat visiot realisoituisivat. Näin digitaalisessa vallankumouksessa kokonaisuudessaan, tiedon vallankumous ei tee poikkeusta.

Big data -ilmiön huomioarvon huippu

Hype ei näytä laantumisen merkkejä, vaan päinvastoin: jälleen uusi huomioarvoennätys, jos mittarina käytetään käsitteen "big data" -Googlehakuja.

Big data Googlessa
Google-haut 06.07.2014

Myös MapR lisärahoitukselle

Seuraten Hortonworksin ja Clouderan keväisiä rahoituskierroksia, myös kolmas puhtaasti Hadoop-pohjalta ponnistava yhdysvaltalais-startup, MapR, on nyt saanut merkittävän lisärahoituksen. Googlen rahoitusyhtiön investointi ja lainajärjestelyt tuovat MapR:lle 110 miljoonaa dollaria yrityksen tuotekehitykseen ja markkina-aseman vahvistamiseen.

Hadoop big data -ilmiön keskiössä

Tällä hetkellä Hadoop on tunnetuin yksittäinen tavaramerkki big data -ilmiöön liittyen. Haastajia on ja niitä tulee lisää, mutta kriittisen massan saavuttanut Hadoop hallinnee kenttää ainakin tämän vuosikymmenen. Apache Spark tai Googlen pilvipalveluina tarjoamat BigQuery ja Dataflow tarjoavat vaihtoehtoja. Ekosysteemin kehittyminen vie aikaa, kuten tarvittavien osaajien kehittyminenkin.

Euroopan komissio kehottaa toimintaan

Myös Euroopan komissio pyrkii nostamaan big datan ja sen avaaman liiketoimintapotentiaalin tietoutta. Komissio kehottaa tiedonannossaan valtioita toimintaan, jotta ilmiön paras arvo päästään korjaamaan Euroopassa. Tiedotteessa kannustetaan myös tulkitsemaan ilmiötä sen myönteisten mahdollisuuksien näkökulmasta, kun tähän asti julkisuudessa on pyörittykin paljon big datan mahdollisten ongelmien parissa.

Teollinen internet puhututtaa - ja hämmentää

Teollinen internet eli esineiden internet?

Aamulehdessä kirjoitettiin viime viikolla teollisesta internetistä ja vedettiin ilmiöstä yhtäläisyysmerkit esineiden internetin kanssa:

Teollisessa, laitteiden internetissä on kohta 50 miljardia laitetta, joista voidaan kerätä tietoa, joita voidaan ohjata verkon yli ja jotka voivat kommunikoida keskenään. Sen muutosvaikutukset maailmaan ovat vastaavasti suuremmat.

DART

ITEA panostaa big dataan ja aloitteita sekä hankkeita on tehty jo useita. Esimerkkinä projektiesityksestä big data -aihepiiriin liittyen on DART, jossa Ivorio on mukana suomalaisena SME-partnerina.

aDaptable situAtion awaReness for InTelligence

DART will provide organisations with adaptable situation awareness and efficient framework and tools for designing strategies from intelligence information based on multiple sources.

Big data -investoinnit jatkuvat, nyt vuorossa Couchbase

Yksi edelläkävijän viittaa kantavista NoSQL-toteutuksista, Couchbase, on saanut myös lisää tukea 60 miljoonan dollarin lisäsijoitusten myötä. Voimakkaat panostukset kiteyttävät markkinaa ja nostavat esiin parhaat ratkaisut hyvinkin kirjavasta joukosta tuotteita.

Big data ja jalkapallon MM-kisat 2014

big data ja jalkapallon mm-kisat

Odotetusti tähän urheilujuhlaan tartuttiin myös big datalla: Google ennusti oikein 13/14 eli hyvällä prosentilla. Tänään pelataan loppuottelu Saksa-Argentina ja analytiikan panokset ovat Saksan puolella:

Paljon puhetta MapReducesta

Google I/O -konferenssissa kuultu Urs Höltzlen puheenvuoro Googlen dataprosessoinnin ratkaisusta on nostanut MapReducen jälleen kuumaksi puheenaiheeksi. Otsikkotasolla aihetta seuranneille viesti vääristyy helposti  siihen, että Google on hylännyt MapReducen ja samalla antaa ymmärtää koko Hadoopin olevan eilisen teknologia. Sen, että Google julkaisee kymmenen vuotta MapReducen julkisuuteen esittelyn jälkeen jotain tuoreempaa, ei pitäisi olla yllätys kenellekään.

Salesforce.com ja big data

Salesforce.com ostaa RelateIQ:n

Kauppahinnalla 390 milj.$ (340 milj.$ osakkeina ja 50 milj.$ käteistä) Salesforce.com satsaa myös big dataan:

RelateIQ uses large-scale data-mining technologies to automate relationship tracking in the enterprise and CRM world. The company’s software eliminates the manual data entry required to get more insight into professional relationships.

Lue lisää

Horizon 2020 rahoittaa big data -hankkeita

Pieniä ja keskisuuriakaan yrityksiä ei ole H2020-ohjelmassa unohdettu:

Big Data projects are getting 89 million euros in 2014 and 2015 from the H2020 programme. They include research and innovation on business intelligence, decision support processes and systems supporting SMEs and web entrepreneurs. H2020 is also setting up an ‘open data incubator’ next year to help SMEs develop their prototype data applications.

Lue lisää

Contiki

Esineinden internet etenee ja työntää jatkuvasti lisää vauhtia myös big data -ilmiöön. Painotuksesta riippuen verkottuneista laitteista puhutaan IoT-, IoE- (Internet of Everything), Industrial internet (teollinen internet)-, robotiikka- ja big data -nimikkeiden alla. Huomioarvo on siis taattu. Ennakoivaa huoltoa ja automatisoitua terveydenhuoltoa käytetään esimerkkeinä havainnollistamaan, mikä on mahdollista kehittyneiden sensorien ja yhä verkottuneempien laitteiden ja järjestelmien avulla.

Spark

Olemme kirjoittaneet tässä ja teknisessä blogissa paljon Apache-projekti Sparkista, jonka avulla muistinvaraisen analytiikan nopeuden saa helposti valjastettua käyttöönsä. Nyt kyseessä kuitenkin toinen Spark.

Big datan avulla asiakasymmärrys paranee

CRM-bisnes on pilvessä, datamassat kasvavat ja analytiikkaa tarvitaan

Gartnerin mukaan kohta puolet (49 % nyt) asiakkuuksien hallinnan ohjelmistojen eli CRM-markkinoista on pilvipohjaisiin ratkaisuihin nojaavaa:

Gartner forecasts the CRM market to reach $23.9 billion this year, with cloud revenue accounting for 49 percent.

Lue lisää

Big data -markkinat vahvassa kasvussa

Investoinnit hyvässä nosteessa

Big data -markkinoista puhuttaessa kasvun ennustaminen on helppo ennustus. Datan määrän ja monimuotoisuuden kasvu asettaa paineen reagointiin. Investoinneille ennustetaankin hyviä näkymiä:

Big Data investments will account for nearly $30 Billion in 2014 alone. These investments are further expected to grow at a CAGR of 17% over the next 6 years.

GridGain, Hadoop-analytiikkaa muistinvaraisesti

Muutaman vuoden Hadoop-keskustelua on hallinnut SQL ja tänä vuonna fokus on ollut helppouden lisäksi nopeudessa ja analytiikan monipuolistumisessa. Googlen vuonna 2004 esittelemän MapReduce-mallin rinnalle ovat nousseet mm. Tez ja Spark. Muistinvaraisuus, jota mainittu Spark edustaa, tuo mukanaan kaivattua nopeutta. Hadoop-kritiikissä tyypillinen maininta on väittämä hitaudesta.

GridGain on Apache-projekti, joka nopeuttaa analytiikkaa lataamalla datan klusteroituun keskusmuistiin. Tällä on nimikin: GGFS eli GridGain File System.

Mitä on teollinen internet?

Teollisen internetin mahdollisuudet käsillä

Lupaus paremmasta huomisesta annetaan monen käsitteen käsikynkässä, joilla pyritään kuvaamaan kokonaisvaltaisesti meneillä olevaa mullistusta. Yksi puhutuimmista on teollinen internet:

Teollinen internet - markkinalupaus on huikea

Teollinen internet ja suuret odotukset

General Electrics teki käsitteen industrial internet tunnetuksi vuonna 2012. Big datan tapaan sen fokus on datassa, mutta erottavana tekijänä on keskittyminen anturien (sensorien) tuottamaan dataan. Potentiaali on huima: seuraavan 20 vuoden aikana teollisen internetin potentiaali on GE:n mukaan noin 10 000-15 000 mrd $. Toki tämä jää jälkeen McKinseyn vuoden 2011 visiosta big datan vuotuisesta yli 1 000 mrd $ vuotuisesta potentiaalista, mutta huikeita lukuja molemmat.

Hadoop vakiinnuttanut asemansa

Vaikka vaihtoehtoja on tarjolla, niin Hadoopille ei tällä hetkellä ole uskottavaa haastajaa. Tulevaisuudessa haastaja tullee julkisista pilvipalveluista, joista osa niistäkin nojaa tällä hetkellä Hadoopiin (Amazonin Elastic MapReduce ja Microsoftin Azure HDInsinght) ja osa tarjoaa jo nyt muuta (esim. Googlen BigQuery ja Dataflow).

Hadoopin asemasta kertoo kuitenkin hyvin se, että se löytyy nyt osana merkittävästä osasta big data -ratkaisuja ja nekin, jotka eivät sitä jälleenmyy tai omaa jakeluaan tarjoa, esittelevät sen etuja ja käyttöä innolla.

Big data keskeinen kilpailutekijä

Datan määrä kasvaa eksponentiaalisesti

Teradatan blogissa kirjoitetaan big data -ilmiöstä ja siitä, onko kyseessä merkittävä ja huomion ansaitseva mullistus vai pelkkä hype. Mittasuhteiltaan hypen saavuttanut big data on merkittävä mullistus.

... it is a mistake to dismiss Big Data as “bunk”, because significant forces are currently re-shaping the way organisations think about Information and Analytics.

Lue lisää

Big data -osaajia tarvitaan lisää

Reagoidaanko kasvavaan kysyntään riittävän nopeasti?

Ehkä, aika näyttää. Tuskinpa. Pilvipalveluiden kohdalla ilmiön huomioarvon nousu oli 2-3 vuotta edellä työmarkkinakysyntää ja näin lienee tilanne myös big datan kohdalla. Pilvipalvelut saavutti huomioarvohuippunsa vuonna 2011 ja vuonna 2014 Indeed.com -sivuston viimeisen viikon noin 600 000 työpaikkailmoituksesta prosentti eli 6 000 ilmoitusta sisälsi osaamisvaatimuksessa maininnan cloud. Vuonna 2009 osuus oli suunnilleen promillen luokkaa, jos sitäkään.

Esineiden internetin standardit

Esineiden internet kaipaa standardeja

Laitteiden kytkeytyminen verkkoon ja varsinkin keskinäinen kommunikaatio ja koordinaatio onnistuvat tehokkaimmin, jos käytössä on standardi viestinnälle. Tätä ajaa moni. Yksi ehdotus, jossa osallisina ovat mm. Google ja Samsung, on Thread:

Kannattaako kaikki data kerätä?

Big datan aikakaudella keskustelu datan tallentamisesta käy luonnollisesti kiivaana. Kliseet, kuten "kaikki data kannattaa nyt tallentaa" tai "mitään ei kannata jättää tallentamatta", kuvaavat pääpiirteittäin todellisuuttamme nyt ja lähitulevaisuudessa. Näillä lauseilla ei kuitenkaan viitata absoluuttisesti kaiken saatavilla olevan datan tallentamiseen, vaan kaiken "järkevän" datan tallentamiseen. Edellisen lauseen "järkevä" onkin sitten vaikeammin ja tapauskohtaisemmin määriteltävä käsite.

Datatieteilijä: maailman paras työ

Näin ainakin Mashablen mukaan:

Receiving a 4.4 rating for work-life balance, data scientists grabbed the No. 1 spot. In the survey, about 74% of employees say the business will get better, while 5% believe it will get worse.

"Not only is everyone incredibly sharp and very good at their jobs, but also, almost without exception, everyone is a pleasure to work and associate with," says a data scientist at Facebook. "I'm given an incredible work-life balance."

Urheilun big data

Kesän jalkapallon maailmanmestaruuskilpailut olivat jälleen hyvä näyttämö myös datan hyödyntämiselle ja analytiikalle urheilun kontekstissa. Erityisesti SAP on ottanut kunniaa Saksan menestyksestä toimiessaan joukkueen analytiikkapalvelujen hovitoimittajana.

Hadoop-ekosysteemi imee rahaa markkinoilta

Hadoop houkuttaa

Teradata osti heinäkuussa 2014 muutaman "big data" -yrityksen:

By purchasing the two big data companies, it appears Teradata is staying the course on its mission to embrace Hadoop and other big data technologies in order to provide a bridge to its data warehouse systems.

Lue lisää

HP puolestaan investoi 50 milj.$ Hortonworksiin:

Uber tuottaa kaupunkitietoutta

Yksi kuluttajamarkkinan kuumimmista palveluista tällä hetkellä on Uber, käyttäjien toisilleen tarjoama taksipalvelu. Palvelun lyhyeen historiaan mahtuu huippuhetkiä ja huomattavia haasteita. Syytökset harmaasta taloudesta, väärinkäytökset ja rikosten riski hidastavat vastaanottoa, mutta konsepti on suosiollaan jo todistanut olevansa oikeilla jäljillä. Viimeisin tietovuodoksi tulkittava skandaalinpoikanen syntyi, kun ohjelmointivirheen vuoksi käyttäjät pääsivät katselemaan omia tuloksiaan asiakkuusarvioissa.