Myös NoSQL-toimijat mukaan muistinvaraisen analytiikan kilpajuoksuun

Vuoden 2014 kuumin big data -trendi, keskusmuistiin siirtyvä data, on vetänyt mukaansa NoSQL-markkinan kärkinimiä. Datastax ja MongoDB (kolmannen osapuolen laajennoksella) tuovat uutuutena mahdollisuuden siirtää osan tai laitteiston salliessa jopa koko datan tallennuksen levyltä keskusmuistiin. Lupauksissa toistuvat jo tutuiksi käyneet 10x ja 100x performanssiparannukset.

Salesforce.com ja big data

Salesforce.com ja big data

Salesforce.com kirjoittaa blogissaan big datasta:

Big data is a collection of data sets so large and complicated that traditional methods of data processing can’t cope. Formerly the domain of large corporations, big data has been used for some time to provide insights into customer behavior, to inform financial analysis and to measure responses to marketing activity.

Lue lisää

Big data -välineet nyt?

Hadoop vahvoilla

Wired kirjoittaa tämän hetken tilanteesta big dataan liitettävien teknologioiden ja käsitteiden suhteen. NoSQL ja Hadoop ovat vahvoilla.

The Internet has led to new divides in data management software categories. Hadoop has become the de facto standard for collecting and processing data related to Internet applications and websites.

Lue lisää

Suomi saamaton avoimen datan hyödyntämisessä

Lokakuussa 2013 julkaistussa “Open Data Barometer - 2013 Global Report”-tutkimuksessa Suomi sijoittui kehittyneiden maiden joukossa keskikastiin tiedon avoimuuden toteuttamisessa. Olemme kansainvälisen listan sijalla 22 (juuri esimerkiksi Kenian ja Meksikon jälkeen) kun mitataan datan avoimuuden astetta ja laatua yhteiskunnan eri osa-alueilla.

Verkkoseminaari big datasta

Tässä Microsoftin verkkoseminaari big datasta ja mm. Hadoopista:

Hunk

Splunk + Hadoop = Hunk

Datan käsittelyn tehostuminen vaikuttaa kaikkialla

Esimerkkinä NASA ja eksoplaneetat

Kauempana arjesta olevaa esimerkkiä on vaikea keksiä kuin planeettojen metsästäminen universumista. Galakseja maailmankaikkeudessa on paljon, Wikipedian mukaan 100 000 000 000 kappaletta ja pelkästään omassamme on satoja miljardeja auringon kaltaisia tähtiä. Planeettoja luulisi siis riittävän. Niistä tunnetaan nyt runsaat 1 700. Tuhannen raja rikkoutui äskettäin, kun dataa alettiin käsittelemään uudella tapaa.

Euroopan unionin avoin data - aloite

Euroopan unionin Open Data - sivusto on hyvä ja ajantasalla oleva tiedon lähde avoimesta datasta kiinnostuneelle. Erityisesti kannattaa tutustua yrittäjyys ja innovaatio - osioon, josta varsinkin start up - yritykset voivat löytää mahdollisuuksia hyvien liikeideoidensa toteuttamiseen.

BBC:n artikkelisarja big datasta maaliskuussa

BBC tarjoilee seuraavan kuukauden aikana big datan perusteita artikkelisarjassaan yläotsikon "The technology of business" alla. Ensimmäinen kirjoitus kertaa aiheen perusasioita ja sopii lähinnä aiheeseen ensimmäistä kertaa tutustuville. Sivustoa kannattaa kuitenkin seurailla maaliskuussa, niin yleistiedon kartuttamiseksi kuin innostuksen hakemiseksikin.

Poimintoja Forresterin Wave-raportista: Big data Hadoop solutions

Forresterin hiljattain julkaisemassa raportissa korostetaan Hadoopin roolia modernin yrityksen informaatioarkkitehtuurissa. Listaamme tässä blogimerkinnässä muutamia merkittäviä huomioita raporttiin sisältyvistä tutkimuksista.

Hadoop viidessä minuutissa

MapR:n hieman alle viiden minuutin esitys heidän Hadoop-caseistaan.

Hadoop Googlen pilvessä

Google Compute Engine ja Hadoop

Hadoopin idea on lähtöisin Googlelta ja Googlella on myös useita patentteja MapReduce-datankäsittelymalliin. Google Compute Engine on Googlen IaaS-tarjooma haastamassa mm. Amazonin EC2:stä, joka monella mittarilla johtaa tuota markkinaa. Vuonna 2007 julkaistulla EC2:n on etumatkaa ja AWS:n yli 30 muuta palvelua täydentävät sitä. Googlen tarjoomakin kasvaa kuukausi kuukaudelta monipuolisemmaksi. Tässä blogikirjoitus Googlelta siitä, miten Hadoopin käyttö GCE:ssä onnistuu.

Hadoop ja big data kolmessa minuutissa

Tiiviissä paketissa Hadoopista ja big data -ilmiöstä yleisesti:

Splunk ja Tableau yhteistyöhön

Lokikäsittelyn johtava ohjelmistotalo Splunk ja visualisoinnin edelläkävijä Tableau yhdistävät voimansa julkaistessaan strategisen yhteistyökumppanuuden. Tuotteiden yhdistelmä on ollut aikaisemminkin houkutteleva, Splunkin tuottaessa raa'asta konedatasta koostetietoja Tableaun visualisoitavaksi. Uusi yhteistyö tuo kuitenkin tiiviimmän integraation, jossa Tableau pystyy suoraan hyödyntämään Splunkin tietovarastoja datalähteenä.

Big datasta Hansaprintin asiakaslehdessä

Hansaprintin Hans-lehdessä on juttu big datasta, kiitos haastattelusta Heini!

Älä pelkää big dataa

Ihmiskunta tuottaa päivittäin triljoonia tavuja digitaalista tietoa. Entä sitten?

Lue juttu täältä

Big data Finpron inFront -lehden kansijuttuna

Uusimmassa inFront-lehdessä on pääjuttuna big data. Meneillään oleva murros saa nyt hyvin huomiota, käytännön askelmerkit ovat vielä monella hukassa.

 

Onko aika viimein kypsä big data -ratkaisuille?

Ville Heijarin esitys big datasta otsikolla "The Year Big Data Becomes Actionable"

Data vauhdittaa cleantech-yrityksiä

Wall Street Journal kirjoittaa artikkelissaan datan merkityksestä ympäristöystävällisen teknologian, cleantechin, keityksessä. Artikkeli rakentuu tällä viikolla pidettävässä Cleantech Forum -tapahtumassa esiintyvien yritysten tarinoista.

IBM tarjoaa rahoitusta big data -hankkeisiin

IBM:n Global Financing tarjoaa rahoitusta big data -hankkeisiin.

Kehityksen kärjessä kulkevat organisaatiot ovat omaksumassa edistyksellisiä tekniikoita louhiakseen Big data -tiedoista konkreettisia asioita, joihin voi tarttua. IBM Global Financing voi auttaa organisaatiota investoimaan tulevaisuuden ympäristöön tämänhetkisiä kassavaroja säästävällä tavalla.

Lue lisää

Tarjolla on mm. lainoja ja projektirahoitusta.

IoT ja big data nousevia teemoja CeBIT 2014:ssa

Myös perinteinen Hannoverin CeBIT -tapahtuma nostaa datan lähitulevaisuuden keskeiseksi muutostekijäksi. Britannian pääministeri David Cameron piti avauspuheenvuoron, jossa korostuivat erityisesti nykyaikaiset tietoliikenneyhteydet, Internet of Things ja big data. Pääteemana oli kannustaa eurooppalaisia valtioita aktiivisuuteen teknologisessa kehityksessä, jotta emme jää sivustakatsojiksi.

Tietoasiantuntijat ry:n big data -tilaisuus 9.4.2014

TIetoasiantuntijat ry järjestää big data -aiheisen tilaisuuden otsikolla "Mitä on Big Data ja miksi sillä on väliä?". Puhujana Eficoden Heikki Hämäläinen.

Lue lisää

Ylen verkkosivuilla big datasta

Myös Yle on tänään kirjoittanut big datasta. Kevyessä suurten datamassojen analytiikkaa käsittelevässä kirjoituksessa käydään läpi muutama tunnettu esimerkki maailmalta ja kotimaan painopiste on Savossa. Kirjoituksessa käsitellään osaajapulaa ja siihen omalta osaltaan reagoinutta Itä-Suomen Yliopistoa; uudet analytiikan kurssit täyttyivät ennätysvauhtia.

Inspiraatiota big datan mahdollisuuksiin CODE_n-kilpailusta

CeBIT 2014:n yhteydessä julkaistiin top50-lista CODE_n -kilpailun parhaista big data -startupeista. Listan lyhyet kuvaukset kannattaa lukea läpi inspiraationa mahdollisista kehityssuunnista sekä kevyenä katsauksena tulevaisuuden datavetoisiin ratkaisuihin. Osasta näistä yrityksistä kuullaan taatusti vielä lisää. Muutama poiminta alla:

Maailman suurin visualisointi?

CeBIT:in CODE_n -kilpailun päänäyttämöllä esiteltiin valtava big datan visualisointinäyte [kuva: 6Mb]. Visualisoinnin totetuttamisesta vastasi design-toimisto Kram/Weisshaar ja sen tavoitteena oli lähinnä luoda tunnelmaa big data -aiheisen kilpailun tilaan. Data itsessään oli kuvausten mukaan big datan kolmen V:n "Variety" -osaa, eli koottu kaikkien kilpailijoiden datalähteistä.

Hadoopin tulevaisuus?

Hadoop on big data -ilmiön ytimessä

Hadoopin rooli ja merkitys on kasvanut vuosi vuodelta ja jo ensi vuonna 2015 ennusti Gartner taannoin Hadoopin olevan osana kahdessa kolmesta edistyksellisestä analytiikkaratkaisusta. Forresterin tuore vertailu, jossa asemointiin eri Hadoop-jakeluita, on saanut paljon huomiota. Hadoopin merkitys on tunnistettu ja pian tullaan tuntemaan konkreettisesti myös siihen liittyvä osaamisvaje niin Suomessa kuin muuallakin. Täällä liikkeellelähtö on ollut erityisen tahmeaa.

Netflix jakaa kokemuksiaan big datan hyödyntämisestä

Wired tarjoilee artikkelissaan tiivistelmän Netflixin jakamista analytiikan kokemuksista. Mielenkiintoisessa katsauksessa käydään esimerkkinä läpi videoiden kansikuvien toteuttamisen taustalla olevaa analytiikkaa. Käyttäjien toiminnan perusteella pyritään tunnistamaan mahdollisimman vetoavia värisävyjä, joilla saavutetaan eniten klikkauksia ja sitä kautta eniten katselukertoja. Jokaisesta käyttäjästä muodostuu päivä päivältä tarkempi profiili ja tarjonta personoituu palvelua käyttäessä.

Big data -sertifikaatti

Ivorio julkisti vuoden 2014 alussa uuden sertifikaatin, joka fokusoituu big data -ilmiön ymmärtämiseen ja keskeisten käsitteiden ja ratkaisujen tuntemukseen. Hadoop-sertifikaattimme suorittajilta on tullut arvokasta palautetta ja hyviä ideoita, joita olemme pyrkineet viemään käytäntöön uudessa sertifikaatissamme. Nyt myös kaikki kirjallisuuteen liittyvät kysymykset on päivitetty vastaamaan uuden "Big data ja pilvipalvelut" -kirjan sisältöä.

Fonecta KPMG:n asiakaslehdessä

Fonectalla tehdään tiedosta arvokasta

Fonecta on yksi Suomen big data- ja Hadoop-aktiivisista yrityksistä. Pilvipuolella yritys on edelläkävijä ja sama linja jatkuu big datan saralla. Rohkeus palkittaneen uusina liiketoimintamahdollisuuksina ja jo nyt näkyvyytenä eri medioissa. Tässä tuore juttu KPMG:n asiakaslehdessä.

Teollinen internet

Teollisesta internetistä puhutaan nyt paljon. Tässä muutama aihetta referoiva aikaisempi kirjoitus:

Inteliltä tulevaisuuden verkkokomponentteja

Intel on julkaissut uusia verkkokomponentteja, joiden avulla tulevaisuuden kasvavien datamäärien liikutteluun odotetaan saatavan helpotusta. MXC-liittimet, ClearCurve-kaapelit ja Silicon Photonics -teknologia muodostavat tuoteperheen, jolla luvataan kertaluokan tehonlisäystä nykyiseen tiedonsiirron huippulaitteistoon.

Vai miltä kuulostaa 1,6Tbps siirtonopeus?

Joko teillä on datajohtaja?

Chief Data Officer, CDO

Big data -ilmiön paisuessa on alettu yhä näkyvämmin peräänkuuluttaa datan johdonmukaista hallintaa ja kokonaisuuden johtamista suuntaan, jossa datamassa ovat paitsi hallinnassa, niin tiedostetaan, miten ne hyödyttävät liiketoimintaa. CDO on big data -ilmiön myötä tunnetuksi noussut ammattinimike johtajalle, joka vastaa yrityksen datakokonaisuudesta. Ei vain omassa hallussa olevista pääosin strukturoiduista datavarannoista, vaan myös siitä datasta, jota tuotetaan, mutta jota ei (vielä) tehokkaasti hyödynnetä.

Big data Aalto University Magazinen teemana

Aalto University Magazine nosti big datan uusimman numeron teemakseen. Ivorion panoksena 1 000 merkin määritelmä käsitteelle.

Forbes: Yhdysvaltojen julkinen keskustelu datan yksityisyydestä on alkanut

NSA-paljastusten ja kiusallisen viivyttelyn ja väistelyn jälkeen keskustelua on avattu Yhdysvaltojen valtionhallinnon ja kansan välillä. Forbesin artikkelissa on nostettu esiin keskeisiä MIT:lla käytyjen julkisten keskustelutilaisuuden aiheita ja kommentoitu niitä varsin värikkäästi.

Hadoop-markkinat kasvavat 25-kertaisiksi

Hadoop-markkinat n. 50 mrd $ vuonna 2020

Näin ennustaa Allied Market Research. Huikea kasvu viime vuoden noin 2 mrd $ markkinasta 50 mrd $ markkinaksi.

The market revenue was estimated to be $2 billion in 2013 and is expected to grow to $50.2 billion by 2020

Lue lisää

NIST määrittelee big dataa

NIST rajaa ilmiötä ja sen käsitteitä

National Institute of Standards and Technologies Yhdysvalloista on tuottanut laadukkaan pilvipalveluita kuvaavan viitekehyksen, jossa on listattu olennaisimmat tunnuspiirteet ja viitekehykset. Nyt työn alla on big data. Uusin versio määritelmästä on 0.9 helmikuulta 2014 ja työssä ollaan edetty jo kohtuullisen pitkälle.

Arcada mukana kehittämässä big data -koulutusta

Osaamisen kehittämisessä edetään

Big data -ilmiö on suosionsa huipussa ja osaamisen kehittämistä tehdään yhä aktiivisemmin myös Suomessa.

Arcada on saanut innovaatiorahoituskeskus Tekesiltä ja Opetus- ja kulttuuriministeriöltä rahoitusta Big Data -analytiikan tutkimushankkeeseen.

Analytiikka mukana kadonneen lentokoneen etsinnässä

Maaliskuun 9. päivä kadonneen Malaysian Airlines -yhtiön lento 370:n etsintä jatkuu. Tuntuu erikoiselta, että satojen miljoonien arvoisen lentokoneen annettaisiin vielä tänäkin päivänä lentää ilmoittamatta sijainnistaan, toimintojensa tilasta ja poikkeamista reaaliajassa jonkinlaiseen komentokeskukseen. Aihetta on analysoitu maailmalla asiantuntemukseen nojaten tai puhtaasti katastrofiaineksilla herkutellen jo reilun viikon.

Yritykset panostavat big dataan vahvasti

Esimerkki IBM

IBM nostaa big dataa esille vahvasti vuosikertomuksessaan.

Thanks to a proliferation of devices and the infusion of technology into all things and processes, the world is generating more than 2.5 billion gigabytes of data every day, and 80 percent of it is “unstructured”—everything from images, video and audio to social media and a blizzard of impulses from embedded sensors and distributed devices.

This is the driver of IBM’s first strategic imperative: To make markets by transforming industries and professions with data.

Cloudera sai lisärahoitusta 160 milj.$

Hadoop-yritys Cloudera sai lisää rahaa pääomasijoittajilta

Big data -ilmiö paisuu ja Hadoop on sen keihäänkärkiteknologia. Vuonna 2008 perustetun Clouderan pääomasijoitusten määrä ylitti juuri 300 milj.$. Markkina-arvon arviohan ylitti jo viime vuonna miljardin. Hadoop-markkinoiden puolestaan povataan kasvavan globaalisti vuoden 2013 parista miljardista ($) yli viiteenkymmeneen miljardiin ($) vuonna 2020. Hadoopin rooli ja merkitys IT-arkkitehtuurissa tuntuu laajenevan vauhdilla, kuten Gartner ja muut ovat ennustaneet viime vuodet.

Reilun pelin historiaa

Keskustelu käy vilkkaana reilun pelin säännöistä ja moraalista datan hyödyntämisessä. Erityisesti tarkastelun alla ovat henkilörekisterit ja henkilötason tiedon hyödyntäminen myynti- ja markkinointitarkoituksissa. Moni lainsäädäntö perustuu Yhdysvaltain kauppakomission säännöstöön (Fair Information Practice Principles).

Big data mukana VTT:n muistisairauksien ennustamisohjelmassa

VTT on saanut johtaakseen eurooppalaisen hankkeen, jossa kehitetään uusia työkaluja muistisairauksien entistä varhaisempaan diagnosointiin ja riskiryhmään kuuluvien henkilöiden tunnistamiseen. Kehitettävät työkalut perustuvat valtavien eri lähteistä peräisin olevien taustatietomassojen prosessointiin kuva-analyysin ja koneoppimisen menetelmiä hyödyntäen. Erityisesti tähtäimessä on tuottaa apuvälineitä Alzheimerin taudin tunnistamiseen ja sitä kautta nopeampi reagointi hoidon kautta.

Profittable 2014, Lindorff: aiheena mm. big data

Lindorffin asiakastilaisuus: Profittable 2014

Tänään pidetään Lindorffin asiakastilaisuus Profittable 2014, jossa aiheena mm. big data. Teema puhuttaa nyt ja on noussut kattokäsitteeksi sosiaaliselle medialle. Sosiaalisen median data on kiinnostavaa ja sitä hyödynnetään vieläkin heikosti.

Pivotal integroi tarjontaansa

EMC:n ja VMwaren viime vuonna luoma big data -yritys Pivotal on parannellut tuoteportfolionsa sisäistä integraatiota. He korostavat tiedotteessaan komponenttiensa yhteisvaikutusta ns. Business Data Lake -arkkitehtuurissa. Pivotalin tarjonta rakentuu Pivotal HD Hadoop-jakelun, muistinvaraisen Gemfire HD tietokannan ja nopean vasteajan SQL-muotoisen HAWQ-kyselyrajapinnan varaan.

Big data ilmiö kypsyy

Hype huipussaan - taas

Google Trends kertoo käsitteiden suosiosta hakusanoina. Big data on kaikkien aikojen huippulukemissaan.

Markkinat ovat kehittyneet myös vauhdilla. Monien suurten toimijoiden tarjoomat ovat muuttuneet radikaalisti viimeisten muutaman vuoden aikana. Yrityskauppojen tahti kiihtynee lähitulevaisuudessa ja startup-yritysten ideat ovat yhä tarkemmin rajattuja.

Platforan big data -analytiikkaratkaisuille $38M luottamusta

Piilaaksossa sijaitseva Platfora seuraa Clouderan vanavedessä julkaistessaan merkittävän sijoituspääoman lisän. Tunnetut alueen rahoittajat osoittavat uskoaan yrityksen vahvaan kasvuun ny 38 miljoonan dollarin lisäsijoituksella.

IAB tekee big data -opasta big datan hyödyntämiselle

IAB Finland laatii opasta big datan hyödyntämiselle:

IAB Finlandin Big Data -työryhmä työstää opasta, joka koostaa yhteen big dataan ja mainonnan kohdentamiseen liittyvää termistöä.

Lue lisää

Hadoop tuotantokäytössä?

Kuinka moni käyttää Hadoopia "tosissaan"?

Hadoop on vielä harvinaisuus. Siitä puhutaan paljon, mutta käyttökokemusta on harvalla. Esitystilaisuuksissa kädet nousevat harvoin jos lainkaan, kun kysyy kuka on tehnyt tai nähnyt tehtävän Hadoopilla jotain. Tuo tilanne kyllä muuttuu pian. Toistaiseksi Hadoop on kuitenkin monessa paikassa vasta kokeiluasteella.

WSJ:n bloissa siteerattiin Gartneria ja sitaatissa käyttäjämäärä tuotantokäytössä globaalisti arvioitiin vielä todella alhaiseksi:

Sivut