Uutta big data -rintamalla

Olin pari viikkoa lomalla ja kuten arvata saattaa, on big data -maailmassa tapahtunut tuona aikana paljon. Tuoreen hyvän yleiskatsauksen aiheeseen löysin Zdnet.comista kirjoittajana Suzanne Tindal. Vanhan kertausta oli puolestaan Forbesin sivuilla, jossa siteerattiin McKinseyn visioita viime vuodelta (miljardiluokan säästöt julkisella sektorilla saavutettavissa big datan avulla).

Big Data Working Group

Pilvipalveluiden yhteydessä tutuksi tulleen Cloud Security Alliancen alta löytyy nyt myös Big Data Working Group, joka keskittyy arvatenkin big dataan.

The Big Data Working Group (BDWG) will be identifying scalable techniques for data-centric security and privacy problems.

Työryhmän LinkeIn-ryhmä löytyy täältä. Teemoikseen työryhmä nimeää seuraavat:

Facebook menettänyt kaksi kolmannesta markkina-arvostaan

Viime perjantain kurssilla Facebook on jo menettänyt lähes kaksi kolmannesta listautumishetken markkina-arvostaan. Tuolloin yhtiön laskennallinen arvo oli yli 109 mrd $, kun se perjantaina oli enää hieman vajaat 39 mrd $. Liioittelin siis hieman otsikossa. Muutaman Nokian suuruinen markkina-arvon romahdus on kuitenkin melkoinen pudotus viimeisimmän aihetta sivuavan bloggaukseni jälkeen.

Hadoop -workshop

Hadoop on big data -ilmiön sydän. Yksittäisistä teknologioista se on tunnetuin, mutta monelle kuitenkin vielä vieras. Tässä yksi Hadoopia pintapuoleisesti esittelevä klippi:

Ari Hovi Oy järjestää lokakuussa Helsingissä ensimmäisen Hadoop-workshopin, jossa teorian lisäksi mennään käytäntöön.

Big data -tutkimus

Big datasta kirjoitetaan yhä useammassa paikassa, yksi viimeisimmistä kohdalle osuneista suomalaisista teksteistä oli 3T-lehdessä. Otsikossa mainittu tutkimus ei kuitenkaan liity siihen, vaan löytyy täältä. Toteuttajana Avanade ja parin sivun tiivistelmä avainlöydöksistä täällä.

Aalto Cloud Software Program: Hadoop-BAM

Googletin, mitä Hadoopista on kirjoitettu loman aikana ja muutaman päivän takaa löytyi tämä artikkeli Hadoop-BAM:sta, joka on ilmeisesti Aalto-yliopiston ja CSC:n käsialaa. Aika tarkkaan rajattu käyttötarkoitus, mikä ei kiinnosta monia (sekvenointilaitteiden tuottaman mittausdatan käsittely):

Deloitten ennustuksia

In 2012, big data will likely experience accelerating growth and market penetration

Symantec ja Hortonworks

Symantec ja Hortonworks tekevät yhteistyötä minkäs muunkaan kuin Hadoopin puitteissa. Symantecin asiakkaille tuote on ilmainen:

The Symantec Enterprise Solution for Hadoop is available now to existing Cluster File System customers at no additional charge.

Lisäarvo tulee "metadata-palvelimen" eli Name Noden saavutettavuudesta:

Big data ja liian suuret odotukset

Big dataan liittyvistä odotuksista on hyvä artikkeli cio.com:ssa, jossa meneillään oleva hype rinnastetaan taannoiseen pilvipalveluiden alkuhuumaan:

Like the term ‘cloud’, technology vendors have realised the marketability of ‘big data’ and have applied it to almost any solution they can.

Artikkelissa muistutetaan siitä, että matalalla ei roiku tämäkään hedelmä, vaan ponnisteluita vaaditaan, jos todellisia hyötyjä aiotaan saavuttaa. Uutta osaamistakin tarvitaan.

Big data -markkinadollareita

Ilmiö kaipaa lukuja kaavukseen tai se ei ole uskottava. Big data -markkinoita on mahdotonta rajata, joten niin on niiden rahamääräistäminenkin. Tässäkin blogissa on muutamaan otteeseen siteerattu viime vuoden McKinseyn raporttia, jossa maalailtiin vuotuista biljoonan(!) euron säästö- ja lisäarvopotentiaalia, joka big data -markkinoilla on. Hieman maltillisempia lukuja on tuoreessa ennusteessa, jota lainattiin mm. Zdnet.comissa.

Ennusta tulevaa big datan avulla

Näin otsikoi blogikirjoituksena Harward Business Review:n blogissa J. Rayport ("Use Big Data to Predict Your Customers' Behaviors"). Herättää ainakin huomion, vaikka lupaakin liikoja. Ennustamisen sijaan suuria datamääriä yhdistelemällä ja analysoimalla voi kuitenkin tehdä tarkkoja ennusteita. Täyttä varmuutta ei saa niilläkään, mutta riittävän tarkkuuden kyllä oikeiden päätösten tekemiseen.

Vähittäiskaupalle big data lupaa paljon - ja esimerkkejäkin jo on.

Oraclen big data e-kirja

Täällä Oraclen ilmainen big dataa käsittelevä e-kirja. Hyvä yleisesitys perusasioista ja tietenkin Oracle-mainontaa.

Asiaa Hadoopista

Informationweekissä oli muutama päivä sitten hyvä artikkeli Hadoopista. Hadoop on keskeinen palikka monissa big data -tuotteissa ja -palveluissa. Puutteensä on silläkin

Lisää vähittäiskauppa-asiaa

Kirjoitin eilen big datasta ja päivittäistavarakaupasta. Tässä on hyvä video vähittäiskaupan murroksesta pääosassa Amazon (joka myös siis merkittävä pilvipalvelu- ja big data -palveluntarjoaja).

Vuosituhannen taitteessa näitä visioita jo maalailtiin, mutta nyt ne alkavat muuttua todeksi. Ihan pienistä rahoista ei vähittäiskaupassa ole kyse.

Big data ja vähittäiskauppa jatkuu

Vähittäiskauppa on yksi käytetyimmistä esimerkeistä big data -caseissa. Walmart tulee mainituksi vähintään joka toisessa "white paperissa" ja ymmärrettävistä syistä vähittäiskauppa on erinomainen toimiala tarkasteltavaksi, kun halutaan valaista big datan potentiaalia. Asiakkaita on paljon, liikevaihdot valtavia, marginaalit tiukkoja ja kilpailu kovaa.

Hadoop-konsulttia haetaan

Nyt näitä alkaa ilmestymään: Hadoop-työpaikkoja nimittäin. Tässä Baronan ilmoitus.

Datacentre Investment Forum

Suomi on ihanteellinen paikka palvelinkeskukselle monessa suhteessa ja niitä tänne yritetään myös houkutella. Google ja CSC ovat näyttänee mallia paperitehtaiden uusiokäytöstä (täällä artikkeli). Facebook valitsi Ruotsin, joten lähiseudulla on kilpailua sijoittautumispaikoista. Kilpailussa pärjäämistä pohtii mm.

Vähittäiskaupan big data -ideakilpailu

RFID-lehdessä on kilpailu big data -startupeille. Palkintoja tapaaminen suuren vähittäiskaupan toimijan kanssa sekä big data -sijoittajan kanssa. Kisa siis Yhdysvalloissa. Vastaavan voisi järjestää Suomessa...

The challenge is to create a mobile retail application prototype, or to develop a mobile retail app or service to improve the retail demand chain, using big data.

Vähittäiskauppa on yksi lupaavimmista big datan käyttökohteista.

Marketing Cloud, Salesforce.com

Salesforce.com parantaa valikoimiaan jälleen yhdellä uudella palvelulla: Marketing Cloud

Analytiikasta vähittäiskaupassa ja muuten

Tivi:n CIO 100-blogissa oli S-ryhmän Raimo Mäenpään kirjoitus analytiikan nykytilasta ja kehityksestä. Big dataa ei jutussa erikseen puhuta, mutta datasta, analytiikasta ja päätöksenteosta kyllä. Teknologian kehitys asettaa muutospaineita kaikille toimialoille.

IT Governance Forum

Olin tänään puhumassa (arvatenkin) big datasta IT Governance Forumissa, jossa aiheena oli "Big data liiketoimintamahdollisuutena". Kiitos osallistuneille, oli mielenkiintoista keskustelua jälleen!

Kasvojentunnistuksesta

FBI:llä on uusi hanke, jossa n. miljardin dollarin budjetilla pyritään kehittämään järjestelmä, jolla kohtuullisen luotettavasti voitaisiin tunnistaa ihmisiä valvontakamerakuvasta tai valokuvista esim. netin palveluissa. Tässä Tietokone-lehden juttu aiheesta. Reaaliaikainen kasvojentunnistus valvontakamerakuvasta ja sen yhdistäminen esim.

Salesforce.com ja Hadoop

Tämän kesän esitys Hadoopin käytöstä Salesforce.com:ssa.

Salesforce.com Radian6

Muutama päivä sitten kirjoitin Salesforce.com:n Marketing Cloudista, jonka osana Radian6 nykyään on. Radian6 oli julkistettu jo kirjani "Hyötyä pilvipalveluista" kirjoittamisen aikoihin ja sitä lyhyesti siinä esittelinkin.

Nyt palvelun hinnatkin ovat julkistettuja.

Yleistä asiaa big datasta, osa X

Tässä Bloombergin videossa jälleen yksi näkemys kysymykseen "Mitä on big data?". Sosiaalinen media ja ihmisten tuottama data ylipäänsä ylikorostuu, eikä sensorien tuottamaa dataa mainita lainkaan. Kannattaa kuitenkin käyttää muutama minuutti katsomiseen.

Miten ladataan dataa Google BigQueryyn?

Tässä Youtube-videossa Googlen kehittäjätiimi kertoo mitä dataa Google BigQueryyn tyypillisesti ladataan ja miten se tehdään (CSV-tiedostosta).

Harward Business Review ja big data

HBR tarjoaa big data -tietoa SAS:n sponsoroimassa HBR Insight Centerissä (Big Data: Beyond the Hype).

This Insight Center will tell stories about successful Big Data projects

Liikkeenjohdolle suunnattu HBR lisännee tietoisuutta meneillään olevasta hypestä ja kasvattaa konkreettisten tuotteiden ja palveluiden kysyntää. Painetta luodaan tervetulokirjoituksen ensimmäisessä lauseessa:

The explosion of data available to organizations today truly is extraordinary.

Hyvä esitys Hadoopista

Hadoopista on enemmän esityksiä kuin mitä kukaan ehtii katsomaan. Tässä yksi, missä kokonaisuus on hyvin esitetty. Melko pitkä, mutta antaa parissa sadassa kalvossa hyvän kokonaiskuvan a) big datasta ja b) Hadoopista. Esitys on uusi (syyskuu 2012), joten myös tulossa olevat Hadoopin uudet ominaisuudet esitellään.

Big datan kolme lakia ja kolme I:tä

Tätä ei ole tässä blogissa vielä esiteltykään: big datan kolme lakia ja big datan kolme I-kirjainta. V-kirjaimistahan on jo puhuttu paljon. Big datan kolme lakia on Forbesin blogista Gil Pressin käsialaa:

Google BigQuery ja Excel

Tässä Youtube-video, jossa demotaan Google BigQueryn ja Excelin yhteiskäyttöä. Ainoastaan yksi henkilö toissapäiväiseen IT Governance Forumin tilaisuuteen osallistuneista oli "käsi pystyy, jos olet kuullut BigQuerystä"-äänestyksen perusteella edes kuullut BigQuerystä, joten ihan vielä se ei ole lyönyt läpi Suomessa...

Capgemini etsii konsultteja

Capgemini etsii Academic Workin avulla Business Intelligence-konsultteja. Big data ja prediktiivinen analytiikkakin mainitaan ilmoituksessa.

BI-alueen nousevia trendejä ovat Big Data ja Predictive Analytics.

EMC Forum 2012

EMC järjestää lokakuussa (4.10.2012, Dipoli Congress Centre) foorumin, jossa puhutaan mm. big datasta (Introduction to Big Data Analytics, Big Data Storage). Ilmoittautuminen täällä ja ohjelma täällä

Big datan ongelma: artikkeli Tietoviikossa

Tietoviikossa oli taas artikkeli big datasta. Tällä kertaa lähestyttiin aihetta otsikolla "Big datan ongelma: yritysjohtajat eivät tiedä, mitä he eivät tiedä".

SAP HANA hakee start-up-yrityksiä

Tietoviikko siteeraa Zdnetissä ollutta artikkelia, jossa kerrotaan SAP:n havittelevan start-up-yrityksiä partnereikseen. Luvassa on valituille yrityksille maksutta käyttöön SAP:n ohjelmistoja ja tukipalveluita. Ekosysteemeitä siis rakennellaan ja innovatiivisuuteen haetaan uutta vaihdetta.

Disney-case Hadoopista, Cassandrasta ja MongoDB:stä

Tässä Gigaom.comin artikkelissa kerrotaan Disneyn Hadoopin, Cassandran ja MongoDB:n (maagisia NoSQL-sovelluksia...) käytöstä big data-alustan rakentamisessa. Sisäinen yrittäjyys oli tässä taikasana:

The Human Face of Big Data

The Human Face of Big Data kerää vapaaehtoisten voimin dataa ihmisten arjesta.

The Human Face of Big Data is a globally crowdsourced media project focusing on humanity's new ability to collect, analyze, triangulate and visualize vast amounts of data in real time.

Segmentointi, kohdentaminen, asemointi

STP on markkinoinnin perusteita (Segmentation, Targeting, Positioning) ja tässä big data voi olla avuksi, kuten pohditaan esim. tässä artikkelissa. Oraclen tutkimuksen mukaan suuri osa yritysjohtajista tunnistaa datan puutteellisen hyödyntämisen kustannuksen:

11.6 eksabittiä dataa

Se on määrä tallennustilaa, jonka EMC on kertomansa mukaan toimittanut viimeisen kymmenen vuoden aikana. Tilastoiduista ulkoisen tallennustilan markkinoista tämä on noin neljännes. Täällä koko infograafi, jossa muitakin mielenkiintoisia lukuja sekä EMC:stä että big datasta ylipäänsä.

Pari big data -tilaisuutta Suomesta

Talent Base

Tässä yksi kuluneen vuoden aikana big datan ympärillä pidetyistä tilaisuuksista: MDM ja Big Data -aamiaisseminaari. Sivustolla muutama video aamiaisseminaarista.

Talentum Events

Joulukuussa Talentum Events järjestää tilaisuuden Big Data 2012.

Oraclen big data -raportti

Big datan huomiotta jättäminen maksaa 71.2 milj.$ vuodessa... Näin otsikoi Forbesin blogi, kun se kirjoittaa Oraclen tuoreesta big data -raportista, jossa oli haastateltu eri toimialojen ylintä johtoa (CXX-titteleitä).

AWS DynamoDB

Tässä Tietoviikon jutussa kerrotaan Instagrammin nostaneen tietokantansa nopeuden moninkertaiseksi

Google Adwords ja Hadoop Helsingissä

Toimistolta Helsingin Hämeentieltä Googletettaessa ei Suomesta tule kuin yksi mainos Hadoop-osaamista tarjoavista yrityksistä. Tämä ei tietenkään tarkoita, etteikö niitä olisi enemmänkin, koska Google mahdollistaa erityyppisen kohdentamisen eli en välttämättä tällä koneella, tästä paikasta ja tähän aikaan näe kaikkia mainoksia.

Opiskelu kannattaa

McKinseyn vuoden 2011 raportin mukaan pelkästään Yhdysvalloissa tarvitaan lähivuosina satojatuhansia big data -osaajia ja tilanne lienee sama myös Euroopassa. Kun kysyntä on suurempi kuin tarjonta, on hinnoilla tapana nousta, kuten kansantaloustieteen teoria kertoo. Näin myös big data -markkinoilla. Tässä Computerworldin jutussa peräänkuulutetaan big dataan liittyvien akateemisten ohjelmien perään.

QlikMarket, osa II

Kirjoitin eilen QlikView:n QlikMarket-julkistuksesta. Yksi parhaista tavoista pienelle yritykselle hypätä big data -junaan, on liittyä johokin ekosysteemiin (tai useampaan) eli kehittää, joku niche- tai mainstream-markkinoille suunnattu lisäosa/liitin olemassa olevaan big data -palveluun tai tuotteeseen. Näille luulisi riittävän kasvavaa kysyntää lähivuosina, kunhan vain osaa valita oikean kumppanin. Taantuvan tai umpikujaan päätyvän tuotteen tai palvelun mukana uppoaa koko systeemi.

Big data rekrytoinnissa

Wall Street Journalin nettisivuilla on artikkeli big datan käytöstä rekrytoinnissa. Esimerkkinä mainitaan mm. Xerox, joka on pyrkinyt automatisoimaan melkein 50 000(!) call-center-työpaikkansa rekrytointiprosessin. Muutkin ovat samoilla linjoilla

Culturonomics 2.0: ennusta tulevaisuutta

TED:ssä on huippupuheevuoroja ja tässä yksi tuoreimmista: Culturonomics 2.0, puhujana Kalev Leetaru.

Sävy

Ihmiskunnan historia ensin pikakelauksella ja sitten mielenkiintoista pohdintaa käytettävissä olevan datan määrästä, sen kasvun nopeudesta ja siitä, mitä kaikkea tuon datan avulla voisi ennustaa.

Crowdsourcing

Muotisana crowdsourcing esiintyy tiuhaan eri yhteyksissä. Tuore ilmestyminen oli Gigaom.com:ssa, jossa kerrottiin Suomen hankkeesta joukkoälyistää lainsäädäntöä. Juttu ei ole uusi (kansalaisaloite), mutta sai nyt siis kansainvälistä huomiota, koska osui tuohon crowdsourcing-hermoon.

Code for Europe

Code for Europe (tai katu-uskottavasti Code4EU, vaikka Europe != EU) on ohjelma, jolla pyritään saamaan mm. avoin data ja sosiaalisen median tietomassat yhteiskunnalliseen hyötykäyttöön.

Code4EU matches creative individuals with innovative cities to take government to the next level. Amsterdam, Barcelona, Berlin, Helsinki, Manchester, and Rome will each host a project team. Each city has identified needs for which they hope to find unique solutions using the power of the internet and social media.

Big data tarkentaa kuvaa asiakkaasta

Se oli otsikko Tietoviikon eilisessä jutussa. Mitään kovin täsmällistä ei jutussa kerrota, mutta sitäkin laajemmin.

Sivut