Co jsou velká data: charakteristika, klasifikace, příklady. Encyklopedie marketingu

Big data, neboli velká data, je pojem používaný v informačních technologiích a marketingu. Termín "velká data" se používá k definování analýzy a správy velkých souborů dat. Big data jsou tedy informace, které vzhledem k jejich velkému objemu nelze zpracovat. tradiční způsoby.

Moderní život si nelze představit bez digitálních technologií. Světová datová úložiště jsou neustále doplňována, a proto je také nutné neustále měnit jak podmínky pro uchovávání informací, tak hledat nové způsoby, jak navyšovat objem jejich nosičů. Na základě znaleckého posudku navýšení velká data a zvyšování tempa růstu jsou současnou realitou. Jak již bylo zmíněno, informace se objevují nepřetržitě. Jeho obrovské objemy generují informační weby, různé služby pro sdílení souborů a sociální sítě, ale to je jen malá část z celkového vyprodukovaného objemu.

IDC Digital Universe po provedení studie uvedlo, že do 5 let objem dat obecně na celé Zemi dosáhne čtyřiceti zettabytů. To znamená, že na každého člověka na planetě připadne 5200 GB informací.

Nejlepší článek měsíce

První polovina roku 2018 se chýlí ke konci – je čas shrnout průběžné výsledky. I když obchodní výkonnost společnosti oproti předchozímu období vzrostla, ujistěte se, že v chodu společnosti nejsou skryté potíže, které mohou přinášet potíže.

Chcete-li diagnostikovat problémy, vyplňte kontrolní seznamy z našeho článku a zjistěte, které straně podnikání je třeba věnovat pozornost.

Je dobře známo, že lidé nejsou hlavním producentem informací. Hlavním zdrojem, který přináší informační data, jsou roboti, kteří neustále interagují. Patří mezi ně operační systém počítačů, tabletů a mobilních telefonů, inteligentní systémy, monitorovací nástroje, sledovací systémy a další. Společně nastavili rychlé tempo nárůstu objemu dat, což znamená, že potřeba vytvářet skutečné i virtuální servery roste. Společně to vede k rozšiřování a implementaci nových datových center.

Nejčastěji jsou velká data definována jako informace, které jsou větší než pevný disk PC a také je nelze zpracovat tradičními metodami, které se používají při zpracování a analýze informací o menším objemu.

Abychom to shrnuli, technologie zpracování velkých dat se nakonec dělí na 3 hlavní oblasti, které zase řeší 3 typy problémů:

1. Ukládání a správa obrovského množství dat – stovky terabajtů a petabajtů – které relační databáze nemohou efektivně využít.
2. Organizace nestrukturovaných informací - texty, obrázky, videa a další typy dat.
3. Big data analysis (big data analytics) - zde zvažujeme, jak pracovat s nestrukturovanými informacemi, vytvářet reporty analytických dat a zavádět prediktivní modely.

Projektový trhvelkýdata je úzce propojena s trhem VA - business intelligence, jehož objem v roce 2012 činil cca 100 miliard USD a zahrnuje síťové technologie, software, technické služby a servery.

S využitím big data technologií je neodmyslitelně spjata také automatizace činností společnosti, zejména řešení třídy zaručeného příjmu (RA). Systémy v této oblasti dnes obsahují nástroje, které slouží k odhalování nesrovnalostí a k hloubkové analýze dat a také k identifikaci případných ztrát či nepřesností v informacích, které mohou vést ke snížení výsledků sektoru.

Ruské společnosti potvrzují poptávku po technologiích velkých dat, samostatně poznamenávají, že hlavními faktory ovlivňujícími vývoj velkých dat v Rusku jsou nárůst objemu dat, rychlé rozhodování managementu a zvýšení jejich kvality.

Jakou roli hrají velká data v marketingu?

Není žádným tajemstvím, že informace jsou jednou z hlavních součástí úspěšného předpovídání a rozvoje marketingové strategie, pokud je umíte využít.

Analýza velkých dat je nepostradatelná při určování cílové skupiny, jejích zájmů a aktivit. Jinými slovy, šikovné využití velkých dat umožňuje přesně předvídat vývoj společnosti.

Pomocí například známého aukčního modelu RTB lze s pomocí analýzy velkých dat snadno docílit toho, že se reklama bude zobrazovat pouze těm potenciálním kupujícím, kteří mají zájem o koupi služby nebo produktu.

aplikace velká data v marketingu:

1. Umožňuje rozpoznat potenciální kupce a přilákat vhodné publikum na internetu.
2. Přispívá k hodnocení míry spokojenosti.
3. Pomáhá sladit nabízenou službu s potřebami kupujícího.
4. Usnadňuje hledání a implementaci nových metod ke zvýšení loajality zákazníků.
5. Zjednodušuje tvorbu projektů, které budou později žádané.

Konkrétním příkladem je služba Google.trends. S jeho pomocí bude obchodník schopen identifikovat předpověď pro sezónu týkající se konkrétního produktu, geografie kliknutí a výkyvů. Porovnáním obdržených informací se statistikami vašich vlastních stránek je tedy poměrně snadné vytvořit rozpočet na reklamu s uvedením regionu a měsíce.

• Rozdělení reklamního rozpočtu: za co se vyplatí utrácet peníze
l>

Jak a kam ukládat velká data

Souborový systém– zde se organizují a ukládají velká data. Všechny informace jsou umístěny na velkém počtu pevných disků v PC.

"Mapa"- mapa - sleduje, kde jsou jednotlivé informace přímo uloženy.

Pro zajištění proti nepředvídaným okolnostem je zvykem ukládat každou z informací několikrát - doporučuje se to třikrát.

Například po shromáždění jednotlivých transakcí v maloobchodní síti budou všechny informace o každé jednotlivé transakci uloženy na několika serverech a pevných discích a „mapa“ bude indexovat umístění souboru pro každou konkrétní transakci.

Chcete-li uspořádat ukládání dat ve velkých objemech, můžete použít standardní hardware a software, který je ve veřejné doméně (například Hadoop).

Velká data a business intelligence: rozdíl mezi pojmy

Dnes je obchodní analýza popisným procesem výsledků, kterých bylo dosaženo v určitém časovém období. Díky provozní rychlosti zpracování velkých dat je analýza prediktivní. Na jeho doporučení se lze v budoucnu spolehnout. Technologie velkých dat umožňují analyzovat více typů dat ve srovnání s nástroji a nástroji používanými v business intelligence. To umožňuje nejen zaměřit se na úložiště, kde jsou data strukturována, ale využívat mnohem širší zdroje.

Business intelligence a velká data jsou si v mnoha ohledech podobné, existují však následující rozdíly:

• Velká data se používají ke zpracování množství informací, které je mnohem větší než business intelligence, která definuje samotný koncept velkých dat.
• Pomocí velkých dat můžete zpracovávat rychle přijatá a měnící se data, což vede k interaktivitě, tj. ve většině případů je rychlost načítání webové stránky menší než rychlost generování výsledků.
• Velká data lze využít při zpracování dat, která nemají strukturu, s níž je vhodné začít pracovat až po zajištění jejich uložení a sběru. Kromě toho je nutné použít algoritmy, které dokážou identifikovat hlavní vzory ve vytvořených polích.

Proces podnikové analýzy se jen málo podobá práci s velkými daty. Je pravidlem, že obchodní analytici získávají výsledek sečtením konkrétních hodnot: příkladem je roční objem prodeje, vypočítaný jako součet všech zaplacených faktur. V procesu práce s velkými daty probíhá výpočet sestavením modelu v etapách:

• předložit hypotézu;
• budování statického, vizuálního a sémantického modelu;
• testování platnosti hypotézy založené na těchto modelech;
• předložit následující hypotézu.

Pro provedení celého cyklu výzkumu je nutné interpretovat vizuální hodnoty (interaktivní dotazy založené na znalostech). Je také možné vyvinout adaptivní algoritmus strojového učení.

Názor odborníka

Nespoléhejte slepě na názory analytiků

Vjačeslav Nazarov,

Generální ředitel ruského zastoupení Archos v Moskvě

Zhruba před rokem jsme na základě názoru odborníků uvedli na trh zcela nový tablet, herní konzole. Kompaktnost a dostatečná technická síla našly své uznání mezi fanoušky počítačových her. Nutno podotknout, že tato skupina i přes svou „úzkost“ měla dosti vysokou kupní sílu. Novinka nejprve sklidila v médiích spoustu kladných ohlasů a od našich partnerů získala souhlasné hodnocení. Brzy se však ukázalo, že prodeje tabletu jsou poměrně nízké. Řešení nikdy nenašlo svou masovou popularitu.

Chyba. Naším nedostatkem bylo, že nebyly do konce studovány zájmy cílového publika. Uživatelé, kteří raději hrají na tabletu, nepotřebují super grafiku, protože většinou hrají jednoduché hry. Vážní hráči jsou již zvyklí hrát na počítači na pokročilejších platformách. Masivní reklama našeho produktu neprobíhala, marketingová kampaň byla také slabá a nakonec si tablet nenašel svého kupce v žádné z naznačených skupin.

Důsledky. Výroba produktu musela být snížena o téměř 40 % oproti původně plánovaným objemům. K velkým ztrátám samozřejmě nedošlo, stejně jako k plánovanému zisku. To nás však donutilo upravit některé strategické cíle. To nejcennější, co jsme nenávratně ztratili, je náš čas.

Poraďte. Je potřeba myslet dopředu. Produktové řady je třeba vypočítat dva nebo tři kroky dopředu. Co to znamená? Při dnešním uvedení modelové řady na trh je žádoucí porozumět jejímu zítřejšímu osudu a mít alespoň přibližnou představu o tom, co s ní bude za rok a půl. Úplné detaily jsou samozřejmě nepravděpodobné, ale základní plán je ještě potřeba sestavit.

A přesto byste neměli úplně a úplně důvěřovat analytikům. Hodnocení odborníků by mělo být úměrné jejich vlastním statistickým údajům a také provozní situaci na trhu. Pokud váš produkt není plně vyvinutý, neměli byste jej pouštět na trh, protože pro kupujícího je nejdůležitější první dojem a pak bude těžký úkol přesvědčit ho o opaku.

Velmi důležitá rada v případě neúspěchu - rychlost rozhodování. Nemůžete se jen dívat a čekat. Řešení problému v horké pronásledování je vždy mnohem jednodušší a levnější než oprava běžícího problému.

Jaké problémy vytváří systém velkých dat?

Existují tři hlavní skupiny problémů systémů velkých dat, které se v zahraniční literatuře spojují do 3V - Volume, Velocity a Variety, tedy:

1. Hlasitost.
2. Rychlost zpracování.
3. Nestrukturované.

Problematika uchovávání velkého množství informací je spojena s nutností organizovat určité podmínky, tedy s vytvářením prostoru a příležitostí. Pokud jde o rychlost, není spojena ani tak se zpomalováním a brzděním při použití zastaralých metod zpracování, ale s interaktivitou: výsledek je produktivnější, čím rychlejší je zpracování informací.

1. Problém nestrukturovanosti pramení z oddělenosti zdrojů, jejich formátu a kvality. Úspěšná agregace a zpracování velkých dat vyžaduje jak přípravné práce, tak analytické nástroje nebo systémy.
2. Velký vliv má i hranice „hodnoty“ dat. Určit hodnotu je poměrně obtížné a na základě toho je problematické vypočítat, jaké finanční investice budou vyžadovány a jaké technologie budou potřeba. Pro určitá množství, například terabajty, se však dnes úspěšně uplatňují nové metody zpracování, které se neustále zdokonalují.
3. Nedostatek obecně uznávaných principů pro práci s velkými daty je dalším problémem, který komplikuje zmíněná heterogenita toků. K vyřešení tohoto problému se vytvářejí nové metody analýzy velkých dat. Na základě vyjádření zástupců univerzit v New Yorku, Washingtonu a Kalifornii není daleko k vytvoření samostatné disciplíny a dokonce i big data science. To je hlavní důvod, proč společnosti nespěchají se zaváděním projektů souvisejících s velkými daty. Dalším faktorem je vysoká cena.
4. Potíže také způsobují výběr dat pro analýzu a algoritmus akcí. Dosud není jasné, která data nesou cenné informace a vyžadují analýzu velkých dat a která lze ignorovat. V této situaci se vyjasňuje ještě jedna věc - na trhu není dostatek odborníků v oboru, kteří by se dokázali vypořádat s hloubkovou analýzou, sestavit zprávu o řešení problému, a tím přinášet zisk.
5. Otázka má také morální stránku: liší se shromažďování dat bez vědomí uživatele od hrubého narušení soukromí? Stojí za zmínku, že sběr dat zlepšuje kvalitu života: například neustálý sběr dat v systémech Google a Yandex pomáhá společnostem zlepšovat jejich služby v závislosti na potřebách spotřebitelů. Systémy těchto služeb zaznamenávají každé kliknutí uživatele, jeho polohu a navštívené stránky, všechny zprávy a nákupy – a to vše umožňuje zobrazovat reklamu na základě chování uživatele. Uživatel neudělil souhlas se shromažďováním údajů: taková volba nebyla poskytnuta. To vede k dalšímu problému: jak bezpečné jsou informace uloženy? Například informace o potenciálních kupcích, historii jejich nákupů a přechodech na různé stránky mohou pomoci vyřešit mnoho obchodních problémů, ale velmi důležité je, zda je platforma, kterou kupující využívají, bezpečná. kontroverzní téma. Mnozí apelují na to, že dnes žádné datové úložiště – dokonce ani servery vojenských služeb – není dostatečně chráněno před útoky hackerů.

• Obchodní tajemství: ochrana a sankce za prozrazení

Postupné využívání velkých dat

Fáze 1. Technologická implementace společnosti do strategického projektu.

Mezi úkoly technických specialistů patří předběžná studie koncepce rozvoje: analýza cest rozvoje pro oblasti, které to nejvíce potřebují.

K určení složení a úkolů se vede rozhovor se zákazníky, v jehož důsledku jsou analyzovány požadované zdroje. Paralelně se organizace rozhodne všechny úkoly kompletně outsourcovat nebo vytvořit hybridní tým složený ze specialistů z této a jakýchkoli jiných organizací.

Podle statistik používá velké množství společností právě takové schéma: přítomnost týmu odborníků uvnitř, který kontroluje kvalitu práce a formování hnutí, a navenek, který realizuje přímý test hypotéz o vývoji jakéhokoli směr.

Fáze 2. Vyhledejte datového inženýra.

Vedoucí kolegiálně shromažďuje osazenstvo pracovníků. Je také zodpovědný za vývoj projektu. Zaměstnanci HR hrají přímou roli při budování interního týmu.

Za prvé, takový tým potřebuje datového analytika, to je on datový vědec, který se bude zabývat úkolem tvořit hypotézy a analyzovat pole informací. Korelace, které nastínil, budou v budoucnu použity jako základ nových produktů a služeb.

Je to důležité zejména v raných fázích úkol HR oddělení. Její zaměstnanci rozhodují o tom, kdo přesně bude práci zaměřenou na rozvoj projektu dělat, kde ji získat a jak ji motivovat. Není snadné najít datového analytika, takže se jedná o „kusový produkt“.

Každá seriózní firma musí mít specialistu tohoto profilu, jinak se ztrácí zaměření projektu. Analytický inženýr v souhrnu: vývojář, analytik a obchodní analytik. Kromě toho musí mít komunikační schopnosti, aby ukázal výsledky své činnosti, a zásobárnu znalostí a dovedností pro podrobné vysvětlení svých myšlenek.

• 24 myšlenek, které odstartují velké změny v životě

Hledejte příklady

1. V Moskvě byla organizována taxislužba „Big Data“. Cestující na trase odpovídali na úkoly z oblasti profesionální analytiky. V případě, že cestující odpověděl na většinu otázek správně, společnost mu nabídla práci. Hlavní nevýhodou této techniky náboru je neochota většiny účastnit se takových projektů. S rozhovorem souhlasilo jen pár lidí.

2. Pořádání speciální soutěže business intelligence s nějakou cenou. Tuto metodu použila velká ruská banka. Výsledkem bylo, že se soutěže o hackathon zúčastnilo více než 1000 lidí. Těm, kteří v soutěži dosáhli nejvyššího úspěchu, byla nabídnuta práce. Bohužel většina výherců nevyjádřila přání získat pozici, protože jejich jedinou motivací byla cena. Ale přesto se pár lidí dohodlo na práci v týmu.

3. Hledejte v prostředí datových specialistů, kteří rozumí business analytice a dokážou dát věci do pořádku vytvořením správného algoritmu akcí. Mezi nezbytné dovednosti specializovaného analytika patří: programování, znalost Pythonu, R, Statistica, Rapidminer a další neméně důležité znalosti pro obchodního analytika.

Fáze 3. Vytvoření týmu pro rozvoj.

Je potřeba koordinovaný tým. Při zvažování pokročilé analýzy, jako je inovativní rozvoj společnosti, bude po manažerovi požadováno, aby vytvořil a rozvinul business intelligence.

Výzkumný inženýr se zabývá konstrukcí a testováním hypotéz pro úspěšný vývoj zvoleného vektoru.

Hlava je nutné organizovat rozvoj zvolené obchodní oblasti, vytvářet nové produkty a koordinovat je se zákazníky. Mezi jeho povinnosti navíc patří kalkulace obchodních případů.

Vývojový manažer musí úzce spolupracovat se všemi. Analytický inženýr a manažer rozvoje obchodu zjišťuje potřeby a příležitosti pro analýzu velkých dat prostřednictvím schůzek se zaměstnanci zodpovědnými za různé oblasti projektu. Manažer po analýze situace vytvoří případy, díky nimž bude společnost rozhodovat o dalším vývoji směru, služby nebo produktu.

• Manažer vývoje: požadavky a náplň práce

3 zásady práce s bigdata

Můžeme rozlišit hlavní metody práce s velkými daty:

1. Horizontální škálovatelnost. Vzhledem k tomu, že musí existovat obrovské množství dat, bude rozšiřitelný každý systém, který zpracovává velké množství informací. Pokud například množství dat několikrát vzrostlo, množství hardwaru v clusteru se zvýšilo o stejné množství.
2. Odolnost proti chybám. Na základě principu horizontální škálovatelnosti můžeme usoudit, že v clusteru je velké množství strojů. Například cluster Hadoop od Yahoo jich má více než 42 000. Všechny metody práce s velkými daty musí počítat možné závady a hledat způsoby, jak se s problémy vypořádat bez následků.
3. Datová lokalita. Data uložená ve velkých systémech jsou distribuována na poměrně velkém počtu strojů. Proto v situaci, kdy jsou data uložena na serveru č. 1 a zpracovávána na serveru č. 2, nelze vyloučit možnost, že jejich přenos bude dražší než zpracování. Proto je při návrhu věnována velká pozornost tomu, aby data byla uložena a zpracována na jednom počítači.

Všechny metody práce s velkými daty, tak či onak, dodržují tyto tři principy.

Jak používat systém velkých dat

Výkonná řešení velkých objemů dat pro širokou škálu podniků jsou umožněna mnoha kombinacemi softwaru a hardwaru, které jsou dnes k dispozici.

Důležitá důstojnostvelkýdata- schopnost aplikovat nové nástroje s těmi, které se již v této oblasti používají. To hraje zvláště důležitou roli v situaci mezioborových projektů. Příklady zahrnují vícekanálový prodej a zákaznickou podporu.

Pro práci s velkými daty je důležitá určitá sekvence:

• data se shromažďují jako první;
• pak jsou informace strukturovány. K tomuto účelu se používají dashboardy ( řídicí panely – strukturovací nástroje;
• v další fázi se vytvářejí náhledy a souvislosti, na jejichž základě se tvoří doporučení pro rozhodování. Vzhledem k vysokým nákladům na sběr dat je hlavním úkolem určení účelu použití získaných informací.

Příklad. Reklamní agentury mohou používat informace o poloze agregované telco. Tento přístup zajistí cílenou reklamu. Stejné informace platí i v dalších oblastech souvisejících s poskytováním a prodejem služeb a zboží.

Takto získané informace mohou být klíčové při rozhodování, zda otevřít prodejnu v konkrétní oblasti.

Vezmeme-li v úvahu případ použití venkovních billboardů v Londýně, není pochyb o tom, že dnes je takový zážitek možný pouze v případě, že je u každého billboardu umístěno speciální měřící zařízení. Mobilní operátoři přitom vždy znají základní informace o svých předplatitelích: jejich polohu, rodinný stav a podobně.

Další potenciální oblastí využití velkých dat je sběr informací o návštěvnosti různých akcí.

Příklad. Přesný počet lidí, kteří na zápas přišli, nejsou organizátoři fotbalových utkání schopni předem znát. Takovou informaci by však dostali, pokud by použili informace od operátorů mobilní komunikace: kde jsou potenciální návštěvníci po určitou dobu - měsíc, týden, den - před zápasem. Ukazuje se, že organizátoři by měli možnost naplánovat místo konání akce v závislosti na preferencích cílového publika.

Big data poskytují nesrovnatelné výhody i pro bankovní sektor, který může zpracovaná data využít k identifikaci bezohledných držitelů karet.

Příklad. Pokud držitel karty tvrdí, že karta byla ztracena nebo odcizena, má banka možnost sledovat polohu karty použité k vyúčtování a mobilního telefonu držitele, aby ověřila pravdivost informací. Zástupce banky má tedy možnost se o tom přesvědčit platební karta a držák mobilního telefonu jsou ve stejné zóně. Tedy - kartu používá majitel.

Díky výhodám tohoto druhu poskytuje využívání informací společnostem mnoho nových příležitostí a trh s velkými daty se nadále vyvíjí.

Hlavním problémem při implementaci velkých dat je složitost výpočtu případů. Tento proces je komplikován přítomností velký počet neznámý.

Je poměrně obtížné dělat nějaké předpovědi do budoucna, zatímco data o minulosti nejsou vždy v přístupové zóně. V této situaci je nejdůležitější plánování vašich počátečních akcí:

1. Definice konkrétního problému, při jehož řešení se uplatní technologie zpracování velkých dat, pomůže určit koncepci a nastavit vektor další akce. Poté, co jsme se zaměřili na shromažďování informací o tomto konkrétním problému, stojí za to využít všechny dostupné nástroje a způsoby, jak získat jasnější obrázek. Navíc tento přístup značně usnadní rozhodovací proces v budoucnu.
2. Pravděpodobnost, že projekt velkých dat bude realizován týmem bez určitých dovedností a zkušeností, je extrémně malá. Znalosti, které je potřeba v tak složitém studiu využít, se většinou získávají dlouhou prací, proto jsou v této oblasti tak důležité předchozí zkušenosti. Je obtížné přeceňovat dopad kultury využívání informací získaných prostřednictvím takového výzkumu. Poskytují různé příležitosti, včetně zneužití obdržených materiálů. Chcete-li informace využít k dobrému, měli byste dodržovat základní pravidla správného zpracování dat.
3. Statistiky jsou základní hodnotou technologie. Trh stále pociťuje akutní nedostatek silných odborníků – těch, kteří rozumí zákonitostem podnikání, důležitosti informací a rozsahu jejich uplatnění. Není možné nevzít v úvahu skutečnost, že analýza dat je klíčový způsob, jak dosáhnout svých cílů a rozvíjet své podnikání, musíte se snažit rozvíjet konkrétní model chování a vnímání. V tomto případě budou velká data užitečná a budou hrát pozitivní roli při řešení obchodních problémů.

Úspěšné případy implementace velkých dat

Některé z níže uvedených případů byly úspěšnější ve sběru dat, jiné byly lepší v analýze velkých dat a ve způsobech aplikace dat získaných během studie.

1. « Kreditní systémy Tinkoff» využili platformu EMC2 Greenplum pro masivní paralelní počítání. Vzhledem k neustálému nárůstu toku uživatelů karet v bance bylo nutné zrychlit zpracování dat. Bylo rozhodnuto využít velká data a pracovat s nestrukturovanými informacemi a také s firemními informacemi, které byly získány z různých zdrojů. Pozornosti jejich specialistů neunikl ani fakt, že na webu ruské Federální daňové služby je implementována analytická vrstva federálního datového skladu. Následně je na jeho základě plánováno uspořádání prostoru, který poskytuje přístup k datům daňového systému pro další zpracování a získávání statistických dat.
2. Samostatně stojí za zvážení ruský startup synquera, podílí se na online analýze velkých dat a vyvinul platformu Simplate. Podstatou je, že se zpracovává velké množství dat, analyzují se údaje o spotřebitelích, jejich nákupech, věku, náladě a stavu mysli. Síť obchodů s kosmetikou nainstalovala u pokladen senzory, které dokážou rozpoznat emoce kupujícího. Po určení nálady, informací o kupujícím se analyzuje čas nákupu. Poté kupující cíleně dostává informace o slevách a akcích. Toto rozhodnutí zvýšilo loajalitu spotřebitelů a dokázalo zvýšit příjem prodávajícího.
3. Samostatně stojí za to mluvit o případu využití technologií velkých dat ve společnosti Dunkin' Donuts, kteří analogicky s předchozím příkladem použili online analýzu ke zvýšení zisku. V maloobchodních prodejnách se tedy na displejích zobrazovaly speciální nabídky, jejichž obsah se každou minutu měnil. Základem pro záměny v textu byla jak denní doba, tak produkt na skladě. Z pokladních dokladů společnost získávala informace o tom, po kterých položkách je největší poptávka. Tato metoda umožnila zvýšit příjem a obrat skladových zásob.

Zpracování velkých dat má tedy pozitivní vliv na řešení obchodních problémů. Důležitým faktorem je samozřejmě volba strategie a využití nejnovějšího vývoje v oblasti velkých dat.

Informace o společnosti

Archos. Obor činnosti: výroba a prodej elektronických zařízení. Území: prodejní kanceláře jsou otevřeny v devíti zemích (Španělsko, Čína, Rusko, USA, Francie atd.). Počet zaměstnanců pobočky: 5 (v ruské zastoupení).

"Velká data"- téma, které je aktivně diskutováno technologickými společnostmi. Někteří se z velkých dat rozčarovali, jiní je naopak využívají k podnikání, jak jen to jde... . Doufáme, že informace budou zajímavé a užitečné.

CO JE TO VELKÁ DATA?

Klíčové vlastnosti

Pojem „Big Data“ vyvolává spoustu kontroverzí, mnozí se domnívají, že se tím myslí pouze množství nashromážděných informací, ale nezapomínejte ani na technickou stránku, do této oblasti patří úložné technologie, výpočetní technika a služby.

Nutno podotknout, že tato oblast zahrnuje zpracování velkého množství informací, které je obtížné zpracovat tradičními metodami*.

Níže je uvedena srovnávací tabulka tradiční a velké databáze.

Oblast Big Data se vyznačuje následujícími vlastnostmi:
Hlasitost - objem, nashromážděná databáze je velké množství informací, které je pracné zpracovávat a ukládat tradičními způsoby, vyžadují nový přístup a vylepšené nástroje.
Rychlost - rychlost, tato vlastnost indikuje jak zvyšující se rychlost akumulace dat (90 % informací bylo shromážděno za poslední 2 roky), tak rychlost zpracování dat, v poslední době jsou stále více žádané technologie zpracování dat v reálném čase.
Odrůda – rozmanitost, tzn. možnost současného zpracování strukturovaných a nestrukturovaných informací různých formátů. Hlavní rozdíl mezi strukturovanými informacemi je v tom, že je lze klasifikovat. Příkladem takových informací jsou informace o klientských transakcích.
Nestrukturované informace zahrnují video, zvukové soubory, volný text, informace pocházející ze sociálních sítí. K dnešnímu dni je 80 % informací zařazeno do skupiny nestrukturovaných. Tyto informace vyžadují komplexní analýzu, aby byly užitečné pro další zpracování.
Pravdivost – Spolehlivost dat, uživatelé začali přikládat důležitost spolehlivosti dostupných dat. Internetové společnosti tak mají problém oddělit akce prováděné robotem a osobou na webových stránkách společnosti, což v konečném důsledku vede k obtížnosti analýzy dat.
hodnota - hodnota nashromážděných informací. Big Data by měla být pro společnost užitečná a přinášet jí určitou hodnotu. Například pomoc při zlepšování obchodních procesů, reportingu nebo optimalizace nákladů.

Pokud je splněno výše uvedených 5 podmínek, lze akumulované objemy dat klasifikovat jako velké.

Aplikace velkých dat

Rozsah Big Data technologií je široký. S pomocí Big Data se tedy můžete dozvědět o preferencích zákazníků, efektivitě marketingových kampaní nebo provádět analýzu rizik. Níže jsou uvedeny výsledky průzkumu IBM Institute o směrech používání velkých dat ve společnostech.

Jak je z diagramu patrné, většina společností využívá Big Data v oblasti služeb zákazníkům, druhým nejoblíbenějším směrem je provozní efektivita, v oblasti řízení rizik jsou Big Data v současnosti méně častá.

Je třeba také poznamenat, že Big Data jsou jednou z nejrychleji rostoucích oblastí informačních technologií, podle statistik se celkové množství přijatých a uložených dat zdvojnásobí každých 1,2 roku.
Mezi roky 2012 a 2014 vzrostl objem přenesených dat měsíčně mobilními sítěmi o 81 %. Cisco odhaduje, že v roce 2014 byl objem mobilního provozu 2,5 exabajtu (jednotka měření množství informací rovna 10 ^ 18 standardním bajtům) za měsíc a v roce 2019 to bude 24,3 exabajtů.
Big Data jsou tedy i přes svůj relativně nízký věk již zavedeným technologickým oborem, který se rozšířil v mnoha oblastech podnikání a hraje důležitou roli v rozvoji firem.

Technologie velkých dat

• Software;
• Zařízení;
• Servis.

Mezi nejběžnější přístupy zpracování dat (PD) patří:
SQL - strukturovaný dotazovací jazyk, který umožňuje práci s databázemi. S pomocí SQL můžete vytvářet a upravovat data a datové pole je spravováno příslušným systémem správy databází.
NoSQL - termín znamená nejen SQL (nejen SQL). Zahrnuje řadu přístupů zaměřených na implementaci databáze, které se liší od modelů používaných v tradičních relačních DBMS. Jsou vhodné pro použití s ​​neustále se měnící datovou strukturou. Například ke shromažďování a ukládání informací na sociálních sítích.
MapReduce – výpočetní distribuční model. Používá se pro paralelní výpočty na velmi velkých souborech dat (petabajty* nebo více). V softwarové rozhraní data se nepřenesou do programu ke zpracování, ale program se přenese do dat. Dotaz je tedy samostatný program. Princip práce je sekvenční zpracování data dvěma metodami Map a Reduce. Mapa vybírá předběžná data, Reduce je agreguje.
hadoop - používá se k implementaci vyhledávacích a kontextových mechanismů pro vysoce zatížené stránky - Facebook, eBay, Amazon atd. Charakteristickým rysem je, že systém je chráněn před selháním kteréhokoli z uzlů clusteru, protože každý blok má alespoň jednu kopii dat na druhém uzlu.
SAP HANA je vysoce výkonná platforma NewSQL pro ukládání a zpracování dat. Poskytuje vysokorychlostní zpracování požadavků. Dalším rozdílem je, že SAP HANA zjednodušuje systémové prostředí snížením nákladů na podporu analytických systémů.

NA technologické vybavení zahrnout:

• servery;
• infrastrukturní zařízení.

Servis.
Služby zahrnují architekturu databázového systému, vývoj a optimalizaci infrastruktury a zabezpečení ukládání dat.

Software, hardware a služby tvoří komplexní platformy pro ukládání a analýzu dat. Společnosti jako Microsoft, HP, EMC nabízejí služby pro vývoj, nasazení a správu řešení Big Data.

Aplikace v průmyslu

Maloobchodní
Databáze maloobchodních prodejen mohou akumulovat mnoho informací o zákaznících, systému řízení zásob, nabídce prodejných produktů. Tyto informace mohou být užitečné ve všech oblastech činnosti obchodu.

S pomocí nashromážděných informací tedy můžete řídit dodávky zboží, jeho skladování a prodej. Na základě nashromážděných informací je možné předvídat poptávku a nabídku zboží. Systém zpracování a analýzy dat může také vyřešit další problémy obchodníka, například optimalizovat náklady nebo připravit reporty.

Finanční služby
Big Data umožňují analyzovat úvěruschopnost dlužníka a jsou také užitečná pro kreditní skóring* a upisování**. Zavedení technologií Big Data zkrátí dobu posuzování žádostí o úvěr. Pomocí Big Data je možné analyzovat operace konkrétního klienta a nabídnout mu vhodné bankovní služby.

Telecom
V telekomunikačním průmyslu jsou Big Data široce využívána mobilními operátory.
Operátoři mobilní komunikace spolu s finančními institucemi mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele.

Kromě využití Big Data pro marketingové účely se technologie používá k prevenci podvodných finančních transakcí.

Těžební a ropný průmysl
Big Data se využívají jak při těžbě nerostů, tak při jejich zpracování a marketingu. Na základě obdržených informací mohou podniky vyvodit závěry o efektivitě rozvoje v terénu, sledovat harmonogram generálních oprav a stav zařízení a předpovídat poptávku po produktech a ceny.

Podle průzkumu společnosti Tech Pro Research jsou Big Data nejrozšířenější v telekomunikačním průmyslu a také ve strojírenství, IT, finančních a vládních podnicích. Podle výsledků tohoto průzkumu jsou Big Data méně populární ve školství a zdravotnictví. Výsledky průzkumu jsou uvedeny níže:

Příklady využití Big Data ve firmách

Oblasti použití zpracovávaných informací jsou různé a liší se v závislosti na odvětví a úkolech, které mají být provedeny.
Dále budou uvedeny příklady aplikace Big Data technologií v praxi.

HSBC využívá technologie Big Data k boji proti podvodným transakcím s plastovými kartami. Pomocí Big Data společnost zvýšila efektivitu bezpečnostní služby 3x a rozpoznání podvodných incidentů 10x. Ekonomický efekt ze zavedení těchto technologií přesáhl 10 milionů amerických dolarů.

boj proti podvodům* VÍZUM umožňuje automaticky počítat transakce podvodného charakteru, systém aktuálně pomáhá předcházet podvodným platbám ve výši 2 miliard USD ročně.

Superpočítač společnosti Watson IBM analyzuje v reálném čase tok dat o peněžních transakcích. Podle IBM Watson zvýšil počet odhalených podvodných transakcí o 15 %, snížil systém falešných poplachů o 50 % a zvýšil objem prostředků chráněných před transakcemi tohoto charakteru o 60 %.

Procter & Gamble s pomocí Big Data navrhují nové produkty a vytvářejí globální marketingové kampaně. Společnost P&G vytvořila specializované kanceláře Business Spheres, kde můžete prohlížet informace v reálném čase.
Vedení společnosti tak má možnost okamžitě testovat hypotézy a provádět experimenty. P&G věří, že Big Data pomáhají předpovídat výkonnost společnosti.

Prodejce kancelářských potřeb officemax s pomocí technologií Big Data analyzují chování zákazníků. Analýza velkých dat umožnila zvýšit tržby B2B o 13 %, snížit náklady o 400 000 USD ročně.

Podle Housenka , jeho distributoři přicházejí o 9 až 18 miliard dolarů na tržbách ročně jen proto, že neimplementují technologii Big Data. Big Data by zákazníkům umožnila efektivněji spravovat jejich vozový park pomocí analýzy informací ze senzorů nainstalovaných na strojích.

K dnešnímu dni je již možné analyzovat stav klíčových komponent, stupeň jejich opotřebení, řídit náklady na palivo a údržbu.

Skupina Luxottica je výrobcem sportovních brýlí se značkami jako Ray-Ban, Persol a Oakley. Společnost využívá technologie Big Data pro analýzu chování potenciálních zákazníků a „chytrý“ SMS marketing. Díky tomu skupina Big Data Luxottica identifikovala více než 100 milionů nejhodnotnějších zákazníků a zvýšila efektivitu marketingové kampaně o 10 %.

S pomocí Yandex Data Factory, herních vývojářů World of Tanks analyzovat chování hráčů. Technologie Big Data umožnily analyzovat chování 100 tisíc hráčů World of Tanks pomocí více než 100 parametrů (informace o nákupech, hrách, zkušenostech atd.). Na základě analýzy byla získána předpověď odchodu uživatelů. Tyto informace umožňují snížit péči o uživatele a cíleně pracovat s účastníky hry. Vyvinutý model se ukázal být o 20–30 % efektivnější než standardní analytické nástroje herního průmyslu.

německé ministerstvo práce používá Big Data k analýze příchozích žádostí o nezaměstnanost. Po analýze informací tedy vyšlo najevo, že 20 % dávek bylo vyplaceno nezaslouženě. Ministerstvo práce s pomocí Big Data snížilo náklady o 10 miliard eur.

Torontská dětská nemocnice realizovala projekt Project Artemis. Jedná se o informační systém, který shromažďuje a analyzuje data o miminkách v reálném čase. Systém každou sekundu sleduje 1260 indikátorů stavu každého dítěte. Projekt Artemis umožňuje předvídat nestabilní stav dítěte a zahájit prevenci nemocí u dětí.

PŘEHLED GLOBÁLNÍHO BIG DATA TRHU

Současný stav globálního trhu

Většinu příjmů trhu s velkými daty podle Wikibonu v roce 2014 tvořily služby, jejich podíl se rovnal 40 % celkových příjmů (viz graf níže):

Pokud vezmeme v úvahu velká data za rok 2014 podle podtypů, bude trh vypadat takto:

Podle Wikibonu tvořily aplikace a analytika 36 % příjmů z Big Data v roce 2014 z aplikací a analytiky Big Data, 17 % z výpočetního hardwaru a 15 % z technologie úložiště. Nejméně ze všech příjmů generovaly technologie NoSQL, infrastrukturní vybavení a poskytování sítě firem (firemní sítě).

Nejoblíbenějšími Big Data technologiemi jsou in-memory platformy SAP, HANA, Oracle atd. Z výsledků průzkumu T-Systems vyplynulo, že je zvolilo 30 % dotázaných společností. Druhé nejoblíbenější byly platformy NoSQL (18 % uživatelů), firmy využívaly i analytické platformy od Splunk a Dell, které si vybralo 15 % firem. Nejméně užitečné pro řešení problémů s Big Data byly podle výsledků průzkumu produkty Hadoop/MapReduce.

Podle průzkumu Accenture se ve více než 50 % společností využívajících technologie Big Data pohybují náklady na Big Data od 21 % do 30 %.
Podle následující analýzy Accenture se 76 % společností domnívá, že tyto náklady v roce 2015 vzrostou, a 24 % společností nezmění svůj rozpočet na technologie Big Data. To naznačuje, že v těchto společnostech se Big Data již stala zavedenou oblastí IT, která se stala nedílnou součástí rozvoje společnosti.

Výsledky průzkumu Economist Intelligence Unit potvrzují pozitivní dopad implementace Big Data. 46 % společností tvrdí, že zlepšilo služby zákazníkům o více než 10 % pomocí technologií Big Data, 33 % společností optimalizovalo zásoby a zlepšilo produktivitu klíčových aktiv, 32 % společností zlepšilo procesy plánování.

Velká data po celém světě

Podle průzkumu CIO také společnosti z asijsko-pacifického regionu rychle zvládají nová řešení v oblasti analytiky velkých dat, bezpečných úložišť a cloudových technologií. Latinská Amerika je v počtu investic do rozvoje Big Data technologií na druhém místě před Evropou a USA.
Dále bude uveden popis a prognózy vývoje trhu s velkými daty v několika zemích.

Čína
Množství informací v Číně je 909 exabajtů, což se rovná 10 % z celkového množství informací ve světě, do roku 2020 dosáhne množství informací 8060 exabajtů a zvýší se i podíl informací v globální statistice, v roce Za 5 let to bude 18 %. Potenciální růst čínských Big Data má jednu z nejrychleji rostoucích dynamik.

Brazílie
Do konce roku 2014 Brazílie nashromáždila 212 exabajtů informací, což jsou 3 % celosvětového objemu. Do roku 2020 naroste objem informací na 1600 exabajtů, což budou 4 % světových informací.

Indie
Podle EMC je množství nashromážděných dat v Indii v roce 2014 326 exabajtů, což je 5 % z celkového množství informací. Do roku 2020 vzroste objem informací na 2800 exabajtů, což bude 6 % světových informací.

Japonsko
Množství nashromážděných dat v Japonsku na konci roku 2014 je 495 exabajtů, což je 8 % z celkového množství informací. Do roku 2020 objem informací vzroste na 2200 exabajtů, ale podíl Japonska na trhu se sníží a bude činit 5 % z celkového množství informací na celém světě.
Objem japonského trhu se tak sníží o více než 30 %.

Německo
Podle EMC je množství nashromážděných dat v Německu v roce 2014 230 exabajtů, což jsou 4 % z celkového množství informací na světě. Do roku 2020 vzroste objem informací na 1100 exabajtů a bude činit 2 %.
Na německém trhu bude velký podíl tržeb podle prognóz Experton Group generovat segment služeb, jehož podíl v roce 2015 bude činit 54 % a v roce 2019 vzroste na 59 %, podíl softwaru a hardwaru, naopak se sníží.

Obecně vzroste velikost trhu z 1,345 miliardy eur v roce 2015 na 3,198 miliardy eur v roce 2019 s průměrným tempem růstu 24 %.
Na základě analýzy CIO a EMC tedy můžeme usuzovat, že rozvojové země světa se v příštích letech stanou trhy pro aktivní rozvoj technologií Big Data.

Hlavní trendy na trhu

Podle prognóz IDC jsou trendy na trhu následující:

• Během příštích 5 let porostou náklady na cloudová řešení Big Data třikrát rychleji než náklady na místní řešení. Hybridní úložné platformy se stanou populární.
• Růst aplikací využívajících sofistikovanou a prediktivní analytiku, včetně strojového učení, se v roce 2015 zrychlí, trh s těmito aplikacemi poroste o 65 % rychleji než aplikace bez prediktivní analýzy.
• Mediální analytika se v roce 2015 ztrojnásobí a stane se klíčovým motorem růstu pro trh technologií Big Data.
• Trend zavádění řešení pro analýzu neustálého toku informací použitelných pro Internet věcí se bude zrychlovat.
• Do roku 2018 bude 50 % uživatelů interagovat se službami založenými na kognitivních počítačích.

Ovladače a omezovače trhu

Podle průzkumu Accenture jsou nyní problémy zabezpečení dat hlavní překážkou pro přijetí technologií Big Data, více než 51 % respondentů potvrdilo, že mají obavy o ochranu dat a soukromí. 47 % firem uvedlo nemožnost implementace Big Data z důvodu omezeného rozpočtu, 41 % firem označilo jako problém nedostatek kvalifikovaného personálu.

Wikibon předpovídá, že trh s velkými daty vzroste v roce 2015 na 38,4 miliardy dolarů, což je meziroční nárůst o 36 %. V následujících letech dojde k poklesu tempa růstu na 10 % v roce 2017. S přihlédnutím k těmto prognózám bude velikost trhu v roce 2020 68,7 miliard USD.

Rozdělení globálního trhu s velkými daty podle obchodních kategorií bude vypadat takto:

Jak je patrné z diagramu, většinu trhu zaberou technologie z oblasti zlepšování služeb zákazníkům. Spotový marketing bude pro společnosti do roku 2019 druhou nejvyšší prioritou, v roce 2020 podle Heavy Reading ustoupí řešením pro zlepšení provozní efektivity.
Segment „zlepšování zákaznických služeb“ bude mít také nejvyšší tempo růstu s nárůstem o 49 % ročně.
Tržní prognóza pro podtypy velkých dat bude vypadat takto:

Dominantní podíl na trhu, jak je patrné z grafu, zaujímají profesionální služby, nejvyšší tempo růstu budou mít aplikace s analytikou, jejich podíl poroste ze současných 12 % na 18 % v roce 2020 a objem tohoto segmentu se zvýší se rovná 12,3 miliardy USD, podíl výpočetní techniky naopak klesne z 20 % na 14 % a v roce 2020 bude činit cca 9,3 miliardy USD, trh s cloudovými technologiemi bude postupně narůstat a v roce 2020 dosáhne 6,3 miliardy amerických dolarů, tržní podíl řešení pro ukládání dat naopak klesne z 15 % v roce 2014 na 13 % v roce 2020 a v peněžním vyjádření se bude rovnat 8,9 miliardám amerických dolarů.
Podle prognózy Bain & Company’s Insights Analysis bude rozdělení trhu s velkými daty podle odvětví v roce 2020 vypadat takto:

• Finanční průmysl utratí za velká data 6,4 miliardy dolarů s průměrným tempem růstu 22 % ročně;
• Internetové společnosti utratí 2,8 miliardy USD a průměrnou míru růstu nákladů 26 % během příštích 5 let;
• Náklady veřejného sektoru budou úměrné nákladům internetových společností, ale tempo růstu bude nižší – 22 %;
• Telekomunikační sektor poroste průměrným tempem růstu 40 % a v roce 2020 dosáhne 1,2 miliardy USD;

Energetické společnosti budou do těchto technologií investovat relativně malou částku – 800 milionů amerických dolarů, ale tempo růstu bude jedno z nejvyšších – 54 % ročně.
Společnosti ve finančním průmyslu tak v roce 2020 zaujmou velký podíl na trhu Big Data a energetika bude nejrychleji rostoucím sektorem.
Podle prognóz analytiků se celkový objem trhu v následujících letech zvýší. Růst trhu zajistí zavádění Big Data technologií v rozvojových zemích světa, jak je patrné z grafu níže.

Předpokládaná velikost trhu bude záviset na tom, jak rozvojové země vnímají technologie Big Data, zda budou stejně populární jako ve vyspělých zemích. V roce 2014 tvořily rozvojové země světa 40 % nashromážděných informací. Podle prognózy EMC se současná struktura trhu, kde dominují vyspělé země, změní již v roce 2017. Podle analytiků EMC bude v roce 2020 podíl rozvojových zemí více než 60 %.
Podle Cisco a EMC budou rozvojové země světa s Big Data aktivně pracovat, v mnoha ohledech to bude dáno dostupností technologií a nahromaděním dostatečného množství informací na úroveň Big Data. Na mapě světa zobrazené v další strana, zobrazí prognózu růstu a tempo růstu Big Data podle regionu.

ANALÝZA RUSKÉHO TRHU

• Věštec
• Microsoft
• cloudera
• Hortonworks
• Teradata.

Přehled trhu podle odvětví a zkušenosti s používáním Big Data ve firmách

V Rusku jsou technologie Big Data populárnější v bankovním sektoru a telekomunikacích, ale jsou také žádané v těžebním průmyslu, energetice, maloobchodu, logistických společnostech a veřejném sektoru.
Dále budou zváženy příklady použití velkých dat v ruských realitách.

Telecom
Telekomunikační operátoři mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Jednou z oblastí použití technologie Big Data je správa loajality předplatitelů.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele. Kromě využívání informací pro marketingové účely používá telekomunikační technologie technologie k zabránění podvodným finančním transakcím.
Vimpelcom je jedním z nejzářivějších příkladů tohoto odvětví. Společnost využívá Big Data ke zlepšení kvality služeb na úrovni každého předplatitele, vytváření sestav, analyzování dat pro rozvoj sítě, boj proti spamu a personalizaci služeb.

Banky
Významnou část uživatelů Big Data zabírají specialisté z finančního průmyslu. Jeden z úspěšných experimentů byl proveden v Uralské bance pro obnovu a rozvoj, kde byla informační základna použita k analýze zákazníků, banka začala nabízet specializované úvěrové nabídky, vklady a další služby. Za rok používání těchto technologií vzrostlo portfolio retailových úvěrů společnosti o 55 %.
Alfa-Bank analyzuje informace ze sociálních sítí, zpracovává žádosti o úvěr, analyzuje chování uživatelů webových stránek společnosti.
Sberbank také začala zpracovávat pole dat pro segmentaci zákazníků, prevenci podvodů, křížový prodej a řízení rizik. Do budoucna je plánováno zkvalitňování služeb a analýza akcí zákazníků v reálném čase.
Všeruská banka pro regionální rozvoj analyzuje chování držitelů plastových karet. To umožňuje identifikovat transakce, které jsou pro konkrétního klienta atypické, a tím zvýšit pravděpodobnost odhalení krádeže finančních prostředků z plastových karet.

Maloobchodní
V Rusku byly technologie Big Data implementovány online i offline obchodními společnostmi. Podle CNews Analytics dnes Big Data používá 20 % maloobchodníků. 75 % maloobchodních profesionálů považuje Big Data za nezbytná pro vytvoření konkurenční strategie pro propagaci společnosti. Podle statistik Hadoop roste po zavedení technologie Big Data zisk v obchodních organizacích o 7–10 %.
Specialisté M.Video hovoří o zlepšení plánování logistiky po implementaci SAP HANA, také se v důsledku jeho implementace zkrátila příprava výročních zpráv z 10 dnů na 3, rychlost denního načítání dat byla snížena ze 3 hodiny až 30 minut.
Wikimart používá tyto technologie ke generování doporučení pro návštěvníky webu.
Jedním z prvních offline obchodů, které zavedly analýzu velkých dat v Rusku, byla Lenta. S pomocí Big Data začal maloobchod studovat informace o zákaznících z pokladních dokladů. Maloobchodník shromažďuje informace, aby vytvořil modely chování, které umožňují informovanější rozhodování na provozní a obchodní úrovni.

Ropný a plynárenský průmysl
V tomto odvětví je rozsah Big Data poměrně široký. Technologie Big Data lze uplatnit při těžbě nerostů ze střev. S jejich pomocí můžete analyzovat samotný proces těžby a nejefektivnější způsoby jeho těžby, sledovat proces vrtání, analyzovat kvalitu surovin i zpracování a marketing finálních produktů. V Rusku tyto technologie již využívají Transněfť a Rosněfť.

Státní orgány
V zemích jako Německo, Austrálie, Španělsko, Japonsko, Brazílie a Pákistán se k řešení národních problémů používají technologie Big Data. Tyto technologie pomáhají orgánům veřejné správy efektivněji poskytovat služby obyvatelstvu, poskytovat cílenou sociální podporu.
V Rusku tyto technologie začaly ovládat takové vládní agentury jako Důchodový fond, Federální daňová služba a Fond povinného zdravotního pojištění. Potenciál pro realizaci projektů využívajících Big Data je velký, tyto technologie by mohly pomoci zlepšit kvalitu služeb a v důsledku toho i životní úroveň obyvatel.

Logistika a doprava
Big Data mohou využívat i dopravní společnosti. Pomocí technologií Big Data je možné sledovat vozový park, zohledňovat náklady na pohonné hmoty a sledovat požadavky zákazníků.
Ruské dráhy implementovaly technologie Big Data společně se SAP. Tyto technologie pomohly zkrátit dobu vykazování 43,5krát (ze 14,5 hodiny na 20 minut) a 40krát zlepšit přesnost alokace nákladů. Big Data byla také zavedena do procesů plánování a regulace tarifů. Celkem společnosti využívají více než 300 systémů založených na řešení SAP, zapojena jsou 4 datová centra a počet uživatelů je 220 000.

Hlavní hnací síly a omezení trhu

• Zvýšený zájem uživatelů o možnosti Big Data jako způsob zvýšení konkurenceschopnosti společnosti;
• Vývoj metod pro zpracování mediálních souborů na globální úrovni;
• Přenos serverů zpracovávajících osobní údaje na území Ruska v souladu s přijatým zákonem o ukládání a zpracování osobních údajů;
• Implementace průmyslového plánu pro náhradu importu softwaru. Tento plán zahrnuje státní podporu tuzemským výrobcům softwaru a také zvýhodnění tuzemských IT produktů při nákupu na veřejné náklady.
• V nové ekonomické situaci, kdy se dolar téměř zdvojnásobil, bude trend ke stále většímu využívání služeb ruských poskytovatelů cloudových služeb spíše než zahraničních.
• Vytváření technologických parků, které přispívají k rozvoji trhu informačních technologií, včetně trhu Big Data;
• Státní program pro zavádění gridových systémů, které jsou založeny na technologiích Big Data.

Hlavní překážky rozvoje Big Data na ruském trhu jsou:

• Zajištění bezpečnosti a důvěrnosti dat;
• Nedostatek kvalifikovaného personálu;
• Nedostatek akumulovaného informační zdroje na úroveň Big Data ve většině ruských společností;
• Obtíže při zavádění nových technologií do zavedených informačních systémů firem;
• Vysoké náklady na technologie Big Data, které vedou k omezenému počtu podniků, které mají možnost tyto technologie implementovat;
• Politická a ekonomická nejistota, která vedla k odlivu kapitálu a zmrazení investičních projektů v Rusku;
• Rostoucí ceny dovážených produktů a prudký nárůst inflace podle IDC brzdí rozvoj celého IT trhu.

Předpověď ruského trhu

Ruský trh se však bude podle globálních trendů zvyšovat. Od roku 2014 odhaduje IDC velikost trhu na 340 milionů $.
Tempo růstu trhu za předchozí roky bylo 50 % ročně, pokud zůstane na stejné úrovni, pak v roce 2018 objem trhu dosáhne 1,7 miliardy amerických dolarů. Podíl ruského trhu na světovém trhu bude asi 3 %, přičemž se zvýšil ze současných 1,2 %.

Mezi nejvíce vnímavá odvětví k používání velkých dat v Rusku patří:

• Maloobchod a banky, pro ně je především důležité analyzovat zákaznickou základnu, vyhodnotit účinek marketingových kampaní;
• Telecom - segmentace zákaznické základny a monetizace provozu;
• Veřejný sektor - reporting, analýza žádostí veřejnosti atd.;
• Ropné společnosti - sledování práce a plánování výroby a marketingu;
• Energetické společnosti - tvorba inteligentních elektrizačních soustav, provozní monitoring a prognóza.

Hlavní výsledky analýzy trhu

Světový trh

• objem trhu dosáhl 28,5 miliardy amerických dolarů, což představuje nárůst o 45 % ve srovnání s předchozím rokem;
• většinu příjmů Big Data trhu tvořily služby, jejich podíl se rovnal 40 % celkových příjmů;
• 36 % příjmů pocházelo z aplikací a analytiky pro velká data, 17 % z výpočetního hardwaru a 15 % z úložných technologií;
• Pro řešení problémů s velkými daty jsou nejoblíbenější in-memory platformy společností jako SAP, HANA a Oracle.
• počet společností s realizovanými projekty v oblasti Big Data managementu vzrostl o 125 %;

• v roce 2015 objem trhu dosáhne 38,4 miliard amerických dolarů, v roce 2020 - 68,7 miliard amerických dolarů;
• průměrná míra růstu bude 16 % ročně;
• průměrné firemní výdaje na technologie Big Data budou 13,8 milionu USD pro velké společnosti a 1,6 milionu USD pro malé a střední podniky;
• technologie budou mít největší převahu v oblastech zákaznických služeb a cíleného marketingu;
• v roce 2017 se struktura globálního trhu změní směrem k převaze uživatelských společností z rozvojových zemí.

ruský trh

• objem trhu dosáhl 340 milionů amerických dolarů;
• průměrná míra růstu trhu v předchozích letech byla 50 % ročně;
• celkové množství nashromážděných informací bylo 155 exabajtů;
• 10 % ruských společností začalo používat technologie Big Data;
• Big Data technologie byly populárnější v bankovním sektoru, telekomunikacích, internetových společnostech a maloobchodu.

• objem ruského trhu v roce 2015 dosáhne 500 milionů amerických dolarů a v roce 2018 - 1,7 miliardy amerických dolarů;
• podíl ruského trhu na světovém trhu bude v roce 2018 činit asi 3 %;
• množství nashromážděných dat v roce 2020 bude 980 exabajtů;
• údaje vzrostou na 2,2 % celosvětových údajů v roce 2020;
• Největší oblibu si získají technologie vizualizace dat, analýza mediálních souborů a internet věcí.

Děkujeme, že jste si našli čas na přečtení tohoto rozsáhlého díla, přihlaste se k odběru našeho blogu - slibujeme mnoho nových zajímavých publikací!

Sloupec učitelů HSE o mýtech a případech práce s velkými daty

Do záložek

Lektoři HSE School of New Media Konstantin Romanov a Alexander Pyatigorsky, který je také ředitelem digitální transformace ve společnosti Beeline, napsali pro stránky sloupek o hlavních mylných představách o velkých datech – příkladech využití technologií a nástrojích. Autoři předpokládají, že publikace pomůže vedoucím pracovníkům společností pochopit tento koncept.

Mýty a mylné představy o velkých datech

Big Data nejsou marketing

Výraz Big Data se stal velmi módním – používá se v milionech situací a ve stovkách různých interpretací, často nesouvisejících s tím, co to je. V myslích lidí často dochází k záměně pojmů a velká data jsou zaměňována s marketingovým produktem. Navíc v některých společnostech jsou Big Data součástí marketingové divize. Výsledek analýzy velkých dat může být skutečně zdrojem pro marketingové aktivity, ale nic víc. Pojďme se podívat, jak to funguje.

Pokud jsme před dvěma měsíci identifikovali seznam těch, kteří v našem obchodě nakoupili zboží v hodnotě více než tři tisíce rublů, a pak těmto uživatelům zaslali nějakou nabídku, jedná se o typický marketing. Odvozujeme jasný vzor ze strukturálních dat a používáme je ke zvýšení prodeje.

Pokud však zkombinujeme data CRM s informacemi o streamování například z Instagramu a analyzujeme je, najdeme vzorec: člověk, který ve středu večer omezil aktivitu a na jehož poslední fotka jsou vyobrazena koťata, měla by být učiněna určitá nabídka. Už to budou Big Data. Našli jsme spoušť, dali ji obchodníkům a oni ji použili pro své vlastní účely.

Z toho vyplývá, že technologie většinou pracuje s nestrukturovanými daty a pokud jsou data strukturovaná, systém v nich stále hledá skryté vzorce, což marketing nedělá.

Big Data nejsou IT

Druhý extrém tohoto příběhu: Big Data jsou často zaměňována s IT. Důvodem je skutečnost, že v ruských společnostech jsou IT specialisté zpravidla hybateli všech technologií, včetně velkých dat. Pokud se tedy vše odehrává v tomto oddělení, pro společnost jako celek se zdá, že jde o nějakou IT činnost.

Ve skutečnosti je zde zásadní rozdíl: Big Data je činnost zaměřená na získání určitého produktu, která se IT vůbec netýká, ačkoli technologie bez nich nemůže existovat.

Velká data nejsou vždy sběrem a analýzou informací

Existuje další mylná představa o velkých datech. Každý chápe, že tato technologie je spojena s velkým množstvím dat, ale není vždy jasné, o jaký druh dat se jedná. Sbírat a využívat informace může každý, nyní je to možné nejen ve filmech o, ale i v každé, i velmi malé firmě. Jedinou otázkou je, co přesně sbírat a jak to využít ve svůj prospěch.

Je však třeba si uvědomit, že technologie Big Data nebude shromažďovat a analyzovat absolutně žádné informace. Pokud například sbíráte data o konkrétní osobě na sociálních sítích, nepůjde o Big Data.

Co jsou to vlastně velká data

Velká data se skládají ze tří prvků:

• data;
• analytika;
• technologií.

Big Data nejsou jen jednou z těchto složek, ale kombinací všech tří prvků. Lidé často nahrazují pojmy: někdo si myslí, že velká data jsou pouze data, někdo si myslí, že je to technologie. Ale ve skutečnosti bez ohledu na to, kolik dat nasbíráte, s nimi nic neuděláte potřebné technologie a analytika. Pokud existuje dobrá analytika, ale žádná data, je to o to horší.

Pokud mluvíme o datech, pak to nejsou jen texty, ale také všechny fotografie zveřejněné na Instagramu a obecně vše, co lze analyzovat a použít pro různé účely a úkoly. Jinými slovy, Data se týkají obrovského množství interních a externích dat různých struktur.

Analytika je také potřeba, protože úkolem Big Data je vytvořit nějaké vzory. To znamená, že analytika je identifikace skrytých závislostí a hledání nových otázek a odpovědí na základě analýzy celého objemu heterogenních dat. Navíc Big Data vyvolávají otázky, které nejsou přímo odvozeny z těchto dat.

Pokud jde o obrázky, skutečnost, že jste zveřejnili svou fotku v modrém tričku, nic neříká. Ale pokud použijete fotografii pro Big Data modelování, pak se může ukázat, že právě teď byste měli nabídnout půjčku, protože ve vaší sociální skupině toto chování naznačuje určitý jev v jednání. Proto „holá“ data bez analýzy, bez odhalování skrytých a nezřejmých závislostí, nejsou velká data.

Takže máme velká data. Jejich pole je obrovské. Máme také analytika. Jak ale můžeme zajistit, aby se z těchto nezpracovaných dat zrodilo konkrétní řešení? K tomu potřebujeme technologie, které nám je umožní nejen ukládat (a to dříve nebylo možné), ale také je analyzovat.

Jednoduše řečeno, pokud máte hodně dat, budete potřebovat technologie jako Hadoop, které umožňují uložit všechny informace v původní podobě pro pozdější analýzu. Takové technologie vznikly v internetových gigantech, protože jako první čelili problému ukládání velkého množství dat a jejich analýze pro následné zpeněžení.

Kromě nástrojů pro optimalizované a levné ukládání dat jsou potřeba analytické nástroje a také doplňky k používané platformě. Například kolem Hadoopu se již vytvořil celý ekosystém souvisejících projektů a technologií. Tady jsou některé z nich:

• Pig je deklarativní jazyk pro analýzu dat.
• Hive - analýza dat pomocí jazyka blízkého SQL.
• Oozie je pracovní postup v Hadoopu.
• Hbase - databáze (nerelační), obdoba Google Big Table.
• Mahout – strojové učení.
• Sqoop - přenos dat z RSDDB do Hadoop a naopak.
• Flume - přenos protokolů do HDFS.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS a tak dále.

Všechny tyto nástroje jsou k dispozici všem zdarma, ale existuje i sada placených doplňků.

Kromě toho jsou zapotřebí specialisté: jedná se o vývojáře a analytika (tzv. Data Scientist). Potřebujete také manažera, který je schopen porozumět tomu, jak tuto analytiku aplikovat na konkrétní úkol, protože sama o sobě je zcela bezvýznamná, pokud není zabudována do podnikových procesů.

Všichni tři zaměstnanci musí pracovat jako tým. Manažer, který dává specialistu na datová vědaúkol najít určitý vzor, ​​musí pochopit, že ne vždy je možné najít přesně to, co potřebuje. V tomto případě by měl manažer pozorně naslouchat tomu, co Data Scientist zjistil, protože jeho zjištění se často ukáží jako zajímavější a užitečnější pro podnikání. Vaším úkolem je aplikovat to na podnikání a vytvořit z toho produkt.

Navzdory skutečnosti, že nyní existuje mnoho různých druhů strojů a technologií, konečné rozhodnutí vždy zůstává na člověku. K tomu je potřeba informace nějak vizualizovat. Existuje na to poměrně dost nástrojů.

Nejilustrativnějším příkladem jsou geoanalytické zprávy. Společnost Beeline hodně spolupracuje s vládami různých měst a regionů. Velmi často si tyto organizace objednávají hlášení jako „Dopravní zatížení na konkrétním místě“.

Je jasné, že taková zpráva by se měla dostat k vládním úřadům v jednoduché a srozumitelné formě. Pokud jim poskytneme obrovskou a zcela nesrozumitelnou tabulku (tedy informace v podobě, v jaké je obdržíme), je nepravděpodobné, že by si takovou zprávu koupili - bude to zcela zbytečné, nedostanou z ní znalosti které chtěli dostat.

Proto bez ohledu na to, jak dobří datoví vědci jsou a bez ohledu na to, jaké vzory najdou, s těmito daty nebudete moci pracovat bez kvalitních vizualizačních nástrojů.

Zdroje dat

Pole přijímaných dat je velmi velké, takže je lze rozdělit do několika skupin.

Interní údaje společnosti

Přestože 80 % shromážděných dat patří do této skupiny, tento zdroj není vždy využíván. Často se jedná o data, která, jak se zdá, vůbec nikdo nepotřebuje, například protokoly. Když se na ně ale podíváte z jiného úhlu, občas v nich můžete najít nečekané vzory.

Sharewarové zdroje

Patří sem data ze sociálních sítí, internetu a všeho, kam lze zdarma proniknout. Proč shareware? Na jednu stranu jsou tato data dostupná všem, ale pokud jste velká firma, tak získat je ve velikosti předplatitelské základny desítek tisíc, stovek či milionů zákazníků už není snadný úkol. Proto má trh placené služby poskytnout tyto údaje.

Placené zdroje

Patří sem společnosti, které prodávají data za peníze. Mohou to být telekomunikace, DMP, internetové společnosti, úvěrové kanceláře a agregátory. V Rusku telekomunikace data neprodávají. Za prvé je to ekonomicky nerentabilní a za druhé je to zákonem zakázáno. Proto prodávají výsledky svého zpracování, například geoanalytické zprávy.

otevřená data

Stát vychází byznysu vstříc a umožňuje využívat data, která shromažďují. Ve větší míře je to rozvinuto na Západě, ale i Rusko v tomto ohledu drží krok s dobou. Existuje například portál otevřených dat moskevské vlády, který zveřejňuje informace o různých objektech městské infrastruktury.

Pro obyvatele a hosty Moskvy jsou data prezentována v tabulkové a kartografické podobě a pro vývojáře - ve speciálních strojově čitelných formátech. Projekt sice funguje v omezeném režimu, ale vyvíjí se, což znamená, že je také zdrojem dat, která můžete využít pro své obchodní úkoly.

Výzkum

Jak již bylo řečeno, úkolem Big Data je najít vzorec. Studie po celém světě se často mohou stát referenčním bodem pro nalezení konkrétního vzoru - můžete získat konkrétní výsledek a pokusit se aplikovat podobnou logiku na své cíle.

Velká data jsou oblastí, ve které nefungují všechny matematické zákony. Například „1“ + „1“ není „2“, ale mnohem více, protože při míchání datových zdrojů lze efekt výrazně posílit.

Příklady produktů

Mnoho lidí zná službu výběru hudby Spotify. Krása je v tom, že se neptá uživatelů, jakou mají dnes náladu, ale místo toho ji vypočítává na základě zdrojů, které má k dispozici. Vždy ví, co teď potřebujete – jazz nebo hard rock. To je klíčový rozdíl, který mu poskytuje fanoušky a odlišuje ho od ostatních služeb.

Takové produkty se obvykle nazývají sense-produkty – ty, které cítí svého klienta.

Technologie Big Data se využívá i v automobilovém průmyslu. Dělá to například Tesla – jejich nejnovější model má autopilota. Společnost se snaží vytvořit vůz, který cestujícího doveze tam, kam potřebuje. Bez Big Data je to nemožné, protože pokud budeme používat pouze data, která dostáváme přímo, jako to dělá člověk, pak se auto nebude moci zlepšit.

Když sami řídíme auto, používáme naše neurony k rozhodování na základě mnoha faktorů, kterých si ani nevšimneme. Třeba si neuvědomujeme, proč jsme se rozhodli hned nerozsvítit zelenou, a pak se ukáže, že rozhodnutí bylo správné – auto kolem vás projelo závratnou rychlostí a vy jste se vyhnuli nehodě.

Můžete také uvést příklad využití Big Data ve sportu. V roce 2002 se generální manažer baseballového týmu Oakland Athletics Billy Bean rozhodl prolomit paradigma, jak hledat sportovce – vybíral a trénoval hráče „do počtu“.

Obvykle se manažeři dívají na úspěch hráčů, ale v tomto případě to bylo jiné - aby získal výsledek, manažer studoval, jaké kombinace sportovců potřebuje, přičemž věnoval pozornost individuálním charakteristikám. Navíc si vybral sportovce, kteří sami o sobě nepředstavovali velký potenciál, ale tým jako celek se ukázal být natolik úspěšný, že vyhrál dvacet zápasů v řadě.

Režisér Bennett Miller následně natočil film věnovaný tomuto příběhu – „Muž, který změnil všechno“ s Bradem Pittem v hlavní roli.

Technologie Big Data je užitečná i ve finančním sektoru. Ani jeden člověk na světě nedokáže samostatně a přesně určit, zda se vyplatí někomu půjčit. Aby bylo možné učinit rozhodnutí, provádí se bodování, to znamená, že je sestaven pravděpodobnostní model, podle kterého lze pochopit, zda tato osoba vrátí peníze nebo ne. Bodování se dále uplatňuje ve všech fázích: můžete si například spočítat, že v určitém okamžiku člověk přestane platit.

Velká data umožňují nejen vydělávat peníze, ale také je šetřit. Zejména tato technologie pomohla německému ministerstvu práce snížit náklady na dávky v nezaměstnanosti o 10 miliard eur, protože po analýze informací vyšlo najevo, že 20 % dávek bylo vyplaceno nezaslouženě.

Technologie se využívají i v medicíně (to platí zejména pro Izrael). S pomocí Big Data můžete udělat mnohem přesnější analýzu, než dokáže udělat lékař s třicetiletou praxí.

Každý lékař se při stanovení diagnózy spoléhá pouze na sebe vlastní zkušenost. Když to dělá stroj, vychází to ze zkušeností tisíců takových lékařů a všech existujících kazuistik. Bere v úvahu, z jakého materiálu je dům pacienta, v jaké oblasti oběť žije, jaký je tam kouř a podobně. To znamená, že bere v úvahu spoustu faktorů, které lékaři neberou v úvahu.

Příkladem využití Big Data ve zdravotnictví je projekt Project Artemis, který realizovala Torontská dětská nemocnice. Jedná se o informační systém, který shromažďuje a analyzuje data o miminkách v reálném čase. Stroj umožňuje každou sekundu analyzovat 1260 zdravotních ukazatelů každého dítěte. Tento projekt je zaměřen na predikci nestabilního stavu dítěte a prevenci nemocí u dětí.

Big data se začínají používat i v Rusku: například Yandex má divizi big data. Společnost společně s AstraZeneca a Ruskou společností klinické onkologie RUSSCO spustila platformu RAY pro genetiky a molekulární biology. Projekt zdokonaluje metody diagnostiky rakoviny a identifikace predispozice k rakovině. Platforma bude spuštěna v prosinci 2016.

Neustálé zrychlování růstu dat je nedílnou součástí dnešní reality. Sociální sítě, mobilní zařízení, data z měřicí zařízení Obchodní informace jsou jen některé z typů zdrojů schopných generovat obrovské množství dat.

V současné době se poměrně vžil termín Big Data (Big data). Zdaleka ne každý si stále uvědomuje, jak rychle a hluboce mění technologie pro zpracování velkého množství dat nejrůznější aspekty společnosti. V různých oblastech probíhají změny, které vyvolávají nové problémy a výzvy, včetně oblasti informační bezpečnosti, kde by měly být v popředí takové důležité aspekty, jako je důvěrnost, integrita, dostupnost atd.

Bohužel mnoho moderní společnosti uchýlit se k technologii Big Data, aniž by pro to vytvořili náležitou infrastrukturu, která by mohla zajistit spolehlivé ukládání obrovského množství dat, která shromažďují a ukládají. Na druhou stranu se v současné době rychle rozvíjí technologie blockchain, která má tento a mnoho dalších problémů řešit.

Co jsou velká data?

Definice tohoto termínu je ve skutečnosti jen na povrchu: „velká data“ znamenají správu velmi velkého množství dat a také jejich analýzu. Pokud se podíváte šířeji, pak se jedná o informace, které nelze zpracovat klasickými metodami kvůli jejich velkému objemu.

Samotný pojem Big Data (velká data) se objevil relativně nedávno. Podle služby Google Trends připadá aktivní růst popularity termínu na konec roku 2011:

V roce 2010 se začaly objevovat první produkty a řešení přímo související se zpracováním velkých dat. Do roku 2011 bude většina největších IT společností, včetně IBM, Oracle, Microsoft a Hewlett-Packard, aktivně používat termín Big Data ve svých obchodních strategiích. Postupně začínají analytici trhu informačních technologií tento koncept aktivně zkoumat.

V současné době si tento termín získal značnou popularitu a aktivně se používá v různých oblastech. Nelze však s jistotou tvrdit, že Big Data jsou nějakým zásadně novým fenoménem – naopak velké datové zdroje existují již řadu let. V marketingu to mohou být databáze nákupů zákazníků, úvěrové historie, životního stylu atd. V průběhu let analytici tato data používali k tomu, aby pomohli společnostem předvídat budoucí potřeby zákazníků, posuzovat rizika, utvářet preference spotřebitelů a další.

V současné době se situace změnila ve dvou aspektech:

— existují sofistikovanější nástroje a metody pro analýzu a srovnání různé sady data;
— Analytické nástroje byly doplněny mnoha novými zdroji údajů, které byly podpořeny rozsáhlou digitalizací, jakož i novými metodami sběru a měření údajů.

Vědci předpokládají, že technologie Big Data budou nejaktivněji využívány ve výrobě, zdravotnictví, obchodu, veřejné správě a v dalších velmi rozmanitých oblastech a odvětvích.

Big Data nejsou jen tak ledajaká definované pole dat, ale soubor metod pro jejich zpracování. Určujícím znakem pro velká data je nejen jejich objem, ale i další kategorie, které charakterizují pracné procesy zpracování a analýzy dat.

Prvotní údaje pro zpracování mohou být například:

— protokoly chování uživatelů internetu;
- Internet věcí;
- sociální média;
— meteorologické údaje;
— digitalizované knihy největších knihoven;
– GPS signály z vozidel;
— informace o transakcích zákazníků bank;
— údaje o poloze účastníků mobilních sítí;
— informace o nákupech ve velkých obchodních řetězcích apod.

Postupem času množství dat a počet jejich zdrojů neustále roste a na tomto pozadí se objevují nové způsoby zpracování informací a zdokonalují se stávající způsoby zpracování informací.

Základní principy Big Data:

- Horizontální škálovatelnost – datová pole mohou být obrovská a to znamená, že systém zpracování velkých dat se musí dynamicky rozšiřovat, jak se jejich objemy zvyšují.
- Odolnost vůči poruchám – i když některé části zařízení selžou, celý systém musí zůstat funkční.
— Datová lokalita. Ve velkých distribuovaných systémech jsou data obvykle distribuována na značném počtu strojů. Nicméně, kdykoli je to možné a za účelem úspory zdrojů, jsou data často zpracovávána na stejném serveru, na kterém jsou uložena.

Pro stabilní fungování všech tří principů, a tedy i vysokou efektivitu ukládání a zpracování velkých dat, jsou potřeba nové průlomové technologie, jako je například blockchain.

K čemu jsou velká data?

Rozsah Big Data se neustále rozšiřuje:

— Velká data lze využít v medicíně. Je tedy možné stanovit diagnózu pro pacienta nejen na základě údajů z analýzy anamnézy, ale také s přihlédnutím ke zkušenostem jiných lékařů, informacím o ekologické situaci v oblasti bydliště pacienta. a mnoho dalších faktorů.
— Technologie velkých dat lze využít k organizaci pohybu bezpilotních vozidel.
— Zpracováním velkého množství dat je možné rozpoznat tváře ve fotografických a video materiálech.
— Technologie Big Data mohou využívat maloobchodníci – obchodní společnosti mohou aktivně využívat datová pole ze sociálních sítí k efektivnímu přizpůsobení reklamní kampaně, která může být maximálně zaměřena na ten či onen spotřebitelský segment.
— Tato technologie se aktivně využívá při organizaci volebních kampaní, včetně analýzy politických preferencí ve společnosti.
— Využití technologií Big Data je relevantní pro třídní řešení pro zajištění příjmů (RA), která zahrnují nástroje pro odhalování nekonzistencí a hloubkovou analýzu dat, která umožňuje včasnou identifikaci pravděpodobných ztrát nebo zkreslení informací, které mohou vést ke snížení finančních výsledků. .
— Poskytovatelé telekomunikací mohou agregovat velká data, včetně geolokačních dat; tyto informace mohou být zase komerční zajímavé pro reklamní agentury, které je mohou používat k zobrazování cílené a místní reklamy, a také pro maloobchodníky a banky.
„Velká data mohou hrát důležitou roli při rozhodování, zda otevřít maloobchodní prodejnu v konkrétní lokalitě na základě údajů o přítomnosti silného cíleného toku lidí.

Nejviditelnější praktické využití technologie Big Data tedy leží v oblasti marketingu. Díky rozvoji internetu a šíření všech druhů komunikačních zařízení jsou údaje o chování (jako je počet hovorů, nákupní zvyklosti a nákupy) dostupné v reálném čase.

Technologie velkých dat lze efektivně využít i ve financích, sociologických výzkumech a mnoha dalších oblastech. Odborníci tvrdí, že všechny tyto příležitosti pro využití velkých dat jsou spravedlivé viditelná část ledovec, protože tyto technologie se používají v mnohem větších objemech ve zpravodajství a kontrarozvědce, ve vojenských záležitostech a také ve všem, čemu se běžně říká informační válka.

Obecně se posloupnost práce s velkými daty skládá ze sběru dat, strukturování přijatých informací pomocí sestav a dashboardů a poté formulování doporučení pro akci.

Pojďme se krátce zamyslet nad možnostmi využití Big Data technologií v marketingu. Jak víte, pro obchodníka jsou informace hlavním nástrojem pro prognózování a strategii. Analýza velkých dat se již dlouho úspěšně používá k určení cílového publika, zájmů, poptávky a aktivity spotřebitelů. Zejména analýza velkých dat umožňuje zobrazovat reklamu (na základě aukčního modelu RTB - Real Time Bidding) pouze těm spotřebitelům, kteří mají o produkt nebo službu zájem.

Využití Big Data v marketingu umožňuje podnikatelům:

- lépe rozpoznat své spotřebitele, přilákat podobné publikum na internetu;
- vyhodnotit míru spokojenosti zákazníka;
— pochopit, zda navrhovaná služba splňuje očekávání a potřeby;
- najít a implementovat nové způsoby, jak zvýšit důvěru zákazníků;
— vytvářet projekty, po kterých je poptávka atd.

Například služba Google.trends může obchodníkovi sdělit prognózu sezónní poptávky po konkrétním produktu, kolísání a zeměpisné umístění kliknutí. Pokud tyto informace porovnáte se statistikami shromážděnými odpovídajícím pluginem na vašem vlastním webu, můžete si vytvořit plán rozdělení reklamního rozpočtu s uvedením měsíce, regionu a dalších parametrů.

Podle mnoha výzkumníků spočívá úspěch Trumpovy kampaně právě v segmentaci a využití Big Data. Tým budoucího prezidenta USA dokázal správně rozdělit publikum, pochopit jeho touhy a ukázat přesně to poselství, které voliči chtějí vidět a slyšet. Takže podle Iriny Belysheva z Data-Centric Alliance bylo Trumpovo vítězství z velké části způsobeno nestandardním přístupem k internetovému marketingu, který byl založen na Big Data, psychologicko-behaviorální analýze a personalizované reklamě.

Trumpovi političtí technologové a marketéři použili speciálně vyvinutý matematický model, který jim umožnil hluboce analyzovat data všech amerických voličů a systematizovat je, což umožnilo ultra přesné cílení nejen podle geografických rysů, ale také podle záměrů, zájmů voličů, jejich psychotyp, behaviorální charakteristiky atd. Po Za tímto účelem zorganizovali marketéři personalizovanou komunikaci s každou ze skupin občanů na základě jejich potřeb, nálad, politických názorů, psychologických charakteristik a dokonce i barvy pleti, přičemž použili své vlastní sdělení pro téměř každého jednotlivce volič.

Co se týče Hillary Clintonové, ta ve své kampani použila „léty prověřené“ metody založené na sociologických datech a standardním marketingu a rozdělila voliče pouze na formálně homogenní skupiny (muži, ženy, Afroameričané, Hispánci, chudí, bohatí atd.) .

Vítězem se tak stal ten, kdo ocenil potenciál nových technologií a metod analýzy. Pozoruhodné je, že výdaje Hillary Clintonové na kampaň byly dvakrát vyšší než její protikandidát:

Údaje: Pew Research

Hlavní problémy používání Big Data

Kromě vysokých nákladů je jedním z hlavních faktorů, které brání zavádění velkých dat v různých oblastech, problém výběru dat ke zpracování: tedy určení, která data je třeba extrahovat, uložit a analyzovat a která. by neměly být brány v úvahu.

Další problém velkých dat je etický. Jinými slovy, vyvstává přirozená otázka: lze takový sběr dat (zejména bez vědomí uživatele) považovat za porušení hranic soukromí?

Není žádným tajemstvím, že informace uložené ve vyhledávačích Google a Yandex umožňují IT gigantům neustále zlepšovat své služby, dělat je uživatelsky přívětivými a vytvářet nové. interaktivní aplikace. K tomu vyhledávače shromažďují uživatelská data o aktivitě uživatele na internetu, IP adresy, geolokační údaje, zájmy a online nákupy, osobní údaje, emailové zprávy atd. To vše umožňuje zobrazování kontextové reklamy v souladu s chováním uživatele na internetu. K tomu se přitom většinou nepožaduje souhlas uživatelů a není dána volba, jaké informace o sobě poskytnout. To znamená, že ve výchozím nastavení se vše shromažďuje v Big Data, která se pak uloží na datové servery stránek.

Z toho vyplývá další důležitá otázka týkající se bezpečnosti ukládání a používání dat. Je například analytická platforma, se kterou spotřebitelé automaticky sdílí svá data, bezpečná? Mnoho obchodních zástupců navíc zaznamenává nedostatek vysoce kvalifikovaných analytiků a obchodníků, kteří jsou schopni s jejich pomocí efektivně provozovat velké množství dat a řešit konkrétní obchodní problémy.

Přes všechny potíže se zaváděním Big Data hodlá firma zvýšit investice do této oblasti. Podle studie společnosti Gartner jsou lídry v odvětvích investujících do velkých dat mediální, maloobchodní, telekomunikační, bankovní a servisní společnosti.

Vyhlídky na interakci mezi blockchainovými technologiemi a Big Data

Integrace s Big Data má synergický efekt a otevírá široké spektrum nových příležitostí pro podniky, včetně umožnění:

— získejte přístup k podrobným informacím o preferencích spotřebitelů, na jejichž základě můžete sestavit podrobné analytické profily pro konkrétní dodavatele, produkty a komponenty produktů;
- integrovat podrobné údaje o transakcích a statistiky spotřeby určitých skupin zboží různými kategoriemi uživatelů;
- získat podrobné analytické údaje o dodavatelských a spotřebních řetězcích, kontrolovat ztráty produktů během přepravy (např. úbytek hmotnosti v důsledku smrštění a vypařování určitých druhů zboží);
– boj proti padělaným produktům, zvýšení účinnosti boje proti praní špinavých peněz a podvodům atd.

Přístup k podrobným údajům o využití a spotřebě zboží do značné míry odemkne potenciál technologie Big Data pro optimalizaci klíčových obchodních procesů, snížení regulačních rizik a otevře nové příležitosti pro monetizaci a tvorbu produktů, které budou nejlépe odpovídat aktuálním preferencím spotřebitelů.

Jak víte, zástupci největších finančních institucí již projevují značný zájem o technologii blockchain, včetně atd. Podle Olivera Bussmanna, IT manažera švýcarského finančního holdingu UBS, může technologie blockchain „zkrátit dobu zpracování transakcí z několika dnů na několik minut“.

Potenciál pro analýzu z blockchainu pomocí technologie Big Data je obrovský. Technologie distribuovaného registru zajišťuje integritu informací a také spolehlivé a transparentní uložení celé transakční historie. Big Data zase poskytují nové nástroje pro efektivní analýzu, prognózování, ekonomické modelování a v souladu s tím otevírají nové příležitosti pro informovanější manažerská rozhodnutí.

Tandem blockchainu a Big Data lze úspěšně využít ve zdravotnictví. Jak víte, nedokonalé a neúplné údaje o zdravotním stavu pacienta občas zvyšují riziko stanovení nesprávné diagnózy a nesprávně předepsané léčby. Kritická data o zdravotním stavu klientů zdravotnických zařízení by měla být maximálně zabezpečená, měla by mít vlastnosti neměnnosti, být ověřitelná a neměla by být předmětem jakékoli manipulace.

Informace v blockchainu splňují všechny výše uvedené požadavky a mohou sloužit jako vysoce kvalitní a spolehlivá zdrojová data pro hloubkovou analýzu pomocí nových technologií Big Data. S pomocí blockchainu by si lékařské instituce navíc mohly vyměňovat spolehlivá data s pojišťovnami, justičními úřady, zaměstnavateli, vědeckými institucemi a dalšími organizacemi, které potřebují lékařské informace.

Big Data a bezpečnost informací

V širokém smyslu je informační bezpečnost ochranou informací a podpůrné infrastruktury před náhodnými nebo záměrnými negativními dopady přírodní nebo umělé povahy.

V oblasti informační bezpečnosti čelí Big Data následujícím výzvám:

— problémy ochrany údajů a zajištění jejich integrity;
— riziko vnějších zásahů a úniku důvěrných informací;
— nesprávné uchovávání důvěrných informací;
- riziko ztráty informací, například v důsledku něčího zlomyslného jednání;
— riziko zneužití osobních údajů třetími stranami atd.

Jeden z hlavních problémů velkých dat, který má blockchain řešit, spočívá v oblasti informační bezpečnosti. Technologie distribuované účetní knihy, která zajišťuje soulad se všemi svými základními principy, může zaručit integritu a spolehlivost dat a díky absenci jediného bodu selhání dělá blockchain informační systémy stabilní. Technologie distribuované knihy může pomoci vyřešit problém důvěry v data a také poskytnout možnost univerzální výměny dat.

Informace jsou cenným aktivem, což znamená, že hlavní aspekty informační bezpečnosti by měly být v popředí. Aby firmy obstály v konkurenci, musí držet krok s dobou, což znamená, že nemohou ignorovat potenciální příležitosti a výhody, které technologie blockchain a nástroje Big Data obsahují.

velká data- nejde jen o data samotná, ale také o technologie pro jejich zpracování a využití, metody pro vyhledávání potřebných informací ve velkých polích. Problém velkých dat je stále otevřený a zásadní pro všechny systémy, které po desetiletí shromažďují širokou škálu informací.

Tento termín je spojen s výrazem "Objem, rychlost, rozmanitost"– principy, na kterých je postavena práce s velkými daty. Je to přímo množství informací, rychlost jeho zpracování A různé informace uloženy v poli. V poslední době do tří základní principy začal přidávat další - hodnota, což znamená hodnotu informací. To znamená, že musí být užitečný a nezbytný z teoretického nebo praktického hlediska, což by ospravedlnilo náklady na jeho skladování a zpracování.

Sociální sítě jsou příkladem typického zdroje velkých dat – každý profil resp veřejná stránka představuje jednu malou kapku v nestrukturovaném oceánu informací. Navíc bez ohledu na množství informací uložených v konkrétním profilu by interakce s každým z uživatelů měla být co nejrychlejší.

Velká data se neustále hromadí téměř ve všech oblastech lidského života. To zahrnuje jakékoli odvětví související buď s lidskými interakcemi nebo s výpočetní technikou. Jsou to sociální média, medicína a bankovní sektor, stejně jako systémy zařízení, které získávají četné výsledky každodenních výpočtů. Například astronomická pozorování, meteorologické informace a informace ze pozemských sond.

Informace z různých sledovacích systémů v reálném čase jsou také odesílány na servery konkrétní společnosti. Televizní a rozhlasové vysílání, volací základny mobilních operátorů - interakce každého jednotlivého člověka s nimi je minimální, ale v souhrnu se všechny tyto informace stávají velkými daty.

Technologie velkých dat se staly nedílnou součástí výzkumu a vývoje a obchodu. Navíc začínají dobývat sféru veřejné správy - a všude je potřeba zavádět stále efektivnější systémy pro ukládání a manipulaci s informacemi.

Termín „big data“ se poprvé objevil v tisku v roce 2008, kdy editor Nature Clifford Lynch publikoval článek o tom, jak posunout budoucnost vědy pomocí technologií velkých dat. Do roku 2009 byl tento termín považován pouze z hlediska vědecké analýzy, ale po vydání několika dalších článků začal tisk široce používat koncept velkých dat - a používá jej i v současnosti.

V roce 2010 se začaly objevovat první pokusy řešit narůstající problém velkých dat. Byly vydány softwarové produkty, jejichž činnost byla zaměřena na minimalizaci rizik při používání obrovských informačních polí.

Do roku 2011 se o velká data začaly zajímat velké společnosti jako Microsoft, Oracle, EMC a IBM – byly první, kdo ve svých vývojových strategiích použil Big data, a to celkem úspěšně.

Vysoké školy začaly studovat big data jako samostatný předmět již v roce 2013 – nyní se problémy v této oblasti zabývají nejen datové vědy, ale také inženýrství spolu s výpočetními předměty.

Mezi hlavní metody analýzy a zpracování dat patří:

1. Třídní metody nebo hloubková analýza (Data Mining).

Těchto metod je poměrně mnoho, ale spojuje je jedna věc: používané matematické nástroje ve spojení s úspěchy v oblasti informačních technologií.

1. Crowdsourcing.

Tato technika vám umožňuje získávat data současně z několika zdrojů, přičemž počet těchto zdrojů je prakticky neomezený.

1. A/B testování.

Z celého množství dat je vybrána kontrolní sada prvků, která je postupně porovnávána s jinými podobnými sadami, kde došlo ke změně jednoho z prvků. Provádění takových testů pomáhá určit, které výkyvy parametrů mají největší vliv na kontrolní populaci. Díky objemům Big Data je možné provádět obrovské množství iterací, přičemž každá z nich se blíží nejspolehlivějšímu výsledku.

1. Prediktivní analytika.

Specialisté v této oblasti se snaží předem předvídat a plánovat, jak se bude ovládaný objekt chovat, aby v této situaci učinili co nejvýhodnější rozhodnutí.

1. Strojové učení (umělá inteligence).

Je založen na empirické analýze informací a následné konstrukci samoučících se algoritmů pro systémy.

1. Síťová analýza.

Nejběžnější metoda pro studium sociálních sítí - po obdržení statistických dat jsou analyzovány uzly vytvořené v mřížce, tedy interakce mezi jednotlivých uživatelů a jejich komunity.

V roce 2017, kdy už velká data nejsou něčím novým a neznámým, jejich význam nejen neklesl, ale dokonce vzrostl. Nyní odborníci sázejí na to, že analýza velkého množství dat bude dostupná nejen pro obří organizace, ale i pro malé a střední podniky. Tento přístup se plánuje implementovat pomocí následujících komponent:

• Cloudové úložiště.

Ukládání a zpracování dat je stále rychlejší a ekonomičtější – v porovnání s náklady na údržbu vlastního datového centra a případné rozšíření personálu se pronájem cloudu jeví jako mnohem levnější alternativa.

• Použití tmavých dat.

Takzvaná „tmavá data“ jsou všechny nedigitalizované informace o společnosti, které nehrají klíčovou roli při jejich přímém použití, ale mohou sloužit jako důvod pro přechod na nový formát úložiště informací.

• Umělá inteligence a hluboké učení.

Pro zpracování velkého množství neustále se měnících informací se nejlépe hodí technologie strojového učení, která napodobuje strukturu a činnost lidského mozku. V tomto případě stroj udělá vše, co by měl člověk udělat, ale pravděpodobnost chyby je značně snížena.

• blockchain.

Tato technologie umožňuje urychlit a zjednodušit četné internetové transakce, včetně mezinárodních. Další výhodou Blockchainu je, že snižuje transakční náklady.

• Samoobsluha a snížení ceny.

V roce 2017 se plánuje zavedení „samoobslužných platforem“ – jedná se o bezplatné platformy, kde budou moci zástupci malých a středních podniků samostatně vyhodnocovat svá data a systematizovat je.

Všechny marketingové strategie jsou nějakým způsobem založeny na manipulaci s informacemi a analýze existujících dat. Využití velkých dat proto může předvídat a umožnit korigovat další vývoj společnosti.

Například aukce RTB vytvořená na základě velkých dat umožňuje efektivnější využití reklamy – určitý produkt se zobrazí pouze skupině uživatelů, která má zájem o jeho koupi.

Jaká je výhoda používání velkých datových technologií v marketingu a podnikání?

1. S jejich pomocí můžete mnohem rychleji vytvářet nové projekty, které se pravděpodobně stanou oblíbenými mezi kupujícími.
2. Pomáhají korelovat požadavky zákazníků s existující nebo projektovanou službou a upravovat je.
3. Metody velkých dat umožňují posoudit míru aktuální spokojenosti všech uživatelů a každého jednotlivě.
4. Zvyšování loajality zákazníků je zajištěno metodami zpracování velkých dat.
5. Přilákat cílové publikum na internetu je stále snazší díky možnosti ovládat obrovské množství dat.

Například jednou z nejoblíbenějších služeb pro předpovídání pravděpodobné popularity konkrétního produktu je Google.trends. Je široce používán obchodníky a analytiky, což jim umožňuje získat statistiky o používání daného produktu v minulosti a prognózu pro příští sezónu. To umožňuje vedení společností efektivněji rozdělovat rozpočet na reklamu, určovat, do které oblasti je nejlepší investovat peníze.

Příklady použití Big Data

Aktivní zavádění Big Data technologií na trh a do moderního života začalo těsně poté, co je začaly používat světoznámé společnosti, které mají zákazníky téměř ve všech koutech zeměkoule.

Jsou to sociální giganti jako Facebook a Google, IBM. Stejně jako finanční struktury jako Master Card, VISA a Bank of America.

IBM například aplikuje techniky velkých dat na hotovostní transakce. S jejich pomocí bylo odhaleno o 15 % více podvodných transakcí, což zvýšilo objem chráněných prostředků o 60 %. Vyřešily se i problémy s falešnými poplachy systému - jejich počet se snížil o více než polovinu.

VISA podobně používala Big Data, sledovala podvodné pokusy o provedení konkrétní transakce. Díky tomu ročně ušetří na úniku více než 2 miliardy amerických dolarů.

Německému ministerstvu práce se podařilo snížit náklady o 10 miliard eur zavedením systému velkých dat při vydávání dávek v nezaměstnanosti. Zároveň vyšlo najevo, že pětina občanů pobírá tyto dávky neoprávněně.

Big Data neobešla ani herní průmysl. Vývojáři World of Tanks tedy provedli studii informací o všech hráčích a porovnali dostupné ukazatele jejich aktivity. To pomohlo předpovědět možný budoucí příliv hráčů – na základě vytvořených předpokladů byli zástupci organizace schopni efektivněji komunikovat s uživateli.

Mezi významné organizace využívající velká data patří také HSBC, Nasdaq, Coca-Cola, Starbucks a AT&T.

Největším problémem velkých dat jsou náklady na jejich zpracování. To může zahrnovat jak drahé vybavení, tak náklady na mzdy pro kvalifikované specialisty schopné obsluhovat obrovské množství informací. Je zřejmé, že zařízení bude muset být pravidelně aktualizováno, aby neztrácelo minimální výkon s narůstajícím množstvím dat.

Druhý problém opět souvisí s velkým množstvím informací, které je potřeba zpracovat. Pokud například studie dává ne 2-3, ale velké množství výsledků, je velmi těžké zůstat objektivní a vybrat z obecného datového toku jen ty, které budou mít reálný dopad na stav nějakého jevu.

Problém ochrany soukromí velkých dat. Vzhledem k tomu, že většina služeb zákaznických služeb přechází na online využívání dat, je velmi snadné stát se dalším cílem kyberzločinců. I pouhé ukládání osobních údajů bez provádění jakýchkoli online transakcí může mít pro zákazníky cloudových úložišť nežádoucí důsledky.

Problém ztráty informací. Bezpečnostní opatření vyžadují neomezit se na jednoduchou jednorázovou zálohu dat, ale provést alespoň 2-3 zálohyúložný prostor. S rostoucím objemem se však zvyšuje složitost redundance – a IT specialisté se snaží najít nejlepší řešení tohoto problému.

Trh velkých datových technologií v Rusku a ve světě

Od roku 2014 tvoří 40 % trhu s velkými daty služby. Mírně nižší (38 %) než tento ukazatel jsou příjmy z používání velkých dat v počítačovém vybavení. Zbývajících 22 % je v softwaru.

Nejužitečnějšími produkty v globálním segmentu pro řešení problémů s Big Data jsou podle statistik analytické platformy In-memory a NoSQL. 15 a 12 procent trhu zabírá analytický software Log-file a platformy Columnar. Ale Hadoop / MapReduce v praxi vyrovnat se s problémy velkých dat není příliš efektivní.

Výsledky implementace technologií velkých dat:

• zlepšení kvality služeb zákazníkům;
• optimalizace integrace v dodavatelském řetězci;
• optimalizace plánování organizace;
• zrychlení interakce s klienty;
• zlepšení efektivity zpracování požadavků zákazníků;
• snížené náklady na služby;
• optimalizace zpracování požadavků klientů.

Nejlepší knihy o velkých datech

Vhodné pro počáteční studium technologií zpracování velkých dat – snadno a přehledně vás informuje o aktuálním stavu. Je z ní patrné, jak hojnost informací ovlivnila každodenní život a všechny jeho oblasti: vědu, obchod, medicínu atd. Obsahuje četné ilustrace, takže je vnímáno bez větší námahy.

„Úvod do dolování dat“ od Pang-Ning Tan, Michaela Steinbacha a Vipina Kumara

Také užitečná kniha pro začátečníky o velkých datech, která vysvětluje, jak pracovat s velkými daty způsobem „od jednoduchých po komplexní“. Zdůrazňuje mnoho důležitých počáteční fáze momenty: příprava na zpracování, vizualizace, OLAP a také některé metody analýzy a klasifikace dat.

Praktický průvodce používáním a prací s velkými daty pomocí programovacího jazyka Python. Vhodné jak pro studenty strojírenství, tak pro profesionály, kteří si chtějí prohloubit své znalosti.

"Hadoop pro figuríny", Dirk Derus, Paul S. Zikopoulos, Roman B. Mělník

Hadoop je projekt navržený speciálně pro práci s distribuovanými programy, které organizují provádění akcí na tisících uzlech současně. Seznámení s ním pomůže detailněji pochopit praktickou aplikaci velkých dat.