Büyük Veri Nedir: özellikler, sınıflandırma, örnekler. Pazarlama Ansiklopedisi

Büyük veri veya büyük veri, bilgi teknolojisi ve pazarlamada kullanılan bir kavramdır. "Büyük veri" terimi, büyük veri kümelerinin analizini ve yönetimini tanımlamak için kullanılır. Bu nedenle, büyük veri, büyük hacimleri nedeniyle işlenemeyen bilgilerdir. geleneksel yollar.

Modern yaşam, dijital teknolojiler olmadan hayal edilemez. Dünya veri depoları sürekli olarak yenilenmektedir ve bu nedenle, hem bilgi depolama koşullarını sürekli olarak değiştirmek hem de taşıyıcılarının hacmini artırmanın yeni yollarını aramak gerekir. Uzman görüşüne göre artış Büyük veri ve büyüme hızının artırılması güncel gerçeklerdir. Daha önce de belirtildiği gibi, bilgi kesintisiz olarak görünür. Bilgi siteleri, çeşitli dosya paylaşım hizmetleri ve sosyal ağlar tarafından büyük hacimler oluşturuluyor, ancak bu, üretilen toplam hacmin yalnızca küçük bir kısmı.

IDC Digital Universe, bir çalışma yürüttükten sonra, 5 yıl içinde tüm Dünya'daki genel veri miktarının kırk zettabayta ulaşacağını belirtti. Bu, gezegendeki her insan için 5200 GB bilgi olacağı anlamına gelir.

Ayın En İyi Makalesi

2018'in ilk yarısı sona eriyor - ara sonuçları özetlemenin zamanı geldi. Şirketin ticari performansı önceki döneme göre artmış olsa bile, şirketin işleyişinde sorun çıkarabilecek hiçbir gizli zorluk olmadığından emin olun.

Sorunları teşhis etmek için makalemizdeki kontrol listelerini doldurun ve işin hangi tarafına dikkat etmeniz gerektiğini öğrenin.

İnsanların ana bilgi üreticisi olmadığı iyi bilinmektedir. Bilgi verilerini getiren ana kaynak, sürekli etkileşim halinde olan robotlardır. Bunlar, bilgisayarların, tabletlerin ve cep telefonlarının işletim sistemini, akıllı sistemleri, izleme araçlarını, gözetim sistemlerini ve daha fazlasını içerir. Birlikte, veri miktarındaki hızlı artış oranını belirliyorlar, bu da hem gerçek hem de sanal sunucu oluşturma ihtiyacının arttığı anlamına geliyor. Birlikte, bu yeni veri merkezlerinin genişletilmesine ve uygulanmasına yol açar.

Çoğu zaman, büyük veri, bir PC sabit diskinden daha büyük olan ve daha küçük hacimli bilgilerin işlenmesinde ve analizinde kullanılan geleneksel yöntemlerle işlenemeyen bilgiler olarak tanımlanır.

Özetlemek gerekirse, büyük veri işleme teknolojisi nihayetinde 3 ana alana iner ve bu da 3 tür sorunu çözer:

1. İlişkisel veritabanlarının etkili bir şekilde kullanamadığı yüzlerce terabayt ve petabayt boyutunda büyük miktarda veriyi depolamak ve yönetmek.
2. Yapılandırılmamış bilgilerin organizasyonu - metinler, resimler, videolar ve diğer veri türleri.
3. Büyük veri analizi (büyük veri analitiği) - burada yapılandırılmamış bilgilerle nasıl çalışılacağını ve analitik veri raporları oluşturmayı ve tahmine dayalı modellerin tanıtılmasını ele alacağız.

Proje Pazarıbüyükveri 2012'de hacmi yaklaşık 100 milyar doları bulan ve ağ teknolojilerini, yazılımları, teknik hizmetleri ve sunucuları içeren VA pazarı - iş zekası ile yakından bağlantılıdır.

Şirketin faaliyetlerinin otomasyonu, özellikle gelir garantisi sınıfındaki (RA) çözümler de büyük veri teknolojilerinin kullanımıyla ayrılmaz bir şekilde bağlantılıdır. Günümüzde bu alandaki sistemler, tutarsızlıkları tespit etmek ve derinlemesine veri analizi yapmak için kullanılan, ayrıca sektör sonuçlarında düşüşe yol açabilecek bilgilerdeki olası kayıpları veya yanlışlıkları tespit etmek için kullanılan araçları içermektedir.

Rus şirketleri, büyük veri teknolojilerine talep olduğunu teyit ediyor, ayrıca Rusya'da büyük verinin gelişimini etkileyen ana faktörlerin veri hacmindeki artış, hızlı yönetim kararları ve kalitelerindeki artış olduğunu belirtiyorlar.

Pazarlamada büyük verinin rolü nedir?

Nasıl kullanılacağını biliyorsanız, bilginin başarılı bir tahminin ve bir pazarlama stratejisinin geliştirilmesinin ana bileşenlerinden biri olduğu bir sır değildir.

Hedef kitlenin, ilgi alanlarının ve aktivitelerinin belirlenmesinde büyük veri analizi vazgeçilmezdir. Başka bir deyişle, büyük verilerin ustaca kullanılması, şirketin gelişimini doğru bir şekilde tahmin etmenizi sağlar.

Örneğin, büyük veri analizinin yardımıyla iyi bilinen RTB açık artırma modelini kullanarak, reklamların yalnızca bir hizmet veya ürün satın almakla ilgilenen potansiyel alıcılar için gösterilmesini sağlamak kolaydır.

Başvuru pazarlamada büyük veri:

1. Potansiyel alıcıları tanımanıza ve İnternet'teki uygun kitleyi çekmenize olanak tanır.
2. Memnuniyet derecesinin değerlendirilmesine katkıda bulunur.
3. Sunulan hizmeti alıcının ihtiyaçları ile eşleştirmeye yardımcı olur.
4. Müşteri sadakatini artırmak için yeni yöntemlerin araştırılmasını ve uygulanmasını kolaylaştırır.
5. Daha sonra talep görecek projelerin oluşturulmasını basitleştirir.

Belirli bir örnek, Google.trends hizmetidir. Pazarlamacı, onun yardımıyla belirli bir ürünle ilgili sezon tahminini, tıklamaların ve dalgalanmaların coğrafyasını belirleyebilecektir. Böylece alınan bilgileri kendi sitenizin istatistikleri ile karşılaştırarak bölge ve ayı gösteren bir reklam bütçesi oluşturmanız oldukça kolaydır.

• Reklam bütçesinin dağılımı: neye para harcamaya değer
l>

Büyük verinin nasıl ve nerede saklanacağı

Dosya sistemi- burası büyük verilerin düzenlendiği ve depolandığı yerdir. Tüm bilgiler bir bilgisayardaki çok sayıda sabit sürücüde bulunur.

"Harita"- harita - her bir bilgi parçasının doğrudan nerede depolandığını takip eder.

Öngörülemeyen durumlara karşı güvence sağlamak için, her bilgi parçasını birkaç kez kaydetmek adettendir - bunu yapmanız önerilir üç kez.

Örneğin, bir perakende ağında bireysel işlemler toplandıktan sonra, her bir işlemle ilgili tüm bilgiler birkaç sunucuda ve sabit sürücüde depolanacak ve "harita", her belirli işlem için dosyanın konumunu endeksleyecektir.

Büyük hacimlerdeki verilerin depolanmasını organize etmek için, kamu malı olan standart donanım ve yazılımları (örneğin, Hadoop) kullanabilirsiniz.

Büyük veri ve iş zekası: kavramlar arasındaki fark

Günümüzde iş analizi, belirli bir zaman diliminde elde edilen sonuçların betimsel bir sürecidir. Büyük verileri işlemek için çalışma hızı, analizi tahmine dayalı hale getirir. Onun tavsiyelerine gelecekte güvenilebilir. Büyük veri teknolojileri, iş zekasında kullanılan araç ve gereçlere kıyasla daha fazla türde verinin analiz edilmesini mümkün kılmaktadır. Bu, yalnızca verilerin yapılandırıldığı depolara odaklanmayı değil, çok daha geniş kaynakları kullanmayı sağlar.

İş zekası ve büyük veri birçok yönden benzerdir, ancak aşağıdaki farklılıklar vardır:

• Büyük veri, büyük veri kavramını tanımlayan iş zekasından çok daha büyük miktarda bilgiyi işlemek için kullanılır.
• Büyük verilerin yardımıyla, hızlı bir şekilde alınan ve değişen verileri işleyebilirsiniz, bu da etkileşime yol açar, yani çoğu durumda bir web sayfasını yükleme hızı, sonuç üretme hızından daha düşüktür.
• Büyük veri, ancak saklanması ve toplanması sağlandıktan sonra çalışmaya başlanması gereken bir yapıya sahip olmayan verilerin işlenmesinde kullanılabilir. Ayrıca oluşturulan dizilerdeki ana örüntüleri tanımlayabilen algoritmaların uygulanması gerekmektedir.

İş analitiği süreci, büyük veri çalışmasına çok az benzerlik gösterir. Kural olarak, iş analistlerinin sonucu belirli değerleri toplayarak alması yaygındır: Ödenen tüm faturaların toplamı olarak hesaplanan yıllık satış hacmi buna bir örnektir. Büyük verilerle çalışma sürecinde, hesaplama aşamalar halinde bir model oluşturarak gerçekleşir:

• bir hipotez öne sürmek;
• statik, görsel ve anlamsal bir model oluşturmak;
• bu modellere dayalı olarak hipotezin geçerliliğinin test edilmesi;
• aşağıdaki hipotezi ileri sürmektedir.

Tam bir araştırma döngüsü yürütmek için görsel değerlerin (etkileşimli bilgiye dayalı sorgular) yorumlanması gerekir. Uyarlanabilir bir makine öğrenimi algoritması geliştirmek de mümkündür.

Uzman görüşü

Analistlerin görüşlerine körü körüne güvenmeyin

Vyaçeslav Nazarov,

Moskova Archos Rusya Temsilciliği Genel Müdürü

Uzmanların görüşüne göre yaklaşık bir yıl önce tamamen yeni bir tableti piyasaya sürdük. oyun konsolu. Kompaktlık ve yeterli teknik güç, bilgisayar oyunları hayranları arasında kabul görmüştür. Bu grubun "darlığına" rağmen oldukça yüksek bir satın alma gücüne sahip olduğunu belirtmek gerekir. İlk başta, yenilik medyada çok sayıda olumlu eleştiri topladı ve ortaklarımızdan onaylayıcı bir değerlendirme aldı. Ancak kısa sürede tabletin satışlarının oldukça düşük olduğu anlaşıldı. Çözüm hiçbir zaman kitlesel popülaritesini bulamadı.

Hata. Eksikliğimiz, hedef kitlenin ilgi alanlarının sonuna kadar çalışılmamasıydı. Tablette oynamayı tercih eden kullanıcılar, çoğunlukla oyun oynadıkları için süper grafiklere ihtiyaç duymazlar. basit oyunlar. Ciddi oyuncular, daha gelişmiş platformlarda bir bilgisayarda oynamaya zaten alışkındır. Ürünümüzün büyük bir reklamı yoktu, pazarlama kampanyası da zayıftı ve sonunda tablet belirtilen grupların hiçbirinde alıcısını bulamadı.

Sonuçlar. Ürünün üretimi, başlangıçta planlanan hacimlere kıyasla neredeyse %40 oranında azaltılmalıdır. Tabii ki, planlanan kar kadar büyük kayıplar da olmadı. Ancak, bu bizi bazı stratejik hedefleri ayarlamaya zorladı. Geri dönüşü olmayan bir şekilde kaybettiğimiz en değerli şey zamanımızdır.

tavsiye. İleriyi düşünmelisin. Ürün gruplarının iki veya üç adım ileride hesaplanması gerekir. Bu ne anlama geliyor? Bugün bir model yelpazesini piyasaya sürerken, yarın kaderini anlamak ve bir buçuk yıl içinde ona ne olacağına dair en azından yaklaşık bir resme sahip olmak arzu edilir. Tabii ki, tam ayrıntı olası değildir, ancak temel plan hala derlenmesi gerekiyor.

Yine de analistlere tamamen ve tamamen güvenmemelisiniz. Uzmanların değerlendirmeleri, piyasadaki operasyonel durumun yanı sıra kendi istatistiksel verileriyle orantılı olmalıdır. Ürününüz tam olarak gelişmemişse, onu piyasaya sürmemelisiniz çünkü alıcı için ilk izlenim en önemlisidir ve onu aksi yönde ikna etmek zor bir iş olacaktır.

Çok önemli tavsiye başarısızlık durumunda - karar verme hızı. Sadece izleyip bekleyemezsin. Sıcak takipte bir sorunu çözmek, çalışan bir sorunu çözmekten her zaman çok daha kolay ve ucuzdur.

Büyük veri sistemi hangi sorunları yaratır?

Yabancı literatürde 3V - Hacim, Hız ve Çeşitlilik olarak birleştirilen büyük veri sistemlerinin üç ana sorun grubu vardır, yani:

1. Hacim.
2. İşleme hızı.
3. yapılandırılmamış

Büyük miktarda bilgi depolama konusu, belirli koşulları düzenleme ihtiyacıyla, yani alan ve fırsatların yaratılmasıyla ilişkilidir. Hıza gelince, eski işleme yöntemlerini kullanırken yavaşlamalar ve frenleme ile değil, etkileşimle ilişkilidir: sonuç daha üretken, bilgi işleme ne kadar hızlı olursa.

1. Yapılandırılmamışlık sorunu, kaynakların ayrılığı, biçimleri ve kalitesinden kaynaklanmaktadır. Büyük verilerin başarılı bir şekilde toplanması ve işlenmesi, hem hazırlık çalışmaları hem de analitik araçlar veya sistemler gerektirir.
2. Verilerin "değer" sınırının da büyük etkisi vardır. Değeri belirlemek oldukça zordur ve bu temelde hangi finansal yatırımların gerekli olacağını ve hangi teknolojilere ihtiyaç duyulacağını hesaplamak sorunludur. Bununla birlikte, örneğin terabayt gibi belirli miktarlar için, günümüzde sürekli olarak iyileştirilmekte olan yeni işleme yöntemleri başarıyla uygulanmaktadır.
3. Büyük verilerle çalışmak için genel kabul görmüş ilkelerin olmaması, akışların yukarıda belirtilen heterojenliği ile karmaşık hale gelen başka bir sorundur. Bu sorunu çözmek için yeni büyük veri analizi yöntemleri yaratılıyor. New York, Washington ve California üniversitelerinin temsilcilerinin açıklamalarına göre ayrı bir disiplinin ve hatta büyük veri biliminin yaratılması çok uzak değil. Şirketlerin büyük veri ile ilgili projeleri hayata geçirmekte acele etmemesinin temel nedeni budur. Diğer bir faktör ise yüksek maliyettir.
4. Zorluklar ayrıca analiz için veri seçimine ve eylemlerin algoritmasına neden olur. Bugüne kadar, hangi verilerin değerli bilgiler taşıdığı ve büyük veri analitiği gerektirdiği ve hangilerinin göz ardı edilebileceği konusunda bir anlayış yoktur. Bu durumda, bir şey daha netleşiyor - piyasada derinlemesine analizlerle başa çıkabilecek, sorunun çözümü hakkında bir rapor hazırlayabilecek ve dolayısıyla kar getirebilecek yeterli sayıda sektör profesyoneli yok.
5. Sorunun ahlaki bir yönü de var: Kullanıcının bilgisi olmadan veri toplamak, gizliliğin büyük bir ihlalinden farklı mı? Veri toplamanın yaşam kalitesini artırdığını belirtmekte fayda var: Örneğin, Google ve Yandex sistemlerinde sürekli veri toplama, şirketlerin hizmetlerini tüketici ihtiyaçlarına göre iyileştirmelerine yardımcı oluyor. Bu hizmetlerin sistemleri, kullanıcının her tıklamasını, konumunu ve ziyaret ettiği siteleri, tüm mesajları ve satın alma işlemlerini kaydeder - ve tüm bunlar, kullanıcının davranışına dayalı reklamların gösterilmesini mümkün kılar. Kullanıcı, verilerin toplanmasına izin vermemiştir: böyle bir seçenek sunulmamıştır. Bu, bir sonraki soruna yol açar: bilgiler ne kadar güvenli saklanır? Örneğin, potansiyel alıcılar hakkındaki bilgiler, satın alma işlemlerinin geçmişi ve çeşitli sitelere geçişleri birçok iş sorununun çözülmesine yardımcı olabilir, ancak alıcıların kullandığı platformun güvenli olup olmadığı çok önemlidir. tartışmalı bir konudur. Birçoğu, bugün hiçbir veri deposunun - hatta askeri hizmet sunucularının bile - bilgisayar korsanlarının saldırılarına karşı yeterince korunmadığı gerçeğine başvuruyor.

• Ticari sır: koruma ve açıklama cezaları

Büyük verinin aşamalı kullanımı

1. Aşama. Stratejik bir projede şirketin teknolojik uygulaması.

Teknik uzmanların görevleri, geliştirme kavramının bir ön çalışmasını içerir: en çok ihtiyaç duyan alanlar için geliştirme yollarının analizi.

Kompozisyonu ve görevleri belirlemek için müşterilerle bir görüşme yapılır ve bunun sonucunda gerekli kaynaklar analiz edilir. Buna paralel olarak kuruluş, tüm görevleri tamamen dışarıdan almaya veya bu ve diğer kuruluşlardan uzmanlardan oluşan hibrit bir ekip oluşturmaya karar verir.

İstatistiklere göre, çok sayıda şirket tam da böyle bir plan kullanıyor: işin kalitesini ve hareketin oluşumunu kontrol eden içeride uzmanlardan oluşan bir ekibin varlığı ve dışarıda, herhangi birinin geliştirilmesiyle ilgili hipotezlerin doğrudan testini gerçekleştiren. yön.

Aşama 2. Bir veri mühendisi arayın.

Başkan, işçi kadrosunu kolej olarak toplar. Aynı zamanda projenin geliştirilmesinden de sorumludur. İK çalışanları, dahili bir ekip oluşturmada doğrudan bir rol oynar.

Her şeyden önce böyle bir ekibin bir veri analistine ihtiyacı vardır. veri bilimcisi, hipotez oluşturma ve bilgi dizisini analiz etme göreviyle kim ilgilenecek. Belirttiği korelasyonlar gelecekte yeni ürün ve hizmetleri temel almak için kullanılacaktır.

Özellikle erken evrelerde önemlidir. İK departmanının görevi. Çalışanları, projeyi geliştirmeye yönelik işi tam olarak kimin yapacağına, nereden alacağına ve nasıl motive edeceğine karar verir. Bir veri analistini bulmak kolay değildir, dolayısıyla bu bir “parça üründür”.

Her ciddi şirketin bu profilde bir uzmanı olmalıdır, aksi takdirde projenin odağı kaybolur. Toplamda analist mühendisi: geliştirici, analist ve iş analisti. Ayrıca, faaliyetlerinin sonuçlarını göstermek için iletişim becerilerine ve düşüncelerinin ayrıntılı bir şekilde açıklanması için bir bilgi ve beceri deposuna sahip olmalıdır.

• Hayatta büyük değişiklikleri başlatan 24 düşünce

Arama örnekleri

1. Moskova'da bir taksi şirketi "Büyük Veri" düzenlendi. Güzergah boyunca yolcular, profesyonel analitik alanındaki görevleri yanıtladı. Yolcunun soruların çoğunu doğru yanıtlaması durumunda şirket ona iş teklifinde bulundu. Bu işe alma tekniğinin ana dezavantajı, çoğunluğun bu tür projelere katılma konusundaki isteksizliğidir. Sadece birkaç kişi görüşmeyi kabul etti.

2. Ödüllü özel bir iş zekası yarışması düzenlemek. Büyük bir Rus bankası bu yöntemi kullandı. Sonuç olarak hackathon yarışmasına 1000'den fazla kişi katıldı. Yarışmada en yüksek başarıyı elde edenlere iş teklif edildi. Ne yazık ki, kazananların çoğu, tek motivasyonları ödül olduğu için bir pozisyon alma arzusunu ifade etmedi. Ama yine de, birkaç kişi bir takımda çalışmayı kabul etti.

3. İş analitiğini anlayan ve doğru eylem algoritmasını oluşturarak işleri düzene koyabilen veri uzmanları ortamında arama yapın. Uzman bir analist için gerekli beceriler şunları içerir: programlama, Python bilgisi, R, Statistica, Rapidminer ve bir iş analisti için eşit derecede önemli diğer bilgiler.

Aşama 3. Geliştirme için bir ekibin oluşturulması.

Koordineli bir ekibe ihtiyaç var. Bir şirketin yenilikçi gelişimi gibi gelişmiş analitiği düşünürken, iş zekası oluşturmak ve geliştirmek için bir yöneticiye ihtiyaç duyulacaktır.

Araştırma mühendisi seçilen vektörün başarılı bir şekilde geliştirilmesi için hipotezlerin inşası ve test edilmesi ile ilgilenir.

KAFA seçilen iş alanının gelişimini organize etmek, yeni ürünler yaratmak ve bunları müşterilerle koordine etmek gerekiyor. Görevleri ayrıca iş davalarının hesaplanmasını da içerir.

Bir geliştirme yöneticisi herkesle yakın çalışmalıdır. Analist mühendis ve iş geliştirme yöneticisi, projenin çeşitli alanlarından sorumlu çalışanlarla toplantılar yaparak büyük veri analizine yönelik ihtiyaçları ve fırsatları keşfeder. Durumu analiz ettikten sonra yönetici, şirketin bir yön, hizmet veya ürünün daha da geliştirilmesi konusunda kararlar alacağı durumlar oluşturur.

• Geliştirme yöneticisi: gereksinimler ve iş tanımı

b ile çalışmanın 3 ilkesiigData

Büyük verilerle çalışmanın ana yöntemlerini ayırt edebiliriz:

1. Yatay ölçeklenebilirlik.Çok büyük miktarda veri olması gerektiğinden, büyük miktarda bilgi işleyen herhangi bir sistem genişletilebilir olacaktır. Örneğin, veri miktarı birkaç kat arttıysa, kümedeki donanım miktarı da aynı miktarda artmıştır.
2. Hata toleransı. Yatay ölçeklenebilirlik ilkesine dayanarak, kümede çok sayıda makine olduğu sonucuna varabiliriz. Örneğin, Yahoo'nun Hadoop kümesinde 42.000'den fazla küme vardır.Büyük verilerle çalışmanın tüm yöntemleri dikkate alınmalıdır. olası hatalar ve sonuçlar olmadan sorunlarla başa çıkmanın yollarını arayın.
3. Veri konumu. Büyük sistemlerde depolanan veriler, oldukça fazla sayıda makineye dağıtılır. Bu nedenle, verilerin 1 No.lu sunucuda depolandığı ve 2 No.lu sunucuda işlendiği bir durumda, bunların iletilmesinin, işlenmesinden daha pahalıya mal olma olasılığı göz ardı edilemez. Bu nedenle tasarım yapılırken verilerin tek bir bilgisayarda saklanmasına ve işlenmesine büyük önem verilmektedir.

Öyle ya da böyle, büyük verilerle çalışmanın tüm yöntemleri bu üç ilkeye bağlıdır.

Büyük veri sistemi nasıl kullanılır?

Çok çeşitli işletmeler için güçlü büyük veri çözümleri, günümüzde mevcut olan birçok yazılım ve donanım kombinasyonu tarafından sağlanmaktadır.

Önemli Onurbüyükveri- bu alanda halihazırda kullanılanlarla yeni araçlar uygulama yeteneği. Bu, disiplinler arası projelerde özellikle önemli bir rol oynar. Örnekler, çok kanallı satışları ve tüketici desteğini içerir.

Büyük verilerle çalışmak için belirli bir sıra önemlidir:

• önce veriler toplanır;
• sonra bilgi yapılandırılır. Bu amaçla gösterge tabloları kullanılır ( Panolar - yapılandırma araçları;
• sonraki aşamada, karar verme için önerilerin oluşturulduğu içgörüler ve bağlamlar oluşturulur. Veri toplama maliyetlerinin yüksek olması nedeniyle asıl görev, elde edilen bilgilerin kullanım amacını belirlemektir.

Örnek. Reklam ajansları, telekomünikasyonla birleştirilmiş konum bilgilerini kullanabilir. Bu yaklaşım hedefli reklam sağlayacaktır. Aynı bilgiler, hizmetlerin ve malların sağlanması ve satışı ile ilgili diğer alanlarda da geçerlidir.

Bu şekilde elde edilen bilgiler, belirli bir bölgede mağaza açıp açmamaya karar vermede anahtar olabilir.

Londra'da dış mekan reklam panolarının kullanıldığı durumu ele alırsak, günümüzde böyle bir deneyimin ancak her reklam panosunun yanına özel bir ölçüm cihazı yerleştirilmesiyle mümkün olduğuna şüphe yoktur. Aynı zamanda, mobil operatörler aboneleri hakkındaki temel bilgileri her zaman bilirler: konumları, medeni halleri vb.

Büyük verilerin başka bir potansiyel uygulama alanı, çeşitli etkinliklere gelen ziyaretçi sayısı hakkında bilgi toplanmasıdır.

Örnek. Futbol maçlarının organizatörleri, maça gelenlerin tam sayısını önceden bilemezler. Ancak operatörlerden gelen bilgileri kullansalardı bu tür bilgileri alacaklardı. mobil iletişim: Maçtan önce belirli bir süre - bir ay, bir hafta, bir gün - potansiyel ziyaretçiler nerededir? Organizatörlerin, hedef kitlenin tercihlerine bağlı olarak etkinliğin yerini planlama fırsatına sahip olacağı ortaya çıktı.

Büyük veri, işlenen verileri vicdansız kart sahiplerini tespit etmek için kullanabilen bankacılık sektörü için de kıyaslanamaz avantajlar sağlıyor.

Örnek. Bir kart hamili, kartın kaybolduğunu veya çalındığını iddia ettiğinde, banka, bilgilerin doğruluğunu doğrulamak için ödeme için kullanılan kartın yerini ve hamilin cep telefonunu takip etme olanağına sahiptir. Böylece banka temsilcisi bunu görme imkanına sahip olur. ödeme kartı ve cep telefonu sahibi aynı bölgede. Yani - kart sahibi tarafından kullanılıyor.

Bu tür faydaları ile birlikte bilgi kullanımı şirketlere birçok yeni fırsat sunmakta ve büyük veri pazarı gelişmeye devam etmektedir.

Büyük verinin uygulanmasındaki ana zorluk, durum hesaplamasının karmaşıklığıdır. Bu süreç varlığı ile karmaşıktır Büyük bir sayı Bilinmeyen.

Geçmişle ilgili veriler her zaman erişim bölgesinde bulunmazken, gelecek için herhangi bir tahminde bulunmak oldukça zordur. Bu durumda en önemli ilk eylemlerinizi planlamak:

1. Çözümünde büyük veri işleme teknolojisinin uygulanacağı belirli bir sorunun tanımı, kavramın belirlenmesine ve vektörün belirlenmesine yardımcı olacaktır. daha fazla eylem. Bu özel konu hakkında bilgi toplamaya odaklanmış olarak, tümünü kullanmaya değer. mevcut araçlar ve daha net bir resim elde etmenin yöntemleri. Ayrıca, bu yaklaşım gelecekte karar verme sürecini büyük ölçüde kolaylaştıracaktır.
2. Belirli becerilere ve deneyime sahip olmayan bir ekip tarafından bir büyük veri projesinin uygulanma olasılığı son derece düşüktür. Böylesine karmaşık bir çalışmada kullanılması gereken bilgi genellikle uzun çalışmalarla elde edilir, bu nedenle bu alanda önceki deneyimler çok önemlidir. Bu tür araştırmalar yoluyla elde edilen bilgileri kullanma kültürünün etkisini abartmak zordur. Alınan materyallerin kötüye kullanılması da dahil olmak üzere çeşitli fırsatlar sunarlar. Bilgileri iyilik için kullanmak için, doğru veri işlemenin temel kurallarına uymalısınız.
3. İçgörüler, teknolojinin temel değeridir. Piyasa, iş yapma yasalarını, bilginin önemini ve uygulama kapsamını anlayan güçlü profesyoneller konusunda hâlâ ciddi bir kıtlık yaşıyor. Veri analizinin, hedeflerinize ulaşmak ve işinizi geliştirmek için kilit bir yol olduğu gerçeğini dikkate almamak imkansızdır, geliştirmek için çaba göstermelisiniz. belirli model davranış ve algı. Bu durumda, büyük veri yararlı olacak ve iş sorunlarının çözümünde olumlu bir rol oynayacaktır.

Başarılı büyük veri uygulama örnekleri

Aşağıda listelenen vakalardan bazıları veri toplamada daha başarılıydı, diğerleri ise büyük veri analitiğinde ve çalışma sırasında elde edilen verileri uygulama yollarında daha başarılıydı.

1. « Tinkoff Kredi Sistemleri» EMC2 Greenplum platformunun avantajlarından yararlandı paralel hesaplama. Bankadaki kart kullanıcı akışının sürekli artması nedeniyle veri işlemenin daha hızlı yapılması gerekli hale gelmiştir. Büyük verinin kullanılması ve farklı kaynaklardan elde edilen kurumsal bilgilerin yanı sıra yapılandırılmamış bilgilerle çalışılmasına karar verildi. Rusya Federal Vergi Servisi'nin web sitesinde federal veri ambarının analitik bir katmanının uygulanmakta olduğu gerçeği, uzmanlarının dikkatinden kaçmadı. Daha sonra, temel olarak, istatistiksel verilerin daha fazla işlenmesi ve elde edilmesi için vergi sistemi verilerine erişim sağlayan bir alan düzenlenmesi planlanmaktadır.
2. Ayrı olarak, bir Rus girişimini düşünmeye değer ses, büyük veri çevrimiçi analizine dahil oldu ve Simplate platformunu geliştirdi. Sonuç olarak, büyük miktarda veri işlenir, tüketiciler, satın almaları, yaşları, ruh halleri ve ruh halleri hakkındaki veriler analiz edilir. Bir kozmetik mağazaları ağı, kasalara alıcının duygularını tanıyabilen sensörler yerleştirdi. Ruh hali belirlendikten sonra alıcı ile ilgili bilgiler, satın alma zamanı analiz edilir. Bundan sonra, alıcı kasıtlı olarak indirimler ve promosyonlar hakkında bilgi alır. Bu karar tüketici sadakatini artırdı ve satıcının gelirini artırmayı başardı.
3. Ayrı olarak, bir şirkette büyük veri teknolojilerinin kullanımına ilişkin bir davadan bahsetmeye değer. Dunkin Donuts,önceki örnekle benzer şekilde, karı artırmak için çevrimiçi analizi kullanan. Böylece perakende satış mağazalarında, içeriği her dakika değişen özel teklifler sergileniyor. Metindeki ikamelerin temeli hem günün saati hem de stoktaki üründü. Nakit makbuzlardan şirket, hangi ürünlerin en çok talep gördüğü hakkında bilgi aldı. Bu yöntem, depo stoklarının gelirini ve cirosunu artırmaya izin verdi.

Böylece büyük verinin işlenmesi, iş problemlerinin çözümünde olumlu bir etkiye sahiptir. Elbette önemli bir faktör, strateji seçimi ve büyük veri alanındaki en son gelişmelerin kullanılmasıdır.

şirket hakkında bilgi

Archos. Faaliyet alanı: elektronik ekipman üretimi ve satışı. Bölge: dokuz ülkede (İspanya, Çin, Rusya, ABD, Fransa vb.) satış ofisleri açıktır. Şube personel sayısı: 5 (Rus temsilciliğinde).

"Büyük veri"- teknoloji şirketleri tarafından aktif olarak tartışılan bir konu. Bazıları büyük veriden hayal kırıklığına uğrarken, bazıları ise tam tersine olabildiğince iş için kullanıyor... . Bilgilerin ilginç ve faydalı olacağını umuyoruz.

BÜYÜK VERİ NEDİR?

Ana Özellikler

"Büyük Veri" terimi pek çok tartışmaya neden olur, çoğu kişi bunun yalnızca birikmiş bilgi miktarı anlamına geldiğine inanır, ancak teknik tarafı unutmayın, bu alan depolama teknolojilerini, bilgi işlem ve hizmetleri içerir.

Bu alanın, geleneksel yöntemlerle işlenmesi zor olan büyük miktarda bilginin işlenmesini içerdiğine dikkat edilmelidir*.

Aşağıda geleneksel ve Büyük Veri tabanının bir karşılaştırma tablosu bulunmaktadır.

Büyük Veri alanı aşağıdaki özelliklerle karakterize edilir:
Hacim - Hacim, birikmiş veri tabanı, geleneksel yöntemlerle işlenmesi ve saklanması zahmetli olan büyük miktarda bilgidir, bunlar yeni bir yaklaşım ve geliştirilmiş araçlar gerektirir.
Hız - hız, bu özellik hem artan veri birikim hızını (bilgilerin %90'ı son 2 yılda toplandı) hem de veri işleme hızını gösterir, son zamanlarda gerçek zamanlı veri işleme teknolojileri daha fazla talep görmeye başlamıştır.
Çeşitlilik – çeşitlilik, yani farklı formatlardaki yapılandırılmış ve yapılandırılmamış bilgilerin eşzamanlı olarak işlenmesi olasılığı. Yapılandırılmış bilgi arasındaki temel fark, sınıflandırılabilir olmasıdır. Bu tür bilgilere bir örnek, müşteri işlemleri hakkındaki bilgilerdir.
Yapılandırılmamış bilgiler video, ses dosyaları, serbest metin, sosyal ağlardan gelen bilgileri içerir. Bugüne kadar bilgilerin %80'i yapılandırılmamışlar grubuna dahil edilmiştir. Bu bilgiler, daha sonraki işlemler için faydalı hale getirmek için karmaşık analizlere ihtiyaç duyar.
Doğruluk – Verilerin güvenilirliği, kullanıcılar mevcut verilerin güvenilirliğine önem vermeye başladı. Dolayısıyla, internet şirketleri, şirketin web sitesinde bir robot ve bir kişinin gerçekleştirdiği eylemleri ayırma konusunda sorun yaşamakta ve bu da sonuçta veri analizinin zorluğuna yol açmaktadır.
değer - birikmiş bilgilerin değeri. Büyük Veri şirket için faydalı olmalı ve ona bir miktar değer getirmelidir. Örneğin, iş süreçlerinin, raporlamanın veya maliyet optimizasyonunun iyileştirilmesine yardımcı olun.

Yukarıdaki 5 koşul karşılanırsa, biriken veri hacimleri büyük olarak sınıflandırılabilir.

Büyük Veri Uygulamaları

Büyük Veri teknolojilerinin kapsamı oldukça geniştir. Böylece, Big Data'nın yardımıyla müşteri tercihlerini, pazarlama kampanyalarının etkinliğini öğrenebilir veya risk analizi yapabilirsiniz. Aşağıda, şirketlerde Büyük Veri kullanımının yönlerine ilişkin bir IBM Enstitüsü anketinin sonuçları yer almaktadır.

Şemada görülebileceği gibi, çoğu şirket müşteri hizmetleri alanında Büyük Veri kullanıyor, ikinci en popüler yön operasyonel verimlilik, risk yönetimi alanında Büyük Veri şu anda daha az yaygın.

Ayrıca, Büyük Veri'nin bilgi teknolojisinin en hızlı büyüyen alanlarından biri olduğunu da belirtmek gerekir, istatistiklere göre, alınan ve depolanan toplam veri miktarı her 1,2 yılda bir ikiye katlanmaktadır.
2012-2014 yılları arasında mobil ağların aylık olarak aktardığı veri miktarı %81 arttı. Cisco, 2014 yılında mobil trafiğin hacminin ayda 2,5 exabayt (10 ^ 18 standart bayta eşit bilgi miktarının bir ölçü birimi) olduğunu ve 2019'da 24,3 exabayta eşit olacağını tahmin ediyor.
Bu nedenle, Büyük Veri, nispeten genç yaşına rağmen, birçok iş alanında yaygınlaşan ve şirketlerin gelişmesinde önemli rol oynayan bir teknoloji alanıdır.

Büyük Veri Teknolojileri

• Yazılım;
• Teçhizat;
• Hizmet.

En yaygın veri işleme (PD) yaklaşımları şunları içerir:
SQL - veritabanlarıyla çalışmanıza izin veren yapılandırılmış bir sorgu dili. İLE SQL kullanarak veri oluşturabilir ve değiştirebilirsiniz ve veri dizisi uygun veritabanı yönetim sistemi tarafından yönetilir.
NoSQL - terim, Yalnızca SQL Değil (yalnızca SQL değil) anlamına gelir. Geleneksel, ilişkisel DBMS'de kullanılan modellerden farklı olarak, veritabanının uygulanmasına yönelik bir dizi yaklaşım içerir. Sürekli değişen veri yapısı ile kullanımları uygundur. Örneğin, sosyal ağlarda bilgi toplamak ve depolamak için.
Harita indirgeme – hesaplama dağıtım modeli. Çok büyük veri kümelerinde (petabayt* veya daha fazla) paralel bilgi işlem için kullanılır. İÇİNDE yazılım arayüzü veriler işlenmek üzere programa aktarılmaz, ancak program verilere aktarılır. Bu nedenle, sorgu ayrı bir programdır. çalışma prensibi sıralı işlem Harita ve Küçültme olmak üzere iki yöntemle veriler. Harita ön verileri seçer, Azaltın bunları toplar.
Hadoop - çok yüklü siteler için arama ve bağlamsal mekanizmalar uygulamak için kullanılır - Facebook, eBay, Amazon, vb. Ayırt edici bir özellik, her blokta verilerin en az bir kopyasına sahip olduğundan, sistemin herhangi bir küme düğümünün başarısızlığından korunmasıdır. diğer düğümde.
SAP HANA veri depolama ve işleme için yüksek performanslı bir NewSQL platformudur. Yüksek hızlı istek işleme sağlar. Diğer bir fark, SAP HANA'nın analitik sistemleri destekleme maliyetini düşürerek sistem ortamını basitleştirmesidir.

İLE teknolojik ekipman katmak:

• sunucular;
• altyapı ekipmanları.

Hizmet.
Hizmetler, veritabanı sistemi mimarisini, altyapı geliştirme ve optimizasyonunu ve veri depolama güvenliğini içerir.

Yazılım, donanım ve hizmetler, veri depolama ve analizi için uçtan uca platformlar oluşturmak üzere birleşir. Microsoft, HP, EMC gibi şirketler, Büyük Veri çözümlerinin geliştirilmesi, devreye alınması ve yönetimi için hizmetler sunmaktadır.

endüstrilerde uygulama

Perakende
Perakende mağazaların veritabanları, müşteriler, envanter yönetim sistemi, pazarlanabilir ürünlerin tedariki hakkında birçok bilgi toplayabilir. Bu bilgi, mağaza faaliyetinin tüm alanlarında faydalı olabilir.

Böylece, biriken bilgilerin yardımıyla malların tedarikini, depolanmasını ve satışını yönetebilirsiniz. Birikmiş bilgilere dayanarak, mal talebini ve arzını tahmin etmek mümkündür. Ayrıca, veri işleme ve analiz sistemi perakendecinin diğer sorunlarını çözebilir, örneğin maliyetleri optimize edebilir veya raporlar hazırlayabilir.

Finansal hizmetler
Büyük Veri, bir borçlunun kredi değerliliğini analiz etmeyi mümkün kılar ve aynı zamanda kredi derecelendirme* ve sigortalama** için de yararlıdır. Büyük Veri teknolojilerinin kullanıma girmesi, kredi başvurularının değerlendirilme süresini kısaltacaktır. Big Data yardımıyla belirli bir müşterinin operasyonlarını analiz etmek ve ona uygun bankacılık hizmetleri sunmak mümkündür.

Telekom
Telekomünikasyon endüstrisinde, Büyük Veri, mobil operatörler tarafından yaygın olarak kullanılmaktadır.
Operatörler hücresel iletişim finansal kurumlarla birlikte, biriken bilgilerin en derinlemesine analizini yapmalarına olanak tanıyan en büyük veritabanlarından birine sahiptirler.
Veri analizinin temel amacı mevcut müşterileri elde tutmak ve yenilerini çekmektir. Bunu yapmak için şirketler müşterileri segmentlere ayırır, trafiklerini analiz eder ve abonenin sosyal bağlantısını belirler.

Büyük Veri'yi pazarlama amaçlı kullanmanın yanı sıra, hileli finansal işlemleri önlemek için teknolojiden yararlanılır.

Madencilik ve petrol endüstrisi
Büyük Veri, hem minerallerin çıkarılmasında hem de bunların işlenmesinde ve pazarlanmasında kullanılır. Kuruluşlar, alınan bilgilere dayanarak saha geliştirmenin verimliliği hakkında sonuçlar çıkarabilir, bakım programını ve ekipman durumunu takip edebilir ve ürün talebini ve fiyatlarını tahmin edebilir.

Tech Pro Research tarafından yapılan bir ankete göre, Büyük Veri en çok telekomünikasyon endüstrisinin yanı sıra mühendislik, BT, finans ve devlet kuruluşlarında yaygın. Bu anketin sonuçlarına göre, Büyük Veri eğitim ve sağlık hizmetlerinde daha az popüler. Anket sonuçları aşağıda sunulmuştur:

Şirketlerde Büyük Veri kullanımına örnekler

İşlenen bilgilerin uygulama alanları çeşitlidir ve sektöre ve gerçekleştirilecek görevlere göre değişiklik gösterir.
Daha sonra, Büyük Veri teknolojilerinin uygulamadaki uygulama örnekleri sunulacaktır.

HSBC plastik kartlarla yapılan sahte işlemlere karşı Büyük Veri teknolojilerini kullanır. Şirket, Big Data sayesinde güvenlik hizmetinin verimliliğini 3 kat, dolandırıcılık olaylarının tanınmasını ise 10 kat artırdı. Bu teknolojilerin tanıtılmasının ekonomik etkisi 10 milyon ABD dolarını aştı.

Anti-dolandırıcılık* VİZE hileli nitelikteki işlemleri otomatik olarak hesaplamanıza olanak tanıyan sistem, şu anda yılda 2 milyar ABD doları tutarında hileli ödemelerin önlenmesine yardımcı oluyor.

Süper bilgisayar Watson şirketi IBM para işlemleriyle ilgili veri akışını gerçek zamanlı olarak analiz eder. IBM'e göre Watson, tespit edilen hileli işlemlerin sayısını %15 artırdı, sistem yanlış pozitiflerini %50 azalttı ve bu tür işlemlerden korunan fon miktarını %60 artırdı.

Procter ve Gamble Büyük Veri'nin yardımıyla yeni ürünler tasarlar ve küresel pazarlama kampanyaları oluştururlar. P&G, gerçek zamanlı bilgileri görüntüleyebileceğiniz özel Business Spheres ofisleri oluşturmuştur.
Böylece şirket yönetimi, hipotezleri anında test etme ve deneyler yapma fırsatına sahip olur. P&G, Büyük Verinin şirketin performansını tahmin etmede yardımcı olduğuna inanıyor.

Ofis malzemeleri perakendecisi Ofis Max Big Data teknolojileri yardımıyla müşterilerin davranışlarını analiz ederler. Büyük Veri analizi, B2B gelirini %13 artırmaya, maliyetleri yılda 400.000 ABD Doları düşürmeye olanak sağladı.

Buna göre tırtıl , distribütörleri sırf Büyük Veri teknolojisini uygulamadıkları için yılda 9 ila 18 milyar dolar gelir kaybediyor. Büyük Veri, makinelere kurulu sensörlerden gelen bilgileri analiz ederek müşterilerin filolarını daha verimli bir şekilde yönetmelerine olanak tanır.

Bugüne kadar, temel bileşenlerin durumunu, aşınma derecelerini analiz etmek, yakıt ve bakım maliyetlerini yönetmek zaten mümkün.

Luxottica grubu Ray-Ban, Persol ve Oakley gibi spor gözlük markalarının üreticisidir. Şirket, potansiyel müşterilerin davranışlarını ve "akıllı" SMS pazarlamasını analiz etmek için Büyük Veri teknolojilerini kullanıyor. Sonuç olarak, Big Data Luxottica grubu en değerli 100 milyondan fazla müşteriyi belirledi ve pazarlama kampanyasının etkinliğini %10 artırdı.

Yandex Data Factory'nin yardımıyla oyun geliştiricileri Tankların dünyası Oyuncuların davranışlarını analiz edin. Büyük Veri teknolojileri, 100'den fazla parametre (satın alma bilgileri, oyunlar, deneyim vb.) kullanarak 100 bin World of Tanks oyuncusunun davranışını analiz etmeyi mümkün kıldı. Yapılan analiz sonucunda kullanıcı kaybı tahmini elde edilmiştir. Bu bilgiler, kullanıcı bakımını azaltmanıza ve oyun katılımcılarıyla hedefli bir şekilde çalışmanıza olanak tanır. Geliştirilen modelin standart oyun sektörü analiz araçlarından %20-30 daha verimli olduğu ortaya çıktı.

Almanya Çalışma Bakanlığı gelen işsizlik başvurularını analiz etmek için Büyük Veriyi kullanır. Böylece, bilgileri analiz ettikten sonra, yardımların% 20'sinin haksız yere ödendiği ortaya çıktı. Çalışma Bakanlığı, Büyük Veri'nin yardımıyla maliyetleri 10 milyar avro azalttı.

Toronto Çocuk Hastanesi Project Artemis projesini hayata geçirdi. Bu, bebeklerle ilgili verileri gerçek zamanlı olarak toplayan ve analiz eden bir bilgi sistemidir. Sistem, her çocuğun durumunun 1.260 göstergesini her saniye izler. Artemis Projesi, çocuğun dengesiz durumunu tahmin etmenize ve çocuklarda hastalıkların önlenmesine başlamanıza olanak tanır.

KÜRESEL BÜYÜK VERİ PAZARINA GENEL BAKIŞ

Küresel pazarın mevcut durumu

Wikibon'a göre 2014 yılında Büyük Veri pazarının gelirinin çoğu hizmetlerden oluşuyordu ve bunların payı toplam gelirin %40'ına eşitti (aşağıdaki şemaya bakın):

2014 için Büyük Veriyi alt türlere göre ele alırsak, pazar şöyle görünecektir:

Wikibon'a göre, uygulamalar ve analitik, 2014 yılında Büyük Veri uygulamaları ve analitiğinden elde edilen Büyük Veri gelirinin %36'sını, bilgi işlem donanımından %17'sini ve depolama teknolojisinden %15'ini oluşturdu. Tüm gelirlerin en azı NoSQL teknolojileri, altyapı ekipmanı ve bir şirket ağı (kurumsal ağlar) sağlayarak elde edildi.

En popüler Büyük Veri teknolojileri, SAP, HANA, Oracle vb.'nin bellek içi platformlarıdır. T-Systems anketinin sonuçları, ankete katılan şirketlerin %30'u tarafından tercih edildiğini göstermiştir. En popüler ikinci platformlar NoSQL platformlarıydı (kullanıcıların %18'i), şirketler ayrıca Splunk ve Dell'in analitik platformlarını kullandılar ve şirketlerin %15'i tarafından seçildiler. Anket sonuçlarına göre Büyük Veri sorunlarını çözmek için en az yararlı olanlar Hadoop/MapReduce ürünleri oldu.

Bir Accenture araştırmasına göre, Büyük Veri teknolojilerini kullanan şirketlerin %50'den fazlasında Büyük Veri maliyetleri %21 ila %30 arasında değişiyor.
Aşağıdaki Accenture analizine göre şirketlerin %76'sı 2015'te bu maliyetlerin artacağına inanıyor ve şirketlerin %24'ü Büyük Veri teknolojileri için bütçelerini değiştirmeyecek. Bu, bu şirketlerde Büyük Verinin zaten şirketin gelişiminin ayrılmaz bir parçası haline gelen yerleşik bir BT alanı haline geldiğini gösteriyor.

Ekonomist İstihbarat Birimi anketinin sonuçları, Büyük Veri uygulamasının olumlu etkisini doğrulamaktadır. Şirketlerin %46'sı, Büyük Veri teknolojilerini kullanarak müşteri hizmetlerini %10'dan fazla iyileştirdiklerini, şirketlerin %33'ü envanteri optimize ettiğini ve kilit varlıkların üretkenliğini iyileştirdiğini, şirketlerin %32'si planlama süreçlerini iyileştirdiğini iddia ediyor.

Dünya çapında Büyük Veri

Ayrıca, CIO anketine göre, Asya-Pasifik bölgesindeki şirketler, Büyük Veri analitiği, güvenli depolama ve bulut teknolojileri alanında yeni çözümlerde hızla ustalaşıyor. Latin Amerika, Büyük Veri teknolojilerinin geliştirilmesine yapılan yatırım sayısı açısından Avrupa ve ABD'nin önünde ikinci sırada yer almaktadır.
Ardından, çeşitli ülkelerde Büyük Veri pazarının gelişiminin bir açıklaması ve tahminleri sunulacaktır.

Çin
Çin'deki bilgi miktarı 909 exabyte olup, dünyadaki toplam bilgi miktarının %10'una eşittir, 2020 yılına kadar bilgi miktarı 8060 exabyte'a ulaşacak ve küresel istatistiklerde bilginin payı da artacaktır. 5 yıl %18'e eşit olacaktır. Çin'in Büyük Verisinin potansiyel büyümesi, en hızlı büyüyen dinamiklerden birine sahiptir.

Brezilya
2014'ün sonunda Brezilya, küresel hacmin %3'ü olan 212 exabyte bilgi biriktirdi. 2020 yılına kadar, bilgi hacmi 1600 exabyte'a çıkacak ve bu da dünyadaki bilginin %4'ü olacak.

Hindistan
EMC'ye göre, 2014 yılında Hindistan'da biriken veri miktarı 326 exabyte, yani toplam bilgi miktarının %5'i. 2020 yılına kadar, bilgi hacmi 2800 exabyte'a ulaşacak, bu da dünya bilgisinin %6'sı olacak.

Japonya
2014 yılı sonunda Japonya'da biriken veri miktarı 495 exabyte olup, toplam bilgi miktarının %8'idir. 2020 yılına kadar bilgi hacmi 2200 exabyte'a çıkacak, ancak Japonya'nın pazar payı azalacak ve tüm dünyadaki toplam bilgi miktarının %5'i olacak.
Böylece Japonya pazarının hacmi %30'dan fazla küçülecek.

Almanya
EMC'ye göre 2014 yılında Almanya'da biriken veri miktarı 230 exabyte yani dünyadaki toplam bilgi miktarının %4'ü. 2020 yılına kadar bilgi hacmi 1100 eksabayta çıkacak ve %2 olacak.
Experton Group tahminlerine göre Almanya pazarında, 2015'te payı %54 olacak olan hizmetler segmentinden büyük bir gelir payı elde edilecek ve 2019'da yazılım payları %59'a çıkacak ve donanım ise tam tersine azalacaktır.

Genel olarak, pazar büyüklüğü 2015'te 1.345 milyar avrodan 2019'da ortalama %24'lük bir büyüme oranıyla 3.198 milyar avroya çıkacak.
Böylece, CIO ve EMC analitiğine dayanarak, dünyanın gelişmekte olan ülkelerinin önümüzdeki yıllarda Büyük Veri teknolojilerinin aktif gelişimi için pazarlar haline geleceği sonucuna varabiliriz.

Ana Pazar Eğilimleri

IDC tahminlerine göre, pazar eğilimleri aşağıdaki gibidir:

• Önümüzdeki 5 yılda, bulut tabanlı Büyük Veri çözümlerinin maliyeti, şirket içi çözümlerin maliyetinden 3 kat daha hızlı artacak. Hibrit depolama platformları popüler hale gelecek.
• Makine öğrenimi de dahil olmak üzere gelişmiş ve tahmine dayalı analitiği kullanan uygulamaların büyümesi 2015'te hızlanacak ve bu tür uygulamalara yönelik pazar, tahmine dayalı analitiği olmayan uygulamalardan %65 daha hızlı büyüyecek.
• Medya analitiği 2015'te üç katına çıkacak ve Büyük Veri teknolojisi pazarı için önemli bir büyüme faktörü haline gelecek.
• Nesnelerin interneti için geçerli olan sürekli bilgi akışını analiz etmeye yönelik çözümler uygulama eğilimi hızlanacaktır.
• 2018'e kadar, kullanıcıların %50'si kognitif bilgi işleme dayalı hizmetlerle etkileşime girecek.

Pazar Sürücüleri ve Sınırlayıcılar

Accenture anketine göre, veri güvenliği sorunları artık Büyük Veri teknolojilerinin benimsenmesinin önündeki ana engeldir, yanıt verenlerin %51'inden fazlası veri koruma ve mahremiyet konusunda endişe duyduklarını doğrulamıştır. Şirketlerin %47'si sınırlı bütçe nedeniyle Büyük Veri'yi uygulamanın imkansız olduğunu, şirketlerin %41'i kalifiye personel eksikliğini sorun olarak bildirdi.

Wikibon, Büyük Veri pazarının 2015 yılında yıllık %36 artışla 38,4 milyar dolara ulaşacağını tahmin ediyor. Önümüzdeki yıllarda büyüme oranlarında 2017'de %10'lara gerileme olacaktır. Bu tahminler dikkate alındığında 2020 yılında pazar büyüklüğü 68,7 milyar ABD doları olacaktır.

Küresel Büyük Veri pazarının işletme kategorisine göre dağılımı şu şekilde olacaktır:

Diyagramdan da görebileceğiniz gibi, pazarın çoğu müşteri hizmetlerini iyileştirme alanındaki teknolojiler tarafından işgal edilecek. Spot pazarlama, 2019 yılına kadar şirketler için en yüksek ikinci öncelik olacak, Heavy Reading'e göre 2020'de yerini operasyonel verimliliği artıracak çözümlere bırakacak.
“Müşteri hizmetlerini iyileştirme” segmenti de yıllık %49 artışla en yüksek büyüme oranına sahip olacak.
Büyük Veri alt türleri için pazar tahmini şöyle görünecektir:

Diyagramdan da görülebileceği gibi, baskın pazar payı profesyonel hizmetler tarafından işgal ediliyor, analitik içeren uygulamalar en yüksek büyüme oranına sahip olacak, payları mevcut %12'den 2020'de %18'e çıkacak ve bu segmentin hacmi artacak 12,3 milyar ABD dolarına eşit olması durumunda, bilişim ekipmanlarının payı ise tam tersine %20'den %14'e düşecek ve 2020'de yaklaşık 9,3 milyar ABD doları olacak, bulut teknolojileri pazarı giderek artacak ve 2020'de 6,3 milyar ABD doları olan veri depolama çözümlerinin pazar payı ise 2014'teki %15'ten 2020'de %13'e düşecek ve parasal olarak 8,9 milyar ABD dolarına eşit olacak.
Bain & Company'nin Insights Analysis tahminine göre, 2020'de Büyük Veri pazarının sektöre göre dağılımı şöyle görünecek:

• Finans sektörü, yılda ortalama %22 büyüme oranıyla Büyük Veriye 6,4 milyar dolar harcayacak;
• İnternet şirketlerinin önümüzdeki 5 yılda 2,8 milyar dolar harcaması ve ortalama %26 maliyet artışı;
• Kamu sektörünün maliyetleri internet şirketlerinin maliyetleriyle orantılı olacak, ancak büyüme oranı daha düşük olacak - %22;
• Telekomünikasyon sektörü ortalama yüzde 40 büyüyecek ve 2020'de 1,2 milyar dolara ulaşacak;

Enerji şirketleri bu teknolojilere nispeten küçük bir miktar - 800 milyon ABD doları - yatırım yapacak, ancak büyüme oranı en yükseklerden biri olacak - yıllık% 54.
Böylece finans sektöründeki şirketler 2020 yılında Big Data pazarından büyük pay alacak ve enerji en hızlı büyüyen sektör olacak.
Analistlerin tahminlerine göre, toplam pazar hacmi önümüzdeki yıllarda artacaktır. Aşağıdaki grafikten de görülebileceği gibi, dünyanın gelişmekte olan ülkelerinde Büyük Veri teknolojilerinin kullanılmaya başlanması ile pazarın büyümesi sağlanacaktır.

Tahmin edilen pazar büyüklüğü, gelişmekte olan ülkelerin Büyük Veri teknolojilerini nasıl algıladıklarına, gelişmiş ülkelerdeki kadar popüler olup olmayacaklarına bağlı olacaktır. 2014 yılında dünyanın gelişmekte olan ülkeleri, biriken bilginin %40'ını oluşturuyordu. EMC'nin tahminine göre, gelişmiş ülkelerin hakim olduğu mevcut pazar yapısı 2017 gibi erken bir tarihte değişecek. EMC analytics'e göre 2020'de gelişmekte olan ülkelerin payı %60'ın üzerinde olacak.
Cisco ve EMC'ye göre dünyanın gelişmekte olan ülkeleri Büyük Veri ile aktif olarak çalışacak, bu birçok açıdan teknolojilerin kullanılabilirliği ve Büyük Veri düzeyinde yeterli bilginin birikmesinden kaynaklanacak. Gösterilen dünya haritasında sonraki Sayfa, bölgeye göre Büyük Veri'nin büyüme tahminini ve büyüme oranını gösterecek.

RUSYA PAZARININ ANALİZİ

• kehanet
• Microsoft
• Bulut çağı
• Horton işleri
• Teradata.

Sektör bazında pazara genel bakış ve şirketlerde Büyük Veri kullanma deneyimi

Rusya'da Büyük Veri teknolojileri daha çok bankacılık sektörü ve telekomda popüler olmakla birlikte madencilik sektörü, enerji, perakende, lojistik şirketleri ve kamu sektöründe de rağbet görmektedir.
Daha sonra, Rus gerçeklerinde Büyük Veri kullanımının örnekleri ele alınacaktır.

Telekom
Telekom operatörleri, biriken bilgilerin en derinlemesine analizini yapmalarına olanak tanıyan en büyük veritabanlarından birine sahiptir.
Big Data teknolojisinin uygulama alanlarından biri de abone sadakat yönetimidir.
Veri analizinin temel amacı mevcut müşterileri elde tutmak ve yenilerini çekmektir. Bunu yapmak için şirketler müşterileri segmentlere ayırır, trafiklerini analiz eder ve abonenin sosyal bağlantısını belirler. Telekom, bilgileri pazarlama amacıyla kullanmanın yanı sıra hileli finansal işlemleri önlemek için teknolojiyi kullanır.
Vimpelcom bu sektörün en parlak örneklerinden biridir. Şirket, her abone düzeyinde hizmet kalitesini iyileştirmek, raporlamak, ağ geliştirme için verileri analiz etmek, spam ile mücadele etmek ve hizmetleri kişiselleştirmek için Büyük Veri'yi kullanıyor.

Bankalar
Büyük Veri kullanıcılarının önemli bir kısmı finans sektöründen uzmanlar tarafından işgal edilmektedir. Başarılı deneylerden biri, müşterileri analiz etmek için bilgi tabanının kullanıldığı Ural Yeniden Yapılanma ve Kalkınma Bankası'nda gerçekleştirildi, banka özel kredi teklifleri, mevduatlar ve diğer hizmetler sunmaya başladı. Bu teknolojilerin kullanıldığı yılda şirketin bireysel kredi portföyü %55 oranında büyümüştür.
Alfa-Bank, sosyal ağlardan gelen bilgileri analiz eder, kredi başvurularını işler, şirketin web sitesinin kullanıcılarının davranışlarını analiz eder.
Sberbank ayrıca müşterileri segmentlere ayırmak, dolandırıcılığı önlemek, çapraz satış yapmak ve riski yönetmek için bir veri dizisini işlemeye başladı. Gelecekte, hizmetin iyileştirilmesi ve müşterilerin eylemlerinin gerçek zamanlı olarak analiz edilmesi planlanmaktadır.
Tüm Rusya Bölgesel Kalkınma Bankası, plastik kart sahiplerinin davranışlarını analiz ediyor. Bu, belirli bir müşteri için alışılmadık işlemleri belirlemenize olanak tanır ve böylece plastik kartlardan para çalındığını tespit etme olasılığını artırır.

Perakende
Rusya'da Büyük Veri teknolojileri hem çevrimiçi hem de çevrimdışı ticaret şirketleri tarafından uygulanmaktadır. Bugün, CNews Analytics'e göre, Büyük Veri perakendecilerin %20'si tarafından kullanılıyor. Perakende profesyonellerinin %75'i, bir şirketin tanıtımına yönelik bir rekabet stratejisi geliştirmek için Büyük Verinin gerekli olduğunu düşünüyor. Hadoop istatistiklerine göre, Büyük Veri teknolojisinin kullanılmaya başlanmasının ardından ticari kuruluşlardaki kâr %7-10 oranında artıyor.
M.Video uzmanları, SAP HANA'nın uygulanmasından sonra lojistik planlamanın iyileştirilmesinden bahsediyor, ayrıca uygulanması sonucunda yıllık raporların hazırlanması 10 günden 3'e düşürüldü, günlük veri yükleme hızı 3'ten düşürüldü. saat ila 30 dakika.
Wikimart, site ziyaretçileri için öneriler oluşturmak için bu teknolojileri kullanır.
Rusya'da Büyük Veri analizini tanıtan ilk çevrimdışı mağazalardan biri Lenta idi. Perakende sektörü, Büyük Veri'nin yardımıyla müşteriler hakkındaki bilgileri nakit makbuzlardan incelemeye başladı. Perakendeci, operasyonel ve iş düzeyinde daha bilinçli karar vermeyi mümkün kılan davranışsal modeller oluşturmak için bilgi toplar.

Petrol ve gaz endüstrisi
Bu sektörde Big Data'nın kapsamı oldukça geniştir. Minerallerin bağırsaklardan çıkarılmasında Büyük Veri teknolojileri uygulanabilmektedir. Onların yardımıyla madencilik sürecini ve onu çıkarmanın en etkili yollarını analiz edebilir, sondaj sürecini takip edebilir, ham maddelerin kalitesini ve ayrıca nihai ürünlerin işlenmesini ve pazarlanmasını analiz edebilirsiniz. Rusya'da bu teknolojiler zaten Transneft ve Rosneft tarafından kullanılıyor.

Devlet organları
Almanya, Avustralya, İspanya, Japonya, Brezilya ve Pakistan gibi ülkelerde ulusal sorunların çözümü için Büyük Veri teknolojileri kullanılmaktadır. Bu teknolojiler, kamu makamlarının nüfusa daha etkin bir şekilde hizmet sunmasına, hedeflenen sosyal desteği sağlamasına yardımcı olur.
Rusya'da, bu teknolojiler şu devlet kurumları tarafından yönetilmeye başlandı: Emeklilik fonu, Federal Vergi Servisi ve Zorunlu Sağlık Sigortası Fonu. Büyük Veriyi kullanan projeleri uygulama potansiyeli yüksektir; bu teknolojiler hizmet kalitesini ve sonuç olarak nüfusun yaşam standardını iyileştirmeye yardımcı olabilir.

Lojistik ve nakliye
Büyük Veri, nakliye şirketleri tarafından da kullanılabilir. Big Data teknolojileri sayesinde araç filosunun takibi, yakıt maliyetlerinin hesaba katılması ve müşteri isteklerinin izlenmesi mümkün olmaktadır.
Rus Demiryolları, SAP ile birlikte Büyük Veri teknolojilerini hayata geçirdi. Bu teknolojiler, raporlama süresinin 43,5 kat azaltılmasına (14,5 saatten 20 dakikaya) ve maliyet tahsisinin doğruluğunun 40 kat artırılmasına yardımcı oldu. Ayrıca planlama ve tarife düzenleme süreçlerine Big Data girmiştir. Toplamda şirketler SAP çözümlerine dayalı 300'den fazla sistem kullanıyor, 4 veri merkezi söz konusu ve kullanıcı sayısı 220.000.

Ana pazar etkenleri ve kısıtlamaları

• Şirketin rekabet gücünü artırmanın bir yolu olarak Büyük Verinin olanaklarına artan kullanıcı ilgisi;
• Küresel düzeyde medya dosyalarını işlemek için yöntemlerin geliştirilmesi;
• Kişisel verilerin saklanması ve işlenmesine ilişkin kabul edilen yasaya uygun olarak kişisel bilgileri işleyen sunucuların Rusya topraklarına aktarılması;
• Yazılım ithal ikamesi için endüstri planının uygulanması. Bu plan, yerli yazılım üreticilerine devlet desteğinin yanı sıra kamu pahasına satın alırken yerli BT ürünleri için tercihlerin sağlanmasını da içeriyor.
• Yeni ekonomik durumda, dolar neredeyse ikiye katlandığında, yabancılardan ziyade Rus bulut hizmeti sağlayıcılarının hizmetlerinin artan bir şekilde kullanılması yönünde bir eğilim olacaktır.
• Büyük Veri pazarı da dahil olmak üzere bilgi teknolojileri pazarının gelişimine katkıda bulunan teknoloji parklarının oluşturulması;
• Büyük Veri teknolojilerine dayalı şebeke sistemlerinin tanıtımı için devlet programı.

Rusya pazarında Büyük Verinin gelişmesinin önündeki başlıca engeller şunlardır:

• Verilerin güvenliğini ve gizliliğini sağlamak;
• Nitelikli personel eksikliği;
• Birikmiş yetersizlik bilgi kaynaklarıçoğu Rus şirketinde Büyük Veri düzeyine;
• Şirketlerin yerleşik bilgi sistemlerine yeni teknolojilerin dahil edilmesindeki zorluklar;
• Sınırlı sayıda işletmenin bu teknolojileri uygulama olanağına sahip olmasına yol açan Büyük Veri teknolojilerinin yüksek maliyeti;
• Rusya'da sermaye çıkışına ve yatırım projelerinin donmasına yol açan siyasi ve ekonomik belirsizlik;
• IDC'ye göre ithal ürünler için yükselen fiyatlar ve enflasyondaki artış, tüm BT pazarının gelişimini engelliyor.

Rusya pazarı tahmini

Bununla birlikte, küresel trendleri takip eden Rusya pazarı artacaktır. 2014 itibariyle, IDC pazar büyüklüğünü 340 milyon $ olarak tahmin ediyor.
Önceki yıllarda pazar büyüme oranı yılda %50 idi, aynı seviyede kalırsa 2018'de pazar hacmi 1,7 milyar ABD dolarına ulaşacak. Rusya pazarının dünya pazarındaki payı mevcut %1,2'den artarak yaklaşık %3 olacaktır.

Rusya'da Büyük Veri kullanımına en açık sektörler şunları içerir:

• Perakende ve bankalar onlar için her şeyden önce müşteri tabanını analiz etmek, pazarlama kampanyalarının etkisini değerlendirmek önemlidir;
• Telekom - müşteri tabanı segmentasyonu ve trafikten para kazanma;
• Kamu sektörü - raporlama, kamudan gelen başvuruların analizi vb.;
• Petrol şirketleri - işin izlenmesi ve üretim ve pazarlamanın planlanması;
• Enerji şirketleri - akıllı elektrik güç sistemlerinin oluşturulması, operasyonel izleme ve tahmin.

Pazar analizinin ana sonuçları

Dünya pazarı

• pazar hacmi bir önceki yıla göre %45 artarak 28,5 milyar ABD dolarına ulaşırken;
• Big Data pazarının gelirinin büyük bölümünü hizmetlerden oluşan, toplam gelir içindeki paylarının %40 olduğu;
• Gelirin %36'sı Büyük Veri uygulamaları ve analitiğinden, %17'si bilgi işlem donanımından ve %15'i depolama teknolojilerinden geldi;
• SAP, HANA ve Oracle gibi şirketlerin bellek içi platformları, Büyük Veri sorunlarını çözmek için en popüler olanlardır.
• Büyük Veri yönetimi alanında proje hayata geçiren şirket sayısı %125 arttı;

• 2015'te pazar hacmi 38,4 milyar ABD dolarına, 2020'de ise 68,7 milyar ABD dolarına ulaşacak;
• ortalama büyüme oranı yıllık %16 olacak;
• Büyük Veri teknolojilerine ortalama şirket harcaması, büyük şirketler için 13,8 milyon dolar ve küçük ve orta ölçekli işletmeler için 1,6 milyon dolar olacak;
• teknolojiler, müşteri hizmetleri ve hedefli pazarlama alanlarında en büyük yaygınlığa sahip olacak;
• 2017 yılında küresel pazar yapısı, gelişmekte olan ülkelerden kullanıcı şirketlerin ağırlığına doğru değişecektir.

Rusya pazarı

• pazar hacmi 340 milyon ABD dolarına ulaştı;
• önceki yıllarda ortalama pazar büyüme oranı yıllık %50 idi;
• toplam birikmiş bilgi miktarı 155 eksabayttı;
• Rus şirketlerinin %10'u Büyük Veri teknolojilerini kullanmaya başladı;
• Büyük Veri teknolojileri daha çok bankacılık sektörü, telekom, internet şirketleri ve perakende sektörlerinde yaygındı.

• 2015 yılında Rusya pazarının hacmi 500 milyon ABD dolarına ve 2018'de - 1,7 milyar ABD dolarına ulaşacak;
• Rusya pazarının dünya pazarındaki payı 2018'de yaklaşık %3 olacak;
• 2020'de biriken veri miktarı 980 exabyte olacak;
• veriler 2020'de küresel verilerin %2,2'sine ulaşacak;
• veri görselleştirme teknolojileri, medya dosyalarının analizi ve nesnelerin interneti en büyük popülariteyi kazanacak.

Bu hacimli çalışmayı okumaya zaman ayırdığınız için teşekkür ederiz, blogumuza abone olun - birçok yeni ilginç yayın sözü veriyoruz!

Büyük verilerle çalışma efsaneleri ve vakaları hakkında HSE öğretmenlerinin köşe yazısı

yer imlerine

HSE Yeni Medya Okulu öğretim görevlileri Konstantin Romanov ve aynı zamanda Beeline'da dijital dönüşüm direktörü olan Alexander Pyatigorsky, site için büyük veri hakkındaki temel yanılgılar - teknoloji kullanımı ve araçları örnekleri - hakkında bir köşe yazdı. Yazarlar, yayının şirket liderlerinin bu kavramı anlamalarına yardımcı olacağını öne sürüyor.

Büyük Veri hakkındaki mitler ve yanlış anlamalar

Büyük Veri pazarlama değildir

Büyük Veri terimi çok moda oldu - milyonlarca durumda ve yüzlerce farklı yorumda kullanılıyor ve genellikle ne olduğuyla ilgili değil. Çoğu zaman insanların kafasında kavramların ikamesi olur ve Büyük Veri bir pazarlama ürünüyle karıştırılır. Ayrıca, bazı şirketlerde Büyük Veri, pazarlama bölümünün bir parçasıdır. Büyük veri analizinin sonucu gerçekten de pazarlama faaliyetleri için bir kaynak olabilir, ancak daha fazlası olamaz. Nasıl çalıştığını görelim.

İki ay önce mağazamızda üç bin ruble değerinde mal satın alanların bir listesini belirleyip bu kullanıcılara bir tür teklif gönderirsek, bu tipik pazarlamadır. Yapısal verilerden net bir model çıkarır ve bunu satışları artırmak için kullanırız.

Bununla birlikte, CRM verilerini, örneğin Instagram'dan gelen akış bilgileriyle birleştirir ve bunları analiz edersek, bir model buluruz: Çarşamba akşamı etkinliğini azaltan ve son Fotoğraf yavru kedi tasvir edilirse, belli bir teklifte bulunulmalıdır. Zaten Büyük Veri olacak. Bir tetikleyici bulduk, pazarlamacılara verdik ve onlar da kendi amaçları için kullandılar.

Bundan, teknolojinin genellikle yapılandırılmamış verilerle çalıştığı ve veriler yapılandırılmışsa, sistemin içlerinde pazarlamanın yapmadığı gizli kalıpları aramaya devam ettiği sonucu çıkar.

Büyük Veri BT değildir

Bu hikayenin ikinci uç noktası: Büyük Veri genellikle BT ile karıştırılır. Bunun nedeni, Rus şirketlerinde kural olarak BT uzmanlarının büyük veriler de dahil olmak üzere tüm teknolojilerin itici gücü olmalarıdır. Bu nedenle, her şey bu departmanda olursa, bir bütün olarak şirket için bu bir tür BT faaliyeti gibi görünüyor.

Aslında burada temel bir fark var: Büyük Veri, belirli bir ürünü elde etmeye yönelik bir faaliyettir ve teknoloji onlarsız var olamayacak olsa da BT için hiç geçerli değildir.

Büyük Veri her zaman bilgilerin toplanması ve analizi değildir.

Büyük Veri ile ilgili başka bir yanılgı daha var. Herkes bu teknolojinin büyük miktarda veri ile ilişkili olduğunu anlıyor, ancak ne tür bir verinin kastedildiği her zaman net değil. Herkes bilgi toplayabilir ve kullanabilir, artık bu sadece filmlerle ilgili değil, aynı zamanda çok küçük bir şirkette bile mümkündür. Tek soru, tam olarak neyi toplayacağınız ve bunu kendi avantajınıza nasıl kullanacağınızdır.

Ancak Büyük Veri teknolojisinin kesinlikle herhangi bir bilginin toplanması ve analizi olmayacağı anlaşılmalıdır. Örneğin, sosyal ağlarda belirli bir kişi hakkında veri toplarsanız, bu Büyük Veri olmayacaktır.

Gerçekten Büyük Veri nedir?

Büyük Veri üç unsurdan oluşur:

• veri;
• analitik;
• teknolojiler.

Büyük Veri, bu bileşenlerden sadece biri değil, üç unsurun birleşimidir. Çoğu zaman insanlar kavramları değiştirir: Birisi Büyük Verinin yalnızca veri olduğunu düşünür, biri bunun teknoloji olduğunu düşünür. Ama aslında, ne kadar veri toplarsanız toplayın, onsuz hiçbir şey yapamazsınız. gerekli teknolojiler ve analitik. İyi analitik varsa, ancak veri yoksa, daha da kötü.

Verilerden bahsedersek, bu sadece metinler değil, aynı zamanda Instagram'da yayınlanan tüm fotoğraflar ve genel olarak analiz edilebilecek ve farklı amaçlar ve görevler için kullanılabilecek her şeydir. Başka bir deyişle, Veri, çeşitli yapılarda büyük miktarda iç ve dış veriyi ifade eder.

Analitik de gereklidir, çünkü Büyük Veri'nin görevi bazı kalıplar oluşturmaktır. Yani analitik, gizli bağımlılıkların tanımlanması ve tüm heterojen veri hacminin analizine dayalı yeni sorular ve cevaplar aranmasıdır. Ayrıca, Büyük Veri, doğrudan bu verilerden türetilmeyen soruları gündeme getirir.

Resimler söz konusu olduğunda, mavi tişörtlü bir fotoğrafınızı yayınlamanız hiçbir şey ifade etmez. Ancak Büyük Veri modellemesi için bir fotoğraf kullanırsanız, o zaman şu anda bir kredi teklif etmeniz gerektiği ortaya çıkabilir, çünkü sosyal grubunuzdaki bu davranış, eylemlerde belirli bir fenomeni gösterir. Bu nedenle, analitik olmayan, gizli ve açık olmayan bağımlılıkları ifşa etmeyen “çıplak” veriler, Büyük Veri değildir.

Yani elimizde büyük veri var. Dizileri çok büyük. Bir de analistimiz var. Ancak bu ham veriden belirli bir çözümün doğduğundan nasıl emin olabiliriz? Bunu yapmak için, yalnızca onları depolamamıza değil (ve daha önce bu imkansızdı), aynı zamanda analiz etmemize de izin veren teknolojilere ihtiyacımız var.

Basitçe söylemek gerekirse, çok fazla veriniz varsa, daha sonra analiz etmek için tüm bilgileri orijinal biçiminde kaydetmeyi mümkün kılan Hadoop gibi teknolojilere ihtiyacınız olacaktır. Bu tür teknolojiler, büyük miktarda veriyi depolama ve daha sonra para kazanmak için analiz etme sorunuyla ilk karşılaşanlar oldukları için İnternet devlerinde ortaya çıktı.

Optimize edilmiş ve ucuz veri depolama araçlarına ek olarak, analitik araçlara ve kullanılan platforma eklentilere ihtiyaç vardır. Örneğin, Hadoop çevresinde ilgili proje ve teknolojilerden oluşan eksiksiz bir ekosistem zaten oluşmuştur. Bunlardan bazıları:

• Pig, bildirime dayalı bir veri analiz dilidir.
• Kovan - SQL'e yakın bir dil kullanarak veri analizi.
• Oozie, Hadoop'ta bir iş akışıdır.
• Hbase - veritabanı (ilişkisel olmayan), Google Big Table'ın bir benzeri.
• Mahout - makine öğrenimi.
• Sqoop - RSDDB'den Hadoop'a ve tersi yönde veri aktarımı.
• Flume - günlüklerin HDFS'ye aktarımı.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS vb.

Tüm bu araçlar herkes tarafından ücretsiz olarak kullanılabilir, ancak bir dizi ücretli eklenti de vardır.

Ek olarak, uzmanlara ihtiyaç vardır: bu bir geliştirici ve bir analisttir (veri bilimcisi olarak adlandırılır). Ayrıca, belirli bir sorunu çözmek için bu analitiği nasıl uygulayacağını anlayabilen bir yöneticiye de ihtiyacınız var, çünkü iş süreçlerine yerleştirilmemişse kendi başına tamamen anlamsızdır.

Üç çalışan da bir takım olarak çalışmalıdır. Uzmanlık veren bir yönetici veri bilimi belirli bir model bulma görevi, tam olarak ihtiyaç duyduğu şeyi bulmanın her zaman mümkün olmadığını anlamalıdır. Bu durumda yönetici, Veri Bilimcisi'nin bulduklarını dikkatle dinlemelidir çünkü genellikle bulguları işletme için daha ilginç ve faydalı olur. Göreviniz, onu işe uygulamak ve bundan bir ürün çıkarmaktır.

Artık birçok farklı türde makine ve teknoloji olmasına rağmen, nihai karar her zaman kişiye aittir. Bunu yapmak için, bilgilerin bir şekilde görselleştirilmesi gerekir. Bunun için epeyce araç var.

En açıklayıcı örnek, jeoanalitik raporlardır. Beeline şirketi, farklı şehir ve bölgelerin hükümetleriyle çok çalışıyor. Çoğu zaman, bu kuruluşlar "Belirli bir konumdaki trafik yükü" gibi raporlar ister.

Böyle bir raporun devlet kurumlarına basit ve anlaşılır bir biçimde ulaşması gerektiği açıktır. Onlara devasa ve tamamen anlaşılmaz bir tablo (yani, onu aldığımız biçimdeki bilgiler) sağlarsak, böyle bir raporu satın almaları pek olası değildir - tamamen işe yaramaz olacak, bilgiyi ondan çıkarmayacaklar almak istediklerini söyledi.

Bu nedenle, veri bilimcileri ne kadar iyi olursa olsun ve hangi kalıpları bulurlarsa bulsunlar, kaliteli görselleştirme araçları olmadan bu verilerle çalışamazsınız.

Veri kaynakları

Alınan veri dizisi çok büyük olduğundan bazı gruplara ayrılabilir.

Şirket içi veriler

Toplanan verilerin %80'i bu gruba ait olsa da bu kaynak her zaman kullanılmamaktadır. Genellikle bu, kimsenin ihtiyaç duymadığı, örneğin günlükler gibi görünen verilerdir. Ancak onlara farklı bir açıdan bakarsanız, bazen onlarda beklenmedik desenler bulabilirsiniz.

Paylaşılan yazılım kaynakları

Bu, sosyal ağlardan, internetten ve ücretsiz olarak girilebilen her şeyden gelen verileri içerir. Neden ortak yazılım? Bir yandan, bu veriler herkes tarafından kullanılabilir, ancak büyük bir şirketseniz, on binlerce, yüz veya milyonlarca müşteriden oluşan bir abone tabanı boyutunda elde etmek artık kolay bir iş değildir. Bu nedenle, pazarın sahip olduğu ücretli hizmetler bu verileri sağlamak için.

Ücretli kaynaklar

Buna para karşılığında veri satan şirketler de dahildir. Bunlar telekomünikasyon şirketleri, DMP'ler, İnternet şirketleri, kredi büroları ve toplayıcılar olabilir. Rusya'da telekomünikasyon şirketleri veri satmaz. Birincisi, ekonomik olarak kârsızdır ve ikincisi, kanunen yasaklanmıştır. Bu nedenle, işlemlerinin sonuçlarını, örneğin jeoanalitik raporları satarlar.

açık veri

Devlet, işletmelerin ihtiyaçlarını karşılar ve topladıkları verilerin kullanılmasını sağlar. Bu, büyük ölçüde Batı'da geliştirildi, ancak Rusya da bu konuda zamana ayak uyduruyor. Örneğin, çeşitli kentsel altyapı nesneleri hakkında bilgi yayınlayan Moskova Hükümeti Açık Veri Portalı var.

Moskova sakinleri ve misafirleri için veriler tablo ve kartografik biçimde ve geliştiriciler için makine tarafından okunabilen özel formatlarda sunulur. Proje sınırlı modda çalışırken, ancak gelişirken, bu aynı zamanda iş görevleriniz için kullanabileceğiniz bir veri kaynağı olduğu anlamına gelir.

Araştırma

Daha önce belirtildiği gibi, Büyük Verinin görevi bir model bulmaktır. Çoğu zaman, dünya çapındaki araştırmalar belirli bir modeli bulmak için bir referans noktası olabilir - belirli bir sonuç alabilir ve benzer bir mantığı hedeflerinize uygulamaya çalışabilirsiniz.

Büyük Veri, tüm matematik yasalarının işlemediği bir alandır. Örneğin, "1" + "1", "2" değil, çok daha fazlasıdır, çünkü veri kaynaklarını karıştırırken etki büyük ölçüde artırılabilir.

Ürün örnekleri

Birçok kişi Spotify müzik seçme hizmetine aşinadır. Bunun güzelliği, kullanıcılara bugünkü ruh hallerinin ne olduğunu sormaması, bunun yerine mevcut kaynaklara göre bunu hesaplamasıdır. Şimdi neye ihtiyacınız olduğunu her zaman bilir - caz veya hard rock. Bu, ona hayran sağlayan ve onu diğer hizmetlerden ayıran en önemli farktır.

Bu tür ürünlere genellikle duyu ürünleri denir - müşterilerini hisseden ürünler.

Big Data teknolojisi otomotiv sektöründe de kullanılmaktadır. Örneğin Tesla bunu yapıyor - en son modellerinde otomatik pilot var. Şirket, yolcuyu gitmesi gereken yere götürecek bir araba yaratmaya çalışıyor. Büyük Veri olmadan bu imkansızdır, çünkü bir kişinin yaptığı gibi yalnızca doğrudan aldığımız verileri kullanırsak, o zaman araba gelişemez.

Kendimiz araba kullanırken, fark etmediğimiz birçok faktöre dayalı kararlar vermek için nöronlarımızı kullanırız. Örneğin, neden yeşil ışığı hemen yakmamaya karar verdiğimizi anlamayabiliriz ve sonra kararın doğru olduğu ortaya çıktı - bir araba son hızla yanınızdan geçti ve siz bir kazadan kaçındınız.

Big Data'nın sporda kullanımına da örnek verebilirsiniz. 2002 yılında, Oakland Athletics beyzbol takımının genel menajeri Billy Bean, nasıl sporcu aranacağına dair paradigmayı kırmaya karar verdi - oyuncuları "sayılara göre" seçip eğitti.

Genellikle menajerler oyuncuların başarısına bakarlar, ancak bu durumda durum farklıydı - sonucu elde etmek için menajer, bireysel özelliklere dikkat ederek hangi sporcu kombinasyonlarına ihtiyaç duyduğunu inceledi. Dahası, kendi içlerinde büyük bir potansiyeli temsil etmeyen sporcuları seçti, ancak takımın bir bütün olarak o kadar başarılı olduğu ortaya çıktı ki, arka arkaya yirmi maç kazandılar.

Yönetmen Bennett Miller daha sonra bu hikayeye adanmış bir film yaptı - Brad Pitt'in oynadığı "Her Şeyi Değiştiren Adam".

Büyük Veri teknolojisi finans sektöründe de faydalıdır. Dünyadaki tek bir kişi, birine borç vermeye değip değmeyeceğini bağımsız ve doğru bir şekilde belirleyemez. Karar vermek için puanlama yapılır yani bu kişinin parayı iade edip etmeyeceğini anlayabileceği olasılıksal bir model kurulur. Ayrıca, puanlama tüm aşamalarda uygulanır: örneğin, belirli bir anda bir kişinin ödemeyi bırakacağını hesaplayabilirsiniz.

Büyük veri sadece para kazanmayı değil, aynı zamanda tasarruf etmeyi de sağlar. Özellikle, bu teknoloji, Alman Çalışma Bakanlığı'nın işsizlik yardımlarının maliyetini 10 milyar avro azaltmasına yardımcı oldu, çünkü bilgileri analiz ettikten sonra yardımların% 20'sinin haksız yere ödendiği ortaya çıktı.

Teknolojiler tıpta da kullanılmaktadır (bu özellikle İsrail için geçerlidir). Big Data sayesinde otuz yıllık deneyime sahip bir doktorun yapabileceğinden çok daha doğru analizler yapabilirsiniz.

Herhangi bir doktor teşhis koyarken yalnızca kendi bilgisine güvenir. kendi deneyimi. Makine bunu yaptığında, bu tür binlerce doktorun deneyiminden ve mevcut tüm vaka geçmişlerinden gelir. Hastanın evinin hangi malzemeden yapıldığını, kurbanın hangi bölgede yaşadığını, orada hangi dumanın olduğunu vb. dikkate alır. Yani doktorların hesaba katmadığı birçok faktörü hesaba katar.

Big Data'nın sağlık hizmetlerinde kullanımına bir örnek Toronto Çocuk Hastanesi tarafından hayata geçirilen Artemis Projesi projesidir. Bu, bebeklerle ilgili verileri gerçek zamanlı olarak toplayan ve analiz eden bir bilgi sistemidir. Makine, her çocuğun 1260 sağlık göstergesini her saniye analiz etmenizi sağlar. Bu proje, çocuğun dengesiz durumunu tahmin etmeyi ve çocuklarda hastalıkları önlemeyi amaçlamaktadır.

Rusya'da da büyük veri kullanılmaya başlandı: örneğin, Yandex'in büyük bir veri bölümü var. Şirket, AstraZeneca ve Rus Klinik Onkoloji Derneği (RUSSCO) ile birlikte genetikçiler ve moleküler biyologlar için RAY platformunu başlattı. Proje, kanser teşhisi ve kansere yatkınlığı belirleme yöntemlerini geliştiriyor. Platform Aralık 2016'da başlayacak.

Veri büyümesinin sürekli hızlanması, günümüzün gerçeklerinin ayrılmaz bir parçasıdır. Sosyal ağlar, mobil cihazlar, veriler ölçüm cihazları, iş bilgileri, devasa miktarlarda veri üretebilen kaynak türlerinden yalnızca birkaçıdır.

Şu anda, Büyük Veri (Big data) terimi oldukça yaygın hale geldi. Büyük miktarda veriyi işlemeye yönelik teknolojilerin toplumun en çeşitli yönlerini ne kadar hızlı ve derinden değiştirdiğinin hala herkes farkında değil. Gizlilik, bütünlük, kullanılabilirlik vb. gibi önemli hususların ön planda olması gereken bilgi güvenliği alanı da dahil olmak üzere çeşitli alanlarda yeni sorunlara ve zorluklara yol açan değişiklikler yaşanıyor.

Ne yazık ki, birçok modern şirketler Bunun için uygun altyapıyı oluşturmadan Büyük Veri teknolojisine başvurmak, topladıkları ve sakladıkları büyük miktardaki verilerin güvenilir bir şekilde saklanmasını sağlayabilir. Öte yandan, bu ve diğer birçok sorunu çözmek için tasarlanan blockchain teknolojisi şu anda hızla gelişiyor.

Büyük Veri Nedir?

Aslında, terimin tanımı yüzeyde yatıyor: "büyük veri", çok büyük miktarda verinin yönetimi ve bunların analizi anlamına geliyor. Daha geniş bakarsanız, büyük hacimleri nedeniyle klasik yöntemlerle işlenemeyen bilgilerdir.

Büyük Verinin kendisi (büyük veri) terimi nispeten yakın zamanda ortaya çıktı. Google Trends hizmetine göre, terimin popülaritesindeki aktif büyüme 2011'in sonuna denk geliyor:

2010 yılında doğrudan büyük verinin işlenmesi ile ilgili ilk ürün ve çözümler ortaya çıkmaya başladı. 2011 yılına gelindiğinde, IBM, Oracle, Microsoft ve Hewlett-Packard dahil olmak üzere en büyük BT şirketlerinin çoğu, iş stratejilerinde Büyük Veri terimini aktif olarak kullanıyor. Yavaş yavaş, bilgi teknolojisi pazar analistleri bu kavram üzerinde aktif araştırmalara başlar.

Şu anda, bu terim önemli bir popülerlik kazanmıştır ve çeşitli alanlarda aktif olarak kullanılmaktadır. Bununla birlikte, Büyük Verinin temelde yeni bir fenomen olduğu kesin olarak söylenemez - aksine, büyük veri kaynakları uzun yıllardır var olmuştur. Pazarlamada müşteri satın almaları, kredi geçmişleri, yaşam tarzları ve daha fazlasının veritabanları olabilirler.Yıllar boyunca analistler bu verileri şirketlerin gelecekteki müşteri ihtiyaçlarını tahmin etmelerine, riskleri değerlendirmelerine, tüketici tercihlerini şekillendirmelerine ve daha fazlasına yardımcı olmak için kullandılar.

Şu anda durum iki açıdan değişti:

— analiz ve karşılaştırma için daha gelişmiş araçlar ve yöntemler vardır farklı setler veri;
— Analiz araçları, yaygın dijitalleşmenin yanı sıra yeni veri toplama ve ölçme yöntemleriyle desteklenen birçok yeni veri kaynağıyla tamamlandı.

Araştırmacılar, Büyük Veri teknolojilerinin en aktif olarak üretim, sağlık, ticaret, kamu yönetimi ve diğer çok çeşitli alanlarda ve endüstrilerde kullanılacağını tahmin ediyor.

Büyük Veri herhangi bir tanımlı dizi veriler, ancak bunları işlemek için bir dizi yöntem. Büyük veri için tanımlayıcı özellik, yalnızca hacimleri değil, aynı zamanda veri işleme ve analizinin emek yoğun süreçlerini karakterize eden diğer kategorilerdir.

İşleme için ilk veriler, örneğin şunlar olabilir:

— İnternet kullanıcı davranış günlükleri;
- Nesnelerin interneti;
- sosyal medya;
— meteorolojik veriler;
— en büyük kütüphanelerin sayısallaştırılmış kitapları;
– araçlardan gelen GPS sinyalleri;
- banka müşterilerinin işlemleri hakkında bilgi;
- mobil ağların abonelerinin konumuna ilişkin veriler;
— büyük perakende zincirlerindeki satın alımlar hakkında bilgi vb.

Zamanla, veri miktarı ve kaynaklarının sayısı sürekli artıyor ve bu arka plana karşı yeni bilgi işleme yöntemleri ortaya çıkıyor ve mevcut bilgi işleme yöntemleri geliştiriliyor.

Büyük Verinin temel ilkeleri:

- Yatay ölçeklenebilirlik - veri dizileri çok büyük olabilir ve bu, büyük veri işleme sisteminin hacimleri arttıkça dinamik olarak genişlemesi gerektiği anlamına gelir.
- Hata toleransı - bazı ekipman parçaları arızalansa bile tüm sistem çalışır durumda kalmalıdır.
— Veri konumu. Büyük dağıtılmış sistemlerde, veriler genellikle önemli sayıda makineye dağıtılır. Ancak, mümkün olduğunda ve kaynakları korumak için, veriler genellikle depolandığı sunucuda işlenir.

Üç ilkenin de kararlı çalışması ve buna bağlı olarak büyük verilerin depolanması ve işlenmesinde yüksek verimlilik için, örneğin blok zinciri gibi yeni çığır açan teknolojilere ihtiyaç vardır.

Büyük veri ne için?

Büyük Verinin kapsamı sürekli genişlemektedir:

— Tıpta büyük veri kullanılabilir. Bu nedenle, bir hasta için yalnızca tıbbi geçmişin analizinin verilerine dayanarak değil, aynı zamanda diğer doktorların deneyimlerini, hastanın ikamet ettiği bölgenin ekolojik durumu hakkındaki bilgileri de dikkate alarak teşhis koymak mümkündür. ve diğer birçok faktör.
— İnsansız araçların hareketini organize etmek için Büyük Veri teknolojileri kullanılabilir.
— Büyük miktarda veriyi işleyerek, fotoğraf ve video malzemelerindeki yüzleri tanımak mümkündür.
— Büyük Veri teknolojileri perakendeciler tarafından kullanılabilir – ticaret şirketleri, etkinliklerini etkin bir şekilde özelleştirmek için sosyal ağlardan gelen veri dizilerini aktif olarak kullanabilir. reklam kampanyaları, azami olarak belirli bir tüketici segmentine odaklanabilen.
— Bu teknoloji, toplumdaki siyasi tercihlerin analizi de dahil olmak üzere seçim kampanyalarının düzenlenmesinde aktif olarak kullanılmaktadır.
— Büyük Veri teknolojilerinin kullanımı, mali sonuçlarda düşüşe yol açabilecek olası bilgi kayıplarının veya çarpıklıklarının zamanında tespit edilmesini sağlayan tutarsızlıkları tespit etmeye yönelik araçları ve derinlemesine veri analizini içeren gelir güvencesi (RA) sınıfı çözümlerle ilgilidir. .
— Telekomünikasyon sağlayıcıları, coğrafi konum verileri dahil olmak üzere büyük verileri toplayabilir; Buna karşılık, bu bilgiler, perakendeciler ve bankaların yanı sıra hedefli ve yerel reklamları görüntülemek için kullanabilecek olan reklam ajansları için ticari açıdan ilgi çekici olabilir.
“Büyük veri, hedeflenen güçlü bir insan akışının varlığına ilişkin verilere dayanarak belirli bir yerde bir perakende satış noktası açıp açmayacağınıza karar vermede önemli bir rol oynayabilir.

Bu nedenle, Büyük Veri teknolojisinin en bariz pratik uygulaması pazarlama alanında yatmaktadır. İnternetin gelişmesi ve her türlü iletişim cihazının yaygınlaşması sayesinde davranışsal veriler (arama sayısı, alışveriş alışkanlıkları, satın almalar gibi) gerçek zamanlı olarak ulaşılabilir hale gelmektedir.

Büyük veri teknolojileri finans, sosyolojik araştırmalar ve daha birçok alanda da etkin bir şekilde kullanılabilmektedir. Uzmanlar, büyük veriyi kullanmak için tüm bu fırsatların sadece görünen kısım bir buzdağı, çünkü bu teknolojiler istihbarat ve karşı istihbaratta, askeri işlerde ve ayrıca yaygın olarak bilgi savaşı olarak adlandırılan her şeyde çok daha büyük hacimlerde kullanılıyor.

Genel anlamda, Büyük Veri ile çalışmanın sırası, veri toplamaktan, alınan bilgileri raporlar ve gösterge panoları kullanarak yapılandırmaktan ve ardından eylem önerilerini formüle etmekten oluşur.

Büyük Veri teknolojilerinin pazarlamada kullanım olanaklarını kısaca ele alalım. Bildiğiniz gibi, bir pazarlamacı için bilgi, tahmin ve strateji oluşturmanın ana aracıdır. Büyük veri analizi, tüketicilerin hedef kitlesini, ilgi alanlarını, taleplerini ve faaliyetlerini belirlemek için uzun süredir başarıyla kullanılmaktadır. Özellikle büyük veri analizi, yalnızca bir ürün veya hizmetle ilgilenen tüketicilere reklam gösterilmesini (RTB açık artırma modeline göre - Gerçek Zamanlı Teklif Verme) mümkün kılar.

Büyük Verinin pazarlamada kullanılması, işadamlarının şunları yapmasına olanak tanır:

- tüketicilerinizi daha iyi tanıyın, benzer bir kitleyi internette çekin;
- müşteri memnuniyetinin derecesini değerlendirmek;
— önerilen hizmetin beklentileri ve ihtiyaçları karşılayıp karşılamadığını anlamak;
- müşteri güvenini artırmanın yeni yollarını bulmak ve uygulamak;
— talep gören projeler oluşturun, vb.

Örneğin, Google.trends hizmeti, bir pazarlamacıya belirli bir ürün için sezonluk talep etkinliği, dalgalanmalar ve tıklamaların coğrafyası hakkında bir tahmin verebilir. Bu bilgileri sitenizdeki ilgili eklenti tarafından toplanan istatistiklerle karşılaştırırsanız, ay, bölge ve diğer parametreleri belirterek reklam bütçesinin dağılımı için bir plan yapabilirsiniz.

Birçok araştırmacıya göre, Trump kampanyasının başarısı Büyük Verinin segmentasyonu ve kullanımında yatıyor. Geleceğin ABD başkanının ekibi, seyirciyi doğru bir şekilde bölmeyi, isteklerini anlamayı ve seçmenlerin görmek ve duymak istediği mesajı tam olarak göstermeyi başardı. Bu nedenle, Data-Centric Alliance'tan Irina Belysheva'ya göre, Trump'ın zaferi büyük ölçüde, Büyük Veriye, psikolojik-davranışsal analize ve kişiselleştirilmiş reklamcılığa dayanan standart dışı bir İnternet pazarlama yaklaşımından kaynaklanıyordu.

Trump'ın siyasi teknoloji uzmanları ve pazarlamacıları, tüm ABD seçmenlerinin verilerini derinlemesine analiz etmelerine ve bunları sistematik hale getirmelerine olanak tanıyan, yalnızca coğrafi özelliklere göre değil, aynı zamanda seçmenlerin niyetlerine, çıkarlarına göre de ultra hassas hedefleme yapmalarını sağlayan, özel olarak geliştirilmiş bir matematiksel model kullandılar. Psikotip, davranışsal özellikler vb. Sonra Bu amaçla pazarlamacılar, hemen hemen her birey için kendi mesajını kullanarak, her bir vatandaş grubuyla ihtiyaçlarına, ruh hallerine, siyasi görüşlerine, psikolojik özelliklerine ve hatta ten rengine göre kişiselleştirilmiş iletişim organize ettiler. seçmen.

Hillary Clinton'a gelince, kampanyasında seçmenleri yalnızca resmi olarak homojen gruplara (erkekler, kadınlar, Afrikalı Amerikalılar, Hispanikler, fakirler, zenginler vb.) bölerek sosyolojik verilere ve standart pazarlamaya dayalı "zaman içinde test edilmiş" yöntemler kullandı.

Sonuç olarak kazanan, yeni teknolojilerin ve analiz yöntemlerinin potansiyelini takdir eden oldu. Özellikle, Hillary Clinton'ın kampanya harcaması rakibinin iki katıydı:

Veri: Pew Araştırması

Büyük Veri kullanmanın temel sorunları

Yüksek maliyetine ek olarak, Büyük Veri'nin çeşitli alanlarda tanıtılmasını engelleyen ana faktörlerden biri, işlenecek verilerin seçimi sorunudur: yani hangi verilerin çıkarılması, saklanması ve analiz edilmesi gerektiğini ve hangilerinin dikkate alınmamalıdır.

Büyük Veri'nin bir başka sorunu da etiktir. Başka bir deyişle, doğal bir soru ortaya çıkıyor: Bu tür bir veri toplama (özellikle kullanıcının bilgisi olmadan), gizlilik sınırlarının ihlali olarak kabul edilebilir mi?

Google ve Yandex arama motorlarında depolanan bilgilerin, BT devlerinin hizmetlerini sürekli iyileştirmelerine, kullanıcı dostu hale getirmelerine ve yenilerini oluşturmalarına olanak sağladığı bir sır değil. etkileşimli uygulamalar. Bunu yapmak için arama motorları, İnternet'teki kullanıcı etkinliği, IP adresleri, coğrafi konum verileri, ilgi alanları ve çevrimiçi satın alımlar, kişisel veriler, e-posta mesajları vb. Aynı zamanda, bunun için genellikle kullanıcılardan onay istenmez ve kendileri hakkında hangi bilgileri verecekleri konusunda bir seçim hakkı verilmez. Yani, varsayılan olarak, her şey daha sonra sitelerin veri sunucularında depolanacak olan Büyük Veri'de toplanır.

Buradan, verilerin saklanması ve kullanımına ilişkin bir sonraki önemli konu gelir. Örneğin, tüketicilerin verilerini otomatik olarak paylaştığı bir analitik platformu güvenli midir? Buna ek olarak, birçok işletme temsilcisi, büyük miktarda veriyi etkin bir şekilde çalıştırabilen ve onların yardımıyla belirli iş sorunlarını çözebilen yüksek nitelikli analist ve pazarlamacı eksikliğine dikkat çekiyor.

Büyük Verinin uygulanmasındaki tüm zorluklara rağmen, işletme bu alandaki yatırımları artırmayı amaçlıyor. Bir Gartner araştırmasına göre, Büyük Veriye yatırım yapan sektörlerin liderleri medya, perakende, telekom, bankacılık ve hizmet şirketleridir.

Blockchain teknolojileri ve Büyük Veri arasındaki etkileşim beklentileri

Büyük Veri ile entegrasyonun sinerjik bir etkisi vardır ve işletmeler için aşağıdakiler de dahil olmak üzere çok çeşitli yeni fırsatlar açar:

— belirli tedarikçiler, ürünler ve ürün bileşenleri için ayrıntılı analitik profiller oluşturabileceğiniz tüketici tercihleri ​​hakkında ayrıntılı bilgilere erişim elde edin;
- işlemlere ilişkin ayrıntılı verileri ve çeşitli kullanıcı kategorileri tarafından belirli mal gruplarının tüketimine ilişkin istatistikleri entegre edin;
- tedarik ve tüketim zincirleri hakkında ayrıntılı analitik veriler elde edin, nakliye sırasında ürün kayıplarını kontrol edin (örneğin, belirli türdeki malların çekmesi ve buharlaşmasından kaynaklanan ağırlık kaybı);
– sahte ürünlere karşı önlem alın, kara para aklama ve dolandırıcılıkla mücadelenin etkinliğini artırın, vb.

Malların kullanımı ve tüketimine ilişkin ayrıntılı verilere erişim, önemli iş süreçlerini optimize etme, yasal riskleri azaltma ve para kazanma ve mevcut tüketici tercihlerini en iyi şekilde karşılayacak ürünler yaratma için yeni fırsatlar yaratma konusunda Büyük Veri teknolojisinin potansiyelini büyük ölçüde ortaya çıkaracaktır.

Bildiğiniz gibi, en büyük finans kurumlarının temsilcileri, blok zinciri teknolojisine, vb. dakika” .

Büyük Veri teknolojisini kullanarak blok zincirinden analiz potansiyeli çok büyük. Dağıtılmış kayıt teknolojisi, bilgilerin bütünlüğünün yanı sıra tüm işlem geçmişinin güvenilir ve şeffaf bir şekilde saklanmasını sağlar. Büyük Veri ise etkili analiz, tahmin, ekonomik modelleme için yeni araçlar sağlar ve buna bağlı olarak daha bilinçli yönetim kararları almak için yeni fırsatlar açar.

Blockchain ve Büyük Veri ikilisi, sağlık hizmetlerinde başarıyla kullanılabilir. Bildiğiniz gibi, hastanın sağlığına ilişkin eksik ve eksik veriler zaman zaman yanlış teşhis ve yanlış reçete edilen tedavi riskini artırır. Tıbbi kurumların müşterilerinin sağlığıyla ilgili kritik veriler mümkün olduğunca güvenli olmalı, değişmezlik özelliklerine sahip olmalı, doğrulanabilir olmalı ve herhangi bir manipülasyona tabi olmamalıdır.

Blok zincirindeki bilgiler, yukarıdaki gereksinimlerin tümünü karşılar ve yeni Büyük Veri teknolojilerini kullanarak derinlemesine analiz için yüksek kaliteli ve güvenilir kaynak veriler olarak hizmet edebilir. Ayrıca, blockchain yardımıyla tıp kurumları, tıbbi bilgiye ihtiyaç duyan sigorta şirketleri, adalet makamları, işverenler, bilimsel kurumlar ve diğer kuruluşlarla güvenilir veri alışverişi yapabilir.

Büyük Veri ve bilgi güvenliği

Geniş anlamda bilgi güvenliği, bilginin ve destekleyici altyapının doğal veya yapay nitelikteki kazara veya kasıtlı olumsuz etkilerden korunmasıdır.

Bilgi güvenliği alanında, Büyük Veri aşağıdaki zorluklarla karşı karşıyadır:

— Veri koruma ve bütünlüklerini sağlama sorunları;
— dış müdahale ve gizli bilgilerin sızması riski;
— gizli bilgilerin uygunsuz şekilde saklanması;
— örneğin birinin kötü niyetli eylemlerinden dolayı bilgi kaybı riski;
— kişisel verilerin üçüncü şahıslar vb. tarafından kötüye kullanılması riski.

Blok zincirinin çözmek için tasarlandığı büyük verinin ana sorunlarından biri bilgi güvenliği alanında yatmaktadır. Tüm temel ilkelerine uyumu sağlayan dağıtık defter teknolojisi, verilerin bütünlüğünü ve güvenilirliğini garanti edebilir ve tek bir arıza noktası olmaması nedeniyle, blok zinciri bilgi sistemlerini kararlı hale getirir. Dağıtılmış defter teknolojisi, verilere duyulan güven sorununun çözülmesine yardımcı olabileceği gibi, evrensel bir veri alışverişi olanağı da sağlayabilir.

Bilgi değerli bir varlıktır, bu da bilgi güvenliğinin ana yönlerinin ön planda olması gerektiği anlamına gelir. Şirketlerin rekabette ayakta kalabilmeleri için çağa ayak uydurmaları gerekiyor ki bu da blockchain teknolojisinin ve Büyük Veri araçlarının içerdiği potansiyel fırsat ve avantajları göz ardı edemeyecekleri anlamına geliyor.

Büyük veri- bu sadece verilerin kendisi değil, aynı zamanda bunların işlenmesi ve kullanılması için teknolojiler, büyük dizilerde gerekli bilgileri bulma yöntemleridir. Büyük veri sorunu, onlarca yıldır çok çeşitli bilgiler biriktiren tüm sistemler için hala açık ve hayati önem taşıyor.

Bu terim ifade ile ilişkilidir. "Hacim, Hız, Çeşitlilik"– büyük verilerle çalışmanın üzerine inşa edildiği ilkeler. doğrudan Bilgi miktarı, işlem hızı Ve bilgi çeşitliliği bir dizide saklanır. Son zamanlarda üçte temel prensipler bir tane daha eklemeye başladı - değer, yani bilginin değeri. Yani, depolama ve işleme maliyetlerini haklı çıkaracak şekilde teorik veya pratik açıdan yararlı ve gerekli olmalıdır.

Sosyal ağlar, tipik bir büyük veri kaynağı örneğidir - her profil veya genel sayfa yapılandırılmamış bir bilgi okyanusundaki küçük bir damlayı temsil eder. Ayrıca, belirli bir profilde saklanan bilgi miktarına bakılmaksızın, kullanıcıların her biriyle etkileşim mümkün olduğunca hızlı olmalıdır.

Büyük veri, insan yaşamının hemen hemen her alanında sürekli olarak birikmektedir. Bu, insan etkileşimleri veya bilgi işlem ile ilgili herhangi bir sektörü içerir. Bunlar sosyal medya, tıp ve bankacılık sektörünün yanı sıra günlük hesaplamaların sayısız sonucunu alan cihaz sistemleridir. Örneğin, astronomik gözlemler, meteorolojik bilgiler ve Dünya sondaj cihazlarından gelen bilgiler.

Gerçek zamanlı olarak çeşitli izleme sistemlerinden gelen bilgiler de belirli bir şirketin sunucularına gönderilir. Televizyon ve radyo yayıncılığı, mobil operatörlerin çağrı tabanları - her bir kişinin onlarla etkileşimi minimumdur, ancak toplamda tüm bu bilgiler büyük veri haline gelir.

Büyük veri teknolojileri, Ar-Ge ve ticaretin ayrılmaz bir parçası haline geldi. Dahası, kamu yönetimi alanını ele geçirmeye başlıyorlar - ve her yerde bilgi depolamak ve işlemek için giderek daha verimli sistemlerin getirilmesi gerekiyor.

“Büyük veri” terimi ilk olarak 2008 yılında Nature editörü Clifford Lynch'in büyük veri teknolojilerinin yardımıyla bilimin geleceğini nasıl ilerletebileceğimize dair bir makale yayınladığında basında yer aldı. 2009 yılına kadar bu terim yalnızca bilimsel analiz açısından değerlendiriliyordu, ancak birkaç makalenin daha yayınlanmasının ardından basın, Büyük Veri kavramını yaygın bir şekilde kullanmaya başladı ve şu anda da kullanmaya devam ediyor.

2010 yılında, büyüyen büyük veri sorununu çözmeye yönelik ilk girişimler ortaya çıkmaya başladı. Eylemi, büyük bilgi dizileri kullanılırken riskleri en aza indirmeyi amaçlayan yazılım ürünleri piyasaya sürüldü.

2011 yılına gelindiğinde Microsoft, Oracle, EMC ve IBM gibi büyük şirketler büyük veriyle ilgilenmeye başladılar - Büyük veriyi geliştirme stratejilerinde ilk kullananlar oldular ve oldukça başarılı oldular.

Üniversiteler, 2013 yılında büyük verileri ayrı bir konu olarak incelemeye başladılar - artık sadece veri bilimleri değil, aynı zamanda mühendislik, hesaplama konuları ile birlikte bu alandaki problemlerle ilgileniyor.

Veri analizi ve işlemenin ana yöntemleri aşağıdakileri içerir:

1. Sınıf yöntemleri veya derin analiz (Veri Madenciliği).

Bu yöntemler oldukça fazladır, ancak bir noktada birleşirler: bilgi teknolojisi alanındaki başarılarla birlikte kullanılan matematiksel araçlar.

1. Kitle kaynak kullanımı.

Bu teknik, birkaç kaynaktan aynı anda veri almanıza olanak tanır ve ikincisinin sayısı pratik olarak sınırsızdır.

1. A/B testi.

Tüm veri miktarından, öğelerden birinin değiştirildiği diğer benzer kümelerle sırayla karşılaştırılan bir öğe kontrol kümesi seçilir. Bu tür testlerin yapılması, hangi parametre dalgalanmalarının kontrol popülasyonu üzerinde en büyük etkiye sahip olduğunu belirlemeye yardımcı olur. Büyük Veri hacimleri sayesinde, her biri en güvenilir sonuca yaklaşan çok sayıda yineleme gerçekleştirmek mümkündür.

1. Tahmine dayalı analitik.

Bu alandaki uzmanlar, bu durumda en avantajlı kararı verebilmek için kontrol edilen nesnenin nasıl davranacağını önceden tahmin etmeye ve planlamaya çalışır.

1. Makine öğrenimi (yapay zeka).

Ampirik bir bilgi analizine ve ardından sistemler için kendi kendine öğrenen algoritmaların oluşturulmasına dayanır.

1. Ağ analizi.

Sosyal ağları incelemek için en yaygın yöntem - istatistiksel verileri aldıktan sonra, ızgarada oluşturulan düğümler, yani aralarındaki etkileşimler analiz edilir. bireysel kullanıcılar ve toplulukları.

Büyük verinin yeni ve bilinmeyen bir şey olmaktan çıktığı 2017 yılında önemi azalmakla kalmadı, hatta arttı. Artık uzmanlar, büyük miktarda verinin analizinin yalnızca dev kuruluşlar için değil, aynı zamanda küçük ve orta ölçekli işletmeler için de kullanılabilir hale geleceğine inanıyor. Bu yaklaşımın aşağıdaki bileşenler kullanılarak uygulanması planlanmaktadır:

• Bulut depolama.

Veri depolama ve işleme daha hızlı ve daha ekonomik hale geliyor - kendi veri merkezinizi korumanın maliyetleri ve personelin olası genişlemesi ile karşılaştırıldığında, bir bulut kiralamak çok daha ucuz bir alternatif gibi görünüyor.

• Karanlık Verileri Kullanma.

Sözde "karanlık veriler", doğrudan kullanımında önemli bir rol oynamayan, ancak yeni bir bilgi depolama biçimine geçiş için bir neden görevi görebilen bir şirket hakkında sayısallaştırılmamış tüm bilgilerdir.

• Yapay Zeka ve Derin Öğrenme.

İnsan beyninin yapısını ve işleyişini taklit eden makine zekası öğrenme teknolojisi, sürekli değişen büyük miktarda bilgiyi işlemek için en uygun olanıdır. Bu durumda makine, bir kişinin yapması gereken her şeyi yapacaktır, ancak hata olasılığı büyük ölçüde azalır.

• blok zinciri.

Bu teknoloji, uluslararası olanlar da dahil olmak üzere çok sayıda İnternet işlemini hızlandırmanıza ve basitleştirmenize olanak tanır. Blockchain'in bir diğer avantajı da işlem maliyetlerini düşürmesidir.

• Self servis ve fiyat indirimi.

2017 yılında, küçük ve orta ölçekli işletmelerin temsilcilerinin verilerini bağımsız olarak değerlendirebilecekleri ve sistemleştirebilecekleri ücretsiz platformlar olan "self servis platformlarının" tanıtılması planlanmaktadır.

Tüm pazarlama stratejileri, bir şekilde bilgilerin manipüle edilmesine ve mevcut verilerin analizine dayanmaktadır. Bu nedenle, büyük verilerin kullanılması, şirketin daha da geliştirilmesini tahmin edebilir ve ayarlamayı mümkün kılabilir.

Örneğin, büyük verilere dayalı olarak oluşturulan bir RTB açık artırması, reklamları daha verimli kullanmanıza olanak tanır - belirli bir ürün yalnızca onu satın almakla ilgilenen kullanıcı grubuna gösterilir.

Pazarlama ve iş dünyasında büyük veri teknolojilerini kullanmanın faydası nedir?

1. Onların yardımıyla, alıcılar arasında popüler olması muhtemel olan yeni projeleri çok daha hızlı oluşturabilirsiniz.
2. Müşteri gereksinimlerini mevcut veya öngörülen bir hizmetle ilişkilendirmeye ve böylece onları ayarlamaya yardımcı olurlar.
3. Büyük veri yöntemleri, tüm kullanıcıların ve her birinin ayrı ayrı mevcut memnuniyet derecesini değerlendirmeyi mümkün kılar.
4. Büyük veri işleme yöntemleri ile müşteri bağlılığının artırılması sağlanmaktadır.
5. Büyük miktarda veriyi kontrol etme yeteneği nedeniyle, hedef kitleyi internette çekmek daha kolay hale geliyor.

Örneğin, belirli bir ürünün olası popülaritesini tahmin etmeye yönelik en popüler hizmetlerden biri Google.trends'tir. Pazarlamacılar ve analistler tarafından yaygın olarak kullanılır ve belirli bir ürünün geçmişte kullanımı hakkında istatistikler almalarına ve gelecek sezon için tahmin yapmalarına olanak tanır. Bu, şirket yöneticilerinin reklam bütçesini daha etkin bir şekilde dağıtmasına, hangi alana para yatırmanın en iyi olduğunu belirlemesine olanak tanır.

Büyük Veri kullanımına ilişkin örnekler

Büyük Veri teknolojilerinin pazara ve modern yaşama aktif olarak girmesi, dünyanın hemen her köşesinde müşterisi olan dünyaca ünlü şirketler tarafından kullanılmaya başlanmasından hemen sonra başlamıştır.

Bunlar Facebook ve Google, IBM gibi sosyal devlerin yanı sıra Master Card, VISA ve Bank of America gibi finansal yapılardır.

Örneğin IBM, nakit işlemlerine büyük veri teknikleri uyguluyor. Onların yardımıyla %15 daha fazla hileli işlem tespit edildi ve bu da korunan fon miktarını %60 artırdı. Sistemin yanlış pozitifleriyle ilgili sorunlar da çözüldü - sayıları yarıdan fazla azaldı.

VISA benzer şekilde, belirli bir işlemi gerçekleştirmeye yönelik hileli girişimleri izleyerek Büyük Veri'yi kullandı. Bu sayede, kaçaktan yılda 2 milyar ABD dolarından fazla tasarruf sağlarlar.

Almanya Çalışma Bakanlığı, işsizlik maaşı dağıtma çalışmalarında büyük veri sistemini hayata geçirerek maliyetleri 10 milyar avro düşürmeyi başardı. Aynı zamanda vatandaşların beşte birinin bu yardımları gerekçesiz olarak aldığı ortaya çıktı.

Büyük Veri, oyun endüstrisini de atlamadı. Bu nedenle, World of Tanks geliştiricileri, tüm oyuncular hakkında bir bilgi çalışması yürüttüler ve mevcut aktivite göstergelerini karşılaştırdılar. Bu, gelecekteki olası oyuncu kaybını tahmin etmeye yardımcı oldu - yapılan varsayımlara dayanarak, kuruluşun temsilcileri kullanıcılarla daha etkili bir şekilde etkileşim kurabildi.

Büyük veriyi kullanan önemli kuruluşlar arasında HSBC, Nasdaq, Coca-Cola, Starbucks ve AT&T de bulunmaktadır.

Büyük veri ile ilgili en büyük sorun, onu işlemenin maliyetidir. Bu, hem pahalı ekipmanı hem de büyük miktarda bilgiye hizmet verebilecek kalifiye uzmanların ücret maliyetlerini içerebilir. Açıkçası, veri miktarı arttıkça minimum performansını kaybetmemesi için ekipmanın düzenli olarak güncellenmesi gerekecektir.

İkinci sorun, yine işlenmesi gereken büyük miktarda bilgi ile ilgilidir. Örneğin, bir çalışma 2-3 değil, çok sayıda sonuç veriyorsa, nesnel kalmak ve genel veri akışından yalnızca bir olgunun durumu üzerinde gerçek bir etkisi olacak olanları seçmek çok zordur.

Büyük Veri gizliliği sorunu. Çoğu müşteri hizmetleri hizmetinin çevrimiçi veri kullanımına geçmesiyle, siber suçlular için bir sonraki hedef haline gelmek çok kolay. Herhangi bir çevrimiçi işlem yapmadan kişisel bilgileri basit bir şekilde depolamak bile bulut depolama müşterileri için istenmeyen sonuçlarla dolu olabilir.

Bilgi kaybı sorunu. Önlemler, basit bir tek seferlik veri yedeklemesi ile sınırlı olmayıp, en az 2-3 kez yapmayı gerektirir. yedekler depolamak. Ancak hacim arttıkça fazlalığın karmaşıklığı da artıyor ve BT uzmanları bu soruna en iyi çözümü bulmaya çalışıyor.

Rusya ve dünyadaki büyük veri teknolojileri pazarı

2014 yılı itibariyle büyük veri pazarının %40'ını hizmetlerden oluşturmaktadır. Bu göstergenin biraz altında (%38), bilgisayar ekipmanında Büyük Veri kullanımından elde edilen gelirdir. Kalan %22 yazılımdadır.

İstatistiklere göre, Büyük Veri sorunlarını çözmek için küresel segmentte en kullanışlı ürünler, Bellek İçi ve NoSQL analitik platformlarıdır. Pazarın sırasıyla yüzde 15 ve 12'si Log-file analitik yazılımı ve Columnar platformları tarafından işgal ediliyor. Ancak Hadoop / MapReduce pratikte büyük veri sorunlarıyla başa çıkmakta çok etkili değil.

Büyük veri teknolojilerinin uygulanmasının sonuçları:

• müşteri hizmetlerinin kalitesinin iyileştirilmesi;
• tedarik zincirinde entegrasyonun optimizasyonu;
• organizasyon planlama optimizasyonu;
• müşterilerle etkileşimin hızlandırılması;
• müşteri isteklerini işleme verimliliğinin arttırılması;
• azaltılmış hizmet maliyetleri;
• müşteri isteklerinin işlenmesinin optimizasyonu.

En İyi Büyük Veri Kitapları

Büyük veri işleme teknolojilerinin ilk çalışması için uygundur - sizi kolayca ve net bir şekilde güncel hale getirir. Bilgi bolluğunun günlük yaşamı ve tüm alanlarını nasıl etkilediğini açıkça ortaya koyuyor: bilim, ticaret, tıp vb.

Pang-Ning Tan, Michael Steinbach ve Vipin Kumar'dan "Veri Madenciliğine Giriş"

Ayrıca, büyük verilerle "basitten karmaşığa" bir şekilde nasıl çalışılacağını açıklayan, Büyük Veri konusunda yeni başlayanlar için faydalı bir kitap. Birçok önemli noktayı vurgular İlk aşama anlar: işleme için hazırlık, görselleştirme, OLAP ve ayrıca bazı veri analizi ve sınıflandırma yöntemleri.

Python programlama dilini kullanarak büyük verileri kullanma ve bunlarla çalışma konusunda pratik bir kılavuz. Hem mühendislik öğrencileri hem de bilgilerini derinleştirmek isteyen profesyoneller için uygundur.

"Aptallar için Hadoop", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop, eylemlerin aynı anda binlerce düğümde yürütülmesini organize eden dağıtılmış programlarla çalışmak üzere özel olarak tasarlanmış bir projedir. Onunla tanışmak, büyük verilerin pratik uygulamasını daha ayrıntılı olarak anlamaya yardımcı olacaktır.