داده های بزرگ چیست: ویژگی ها، طبقه بندی، مثال ها. فناوری کلان داده (تحلیل کلان داده)

طبق تحقیقات و روندها

داده های بزرگ، "داده های بزرگ" چند سالی است که در مطبوعات IT و بازاریابی به بحث شهر تبدیل شده است. و واضح است: فناوری های دیجیتال در زندگی یک فرد مدرن نفوذ کرده است، "همه چیز نوشته شده است". حجم داده ها در مورد جنبه های مختلف زندگی در حال افزایش است و در عین حال امکان ذخیره سازی اطلاعات نیز رو به افزایش است.

فناوری های جهانی برای ذخیره سازی اطلاعات

منبع: هیلبرت و لوپز، «ظرفیت تکنولوژیکی جهان برای ذخیره، برقراری ارتباط و محاسبه اطلاعات»، Science، 2011 جهانی.

اکثر کارشناسان موافق هستند که تسریع رشد داده ها یک واقعیت عینی است. شبکه‌های اجتماعی، دستگاه‌های تلفن همراه، داده‌های دستگاه‌های اندازه‌گیری، اطلاعات تجاری تنها چند نوع منبع هستند که می‌توانند حجم عظیمی از اطلاعات را تولید کنند. طبق تحقیقات IDCجهان دیجیتال، منتشر شده در سال 2012، 8 سال آینده میزان داده ها در جهان به 40 Zb (زتابایت) می رسد که معادل 5200 گیگابایت برای هر ساکن کره زمین است.

رشد اطلاعات دیجیتال جمع آوری شده در ایالات متحده آمریکا

منبع: IDC

بخش قابل توجهی از اطلاعات توسط افراد ایجاد نمی‌شود، بلکه توسط روبات‌هایی که هم با یکدیگر و هم با سایر شبکه‌های داده تعامل دارند، مانند حسگرها و دستگاه‌های هوشمند، ایجاد می‌شوند. به گفته محققان با این سرعت رشد، میزان داده ها در جهان هر سال دو برابر می شود. با گسترش و ایجاد مراکز داده جدید، تعداد سرورهای مجازی و فیزیکی در جهان ده برابر خواهد شد. در این راستا نیاز روزافزونی به استفاده موثر و کسب درآمد از این داده ها احساس می شود. از آنجایی که استفاده از داده های بزرگ در کسب و کار نیاز به سرمایه گذاری قابل توجهی دارد، درک واضح وضعیت ضروری است. و در اصل ساده است: شما می توانید با کاهش هزینه ها و/یا افزایش فروش، کارایی کسب و کار را افزایش دهید.

Big Data برای چیست؟

پارادایم کلان داده سه نوع اصلی کار را تعریف می کند.

• ذخیره و مدیریت صدها ترابایت یا پتابایت داده که پایگاه داده های رابطه ای معمولی نمی توانند به طور موثر از آنها استفاده کنند.
• سازماندهی اطلاعات بدون ساختار متشکل از متون، تصاویر، ویدئوها و انواع دیگر داده ها.
• تجزیه و تحلیل داده های بزرگ، که این سوال را مطرح می کند که چگونه با اطلاعات بدون ساختار، تولید گزارش های تحلیلی و پیاده سازی مدل های پیش بینی کار کنیم.

بازار پروژه داده های بزرگ با بازار هوش تجاری (BA) تلاقی می کند که حجم آن در جهان به گفته کارشناسان در سال 2012 حدود 100 میلیارد دلار بوده است. این شامل اجزای فناوری شبکه، سرورها، نرم افزارها و خدمات فنی است.

همچنین، استفاده از فناوری‌های کلان داده برای راه‌حل‌های کلاس تضمین درآمد (RA) که برای خودکارسازی فعالیت‌های شرکت‌ها طراحی شده‌اند، مرتبط است. سیستم های مدرنضمانت‌های درآمد شامل ابزارهایی برای تشخیص ناسازگاری‌ها و تجزیه و تحلیل عمیق داده‌ها است که امکان تشخیص به موقع زیان‌های احتمالی یا تحریف اطلاعات را فراهم می‌کند که می‌تواند منجر به کاهش نتایج مالی شود. در مقابل این پس‌زمینه، شرکت‌های روسی تقاضای فناوری‌های Big Data را تأیید می‌کنند بازار داخلی، توجه داشته باشید که عواملی که توسعه داده های بزرگ در روسیه را تحریک می کند رشد داده ها، تسریع در تصمیم گیری های مدیریتی و بهبود کیفیت آنها است.

چه چیزی مانع از کار با داده های بزرگ می شود

امروزه تنها 0.5 درصد از داده های دیجیتال انباشته شده تجزیه و تحلیل می شود، علیرغم این واقعیت که به طور عینی وظایفی در سطح صنعت وجود دارد که می توان با استفاده از راه حل های تحلیلی کلاس Big Data حل کرد. بازارهای توسعه یافته فناوری اطلاعات در حال حاضر نتایجی دارند که می توانند برای ارزیابی انتظارات مرتبط با انباشت و پردازش کلان داده ها مورد استفاده قرار گیرند.

یکی از اصلی ترین عواملی که اجرای پروژه های Big Data را کند می کند، علاوه بر هزینه بالا، می باشد مشکل انتخاب داده هایی که باید پردازش شوند: یعنی تعریف اینکه چه داده هایی باید استخراج، ذخیره و تجزیه و تحلیل شوند و چه داده هایی نباید مورد توجه قرار گیرند.

بسیاری از نمایندگان کسب و کار خاطرنشان می کنند که مشکلات در اجرای پروژه های کلان داده با کمبود متخصص - بازاریابان و تحلیلگران همراه است. نرخ بازگشت سرمایه در Big Data به طور مستقیم به کیفیت کار کارکنان درگیر در تجزیه و تحلیل عمیق و پیش بینی کننده بستگی دارد. پتانسیل عظیم داده هایی که در حال حاضر در یک سازمان وجود دارد، اغلب به دلیل فرآیندهای تجاری قدیمی یا مقررات داخلی، نمی توانند به طور موثر توسط خود بازاریابان استفاده شوند. بنابراین، پروژه‌های کلان داده اغلب توسط کسب‌وکارها نه تنها در اجرا، بلکه در ارزیابی نتایج نیز دشوار تلقی می‌شوند: ارزش داده‌های جمع‌آوری‌شده. ویژگی های کار با داده ها به بازاریابان و تحلیلگران نیاز دارد که توجه خود را از فناوری و گزارش دهی به حل مشکلات خاص تجاری معطوف کنند.

با توجه به حجم زیاد و سرعت بالای جریان داده، فرآیند جمع آوری داده ها شامل رویه های ETL بلادرنگ است. برای مرجع:ETL - از جانبانگلیسیاستخراج کردن, تبدیل, بار- به معنای واقعی کلمه "استخراج، تبدیل، بارگذاری") - یکی از فرآیندهای اصلی در مدیریت انبارهای داده که شامل: استخراج داده از منابع خارجی، تبدیل آنها و نظافت برای رفع نیازها ETL نه تنها باید به عنوان فرآیندی برای انتقال داده ها از یک برنامه به برنامه دیگر، بلکه به عنوان ابزاری برای آماده سازی داده ها برای تجزیه و تحلیل در نظر گرفته شود.

و سپس مسائل مربوط به اطمینان از امنیت داده های دریافتی از منابع خارجی باید راه حل هایی داشته باشد که با حجم اطلاعات جمع آوری شده مطابقت داشته باشد. از آنجایی که روش های تجزیه و تحلیل کلان داده تا کنون تنها پس از رشد حجم داده ها در حال توسعه هستند، توانایی پلتفرم های تحلیلی در استفاده از روش های جدید تهیه و تجمیع داده ها نقش مهمی ایفا می کند. این نشان می دهد که برای مثال، داده های مربوط به خریداران بالقوه یا یک انبار داده عظیم با سابقه کلیک در سایت های فروشگاه آنلاین می تواند برای حل مشکلات مختلف جالب باشد.

سختی ها متوقف نمی شوند

علیرغم تمام مشکلاتی که در پیاده سازی Big Data وجود دارد، این کسب و کار قصد دارد سرمایه گذاری در این زمینه را افزایش دهد. بر اساس داده‌های گارتنر، در سال 2013، 64 درصد از بزرگترین شرکت‌های جهان قبلاً روی استقرار فناوری‌های Big Data برای تجارت خود سرمایه‌گذاری کرده‌اند یا برنامه‌هایی برای سرمایه‌گذاری دارند، در حالی که در سال 2012، 58 درصد از این شرکت‌ها وجود داشت. طبق یک مطالعه گارتنر، رهبران صنایع سرمایه‌گذاری بر روی داده‌های بزرگ، شرکت‌های رسانه‌ای، مخابرات، بخش بانکی و شرکت‌های خدماتی هستند. نتایج موفقیت‌آمیز اجرای Big Data در حال حاضر توسط بسیاری از بازیگران اصلی صنعت خرده‌فروشی از نظر استفاده از داده‌های به‌دست‌آمده با استفاده از ابزارهای RFID، لجستیک و سیستم‌های جابجایی (از انگلیسی) به دست آمده است. دوباره پر کردن- انباشت، دوباره پر کردن - تحقیق و توسعه)، و همچنین از برنامه های وفاداری. تجربه موفق خرده‌فروشی سایر بخش‌های بازار را تحریک می‌کند تا راه‌های مؤثر جدیدی برای کسب درآمد از کلان داده‌ها پیدا کنند تا تجزیه و تحلیل خود را به منبعی تبدیل کنند که برای توسعه کسب‌وکار کار می‌کند. به گفته کارشناسان، در بازه زمانی تا سال 2020، سرمایه گذاری در مدیریت و ذخیره سازی برای هر گیگابایت داده از 2 دلار به 0.2 دلار کاهش می یابد، اما برای مطالعه و تجزیه و تحلیل ویژگی های فناوری Big Data تنها 40 رشد خواهد داشت. ٪.

هزینه های ارائه شده در پروژه های مختلف سرمایه گذاری در حوزه داده های بزرگ ماهیت متفاوتی دارند. اقلام هزینه بستگی به انواع محصولاتی دارد که بر اساس تصمیمات خاصی انتخاب می شوند. بزرگترین قسمتبه گفته کارشناسان، هزینه‌های پروژه‌های سرمایه‌گذاری بر محصولات مربوط به جمع‌آوری، ساختار داده‌ها، تمیز کردن و مدیریت اطلاعات است.

چگونه انجام می شود

ترکیب های زیادی از نرم افزار و سخت افزار وجود دارد که به شما امکان ایجاد می دهد راه حل های موثرکلان داده برای رشته های مختلف کسب و کار: از رسانه های اجتماعی و برنامه های کاربردی تلفن همراه گرفته تا داده کاوی و تجسم کسب و کار. مزیت مهم Big Data سازگاری ابزارهای جدید با پایگاه های داده است که به طور گسترده در تجارت مورد استفاده قرار می گیرند، که به ویژه در هنگام کار با پروژه های بین رشته ای، مانند سازماندهی فروش چند کانالی و پشتیبانی مشتری، اهمیت زیادی دارد.

توالی کار با داده های بزرگ شامل جمع آوری داده ها، ساختاردهی اطلاعات دریافتی با استفاده از گزارش ها و داشبوردها (داشبورد)، ایجاد بینش و زمینه ها و تدوین توصیه هایی برای اقدام است. از آنجایی که کار با Big Data مستلزم هزینه های بالایی برای جمع آوری داده ها است که نتیجه پردازش آن از قبل مشخص نیست، وظیفه اصلی این است که به وضوح درک کنید که داده ها برای چه چیزی هستند و نه اینکه چه مقدار از آن در دسترس است. در این حالت، جمع آوری داده ها به فرآیندی برای به دست آوردن اطلاعات تبدیل می شود که برای حل مسائل خاص بسیار ضروری است.

به عنوان مثال، ارائه دهندگان مخابرات حجم عظیمی از داده ها، از جمله موقعیت جغرافیایی را که به طور مداوم به روز می شود، جمع آوری می کنند. این اطلاعات ممکن است برای آژانس های تبلیغاتی مورد توجه تجاری قرار گیرد، که ممکن است از آن برای ارائه تبلیغات هدفمند و محلی و همچنین خرده فروشان و بانک ها استفاده کنند. چنین داده‌هایی می‌توانند نقش مهمی در تصمیم‌گیری برای باز کردن یک فروشگاه خرده‌فروشی در یک مکان خاص بر اساس داده‌های حضور یک جریان هدفمند قدرتمند از مردم ایفا کنند. نمونه ای از اندازه گیری اثربخشی تبلیغات در بیلبوردهای فضای باز در لندن وجود دارد. اکنون پوشش چنین تبلیغاتی تنها با قرار دادن افراد در نزدیکی سازه های تبلیغاتی با دستگاه مخصوصی که رهگذران را شمارش می کند قابل سنجش است. در مقایسه با این نوع سنجش اثربخشی تبلیغات، اپراتور تلفن همراهفرصت های بسیار بیشتر - او دقیقاً مکان مشترکین خود را می داند، ویژگی های جمعیتی، جنسیت، سن، وضعیت تاهل و غیره را می داند.

بر اساس چنین داده هایی، در آینده، چشم انداز تغییر محتوای پیام تبلیغاتی با استفاده از اولویت ها باز می شود. شخص خاصقدم زدن از کنار یک بیلبورد اگر داده ها نشان می دهد که شخصی که از آنجا می گذرد زیاد سفر می کند، می توان تبلیغی برای استراحتگاه به او نشان داد. برگزارکنندگان یک مسابقه فوتبال فقط می توانند تعداد هواداران را زمانی که به مسابقه می آیند تخمین بزنند. اما اگر آنها می توانستند از اپراتور تلفن همراه اطلاعاتی در مورد مکان حضور بازدیدکنندگان یک ساعت، یک روز یا یک ماه قبل از مسابقه بپرسند، این به برگزارکنندگان این فرصت را می دهد تا مکان هایی را برای تبلیغات مسابقات بعدی برنامه ریزی کنند.

مثال دیگر این است که چگونه بانک ها می توانند از داده های بزرگ برای جلوگیری از کلاهبرداری استفاده کنند. اگر مشتری مفقود شدن کارت را گزارش کند و هنگام خرید با استفاده از آن، بانک به صورت لحظه ای موقعیت تلفن مشتری را در منطقه خریدی که تراکنش انجام می شود مشاهده کند، بانک می تواند اطلاعات درخواست مشتری را بررسی کند. ، آیا او سعی کرده او را فریب دهد. یا برعکس، وقتی مشتری در فروشگاهی خرید می‌کند، بانک می‌بیند که کارتی که تراکنش روی آن انجام می‌شود و تلفن مشتری در یک مکان است، بانک می‌تواند به این نتیجه برسد که صاحبش از کارت استفاده می‌کند. به لطف این مزیت های Big Data، مرزهایی که انبارهای داده سنتی با آن وقف شده اند در حال گسترش است.

برای یک تصمیم موفقیت‌آمیز برای اجرای راه‌حل‌های کلان داده، یک شرکت باید یک مورد سرمایه‌گذاری را محاسبه کند و این به دلیل بسیاری از مؤلفه‌های ناشناخته، مشکلات زیادی را ایجاد می‌کند. پارادوکس تحلیل در چنین مواردی پیش بینی آینده بر اساس گذشته است که اطلاعاتی در مورد آن اغلب وجود ندارد. در این مورد، یک عامل مهم برنامه ریزی واضح اقدامات اولیه شما است:

• در مرحله اول، تعیین یک مشکل تجاری خاص، که برای آن از فناوری های داده های بزرگ استفاده خواهد شد، ضروری است، این کار به هسته اصلی تعیین صحت مفهوم انتخاب شده تبدیل خواهد شد. شما باید روی جمع آوری داده های مربوط به این کار خاص تمرکز کنید و در طول اثبات مفهوم می توانید از ابزارها، فرآیندها و روش های مدیریتی مختلفی استفاده کنید که به شما امکان می دهد در آینده تصمیمات آگاهانه تری بگیرید.
• ثانیاً، بعید است که یک شرکت بدون مهارت و تجربه تجزیه و تحلیل داده بتواند با موفقیت یک پروژه کلان داده را پیاده سازی کند. دانش لازم همیشه از تجربه قبلی در تجزیه و تحلیل می آید که عامل اصلی تأثیرگذار بر کیفیت کار با داده ها است. فرهنگ استفاده از داده ها نقش مهمی را ایفا می کند، زیرا اغلب تجزیه و تحلیل اطلاعات حقیقت خشن را در مورد کسب و کار آشکار می کند و برای پذیرش این حقیقت و کار با آن، به روش های توسعه یافته برای کار با داده ها نیاز است.
• ثالثاً، ارزش فناوری های کلان داده در ارائه بینش نهفته است.تحلیلگران خوب همچنان در بازار کمبود دارند. آنها متخصصانی نامیده می شوند که درک عمیقی از معنای تجاری داده ها دارند و می دانند چگونه آنها را به درستی اعمال کنند. تجزیه و تحلیل داده ها ابزاری برای دستیابی به اهداف تجاری است و برای درک ارزش کلان داده ها، شما نیاز به یک مدل رفتاری مناسب و درک اقدامات خود دارید. در این صورت کلان داده اطلاعات مفید زیادی در مورد مصرف کنندگان ارائه می دهد که بر اساس آن می توانید تصمیمات تجاری مفیدی بگیرید.

با وجود این واقعیت که بازار داده های بزرگ روسیه به تازگی در حال شکل گیری است، برخی از پروژه ها در این زمینه در حال حاضر با موفقیت اجرا می شوند. برخی از آنها در زمینه جمع آوری داده ها موفق هستند، مانند پروژه های خدمات مالیاتی فدرال و سیستم های اعتباری Tinkoff، برخی دیگر از نظر تجزیه و تحلیل داده ها و کاربرد عملی نتایج آن: این پروژه Synqera است.

بانک سیستم های اعتباری Tinkoff پروژه ای را برای پیاده سازی پلت فرم EMC2 Greenplum، که ابزاری برای محاسبات موازی گسترده است، اجرا کرد. در سال‌های اخیر، این بانک به دلیل نرخ رشد بالای تعداد کاربران کارت اعتباری، الزامات خود را برای سرعت پردازش اطلاعات انباشته و تجزیه و تحلیل آنی داده‌ها افزایش داده است. بانک برنامه‌هایی را برای گسترش استفاده از فناوری‌های کلان داده، به ویژه برای پردازش داده‌های بدون ساختار و کار با اطلاعات شرکتی که از منابع مختلف به دست می‌آید، اعلام کرد.

سرویس مالیات فدرال روسیه در حال حاضر در حال ایجاد یک لایه تحلیلی از انبار داده فدرال است. بر اساس آن، یکپارچه فضای اطلاعاتیو فناوری دسترسی به داده های مالیاتی برای آمار و پردازش تحلیلی. در طول اجرای پروژه، کار برای متمرکز کردن اطلاعات تحلیلی با بیش از 1200 منبع از سطح محلی خدمات مالیاتی فدرال در حال انجام است.

یکی دیگر از نمونه های جالب تجزیه و تحلیل داده های بزرگ در زمان واقعی، استارتاپ روسی Synqera است که پلتفرم Simplate را توسعه داده است. این راه حل مبتنی بر پردازش آرایه های داده بزرگ است، برنامه اطلاعات مربوط به مشتریان، تاریخچه خرید، سن، جنسیت و حتی خلق و خوی آنها را تجزیه و تحلیل می کند. در صندوق ها در شبکه فروشگاه های لوازم آرایشی نصب شده بود صفحه نمایش های لمسیبا حسگرهایی که احساسات مشتریان را تشخیص می دهند. این برنامه خلق و خوی فرد را تعیین می کند، اطلاعات مربوط به او را تجزیه و تحلیل می کند، زمان روز را تعیین می کند و پایگاه داده تخفیف فروشگاه را اسکن می کند، پس از آن پیام های هدفمندی را در مورد تبلیغات و پیشنهادات ویژه برای خریدار ارسال می کند. این راه حل وفاداری مشتری را بهبود می بخشد و فروش خرده فروش را افزایش می دهد.

اگر در مورد موارد موفق خارجی صحبت کنیم، در این زمینه، تجربه استفاده از فناوری های Big Data در Dunkin` Donuts که از داده های بلادرنگ برای فروش محصولات استفاده می کند، جالب توجه است. نمایشگرهای دیجیتال در فروشگاه ها پیشنهاداتی را به نمایش می گذارند که هر دقیقه بسته به زمان روز و در دسترس بودن محصول تغییر می کند. طبق دریافت‌های نقدی، شرکت داده‌هایی را دریافت می‌کند که کدام پیشنهادها بیشترین پاسخ را از سوی خریداران دریافت کرده‌اند. این رویکرد پردازش داده باعث افزایش سود و گردش کالا در انبار شد.

همانطور که تجربه اجرای پروژه های Big Data نشان می دهد، این حوزه برای حل موفقیت آمیز مشکلات تجاری مدرن طراحی شده است. در عین حال، یک عامل مهم در دستیابی به اهداف تجاری هنگام کار با کلان داده، انتخاب استراتژی مناسب است که شامل تجزیه و تحلیل هایی است که نیازهای مصرف کننده را شناسایی می کند و همچنین استفاده از فناوری های نوآورانه در زمینه داده های بزرگ.

بر اساس یک نظرسنجی جهانی که سالانه توسط Econsultancy و Adobe از سال 2012 در میان بازاریابان شرکت ها انجام می شود، "داده های بزرگ" که اقدامات افراد در اینترنت را مشخص می کند، می تواند کارهای زیادی انجام دهد. آن‌ها می‌توانند فرآیندهای کسب‌وکار آفلاین را بهینه‌سازی کنند، به درک اینکه چگونه صاحبان دستگاه‌های تلفن همراه از آنها برای جستجوی اطلاعات استفاده می‌کنند یا به سادگی «بازاریابی را بهتر می‌کنند» کمک کنند. کارآمدتر. علاوه بر این، آخرین تابع از سال به سال محبوب تر می شود، همانطور که در نمودار ما نشان داده شده است.

زمینه های اصلی کار بازاریابان اینترنتی از نظر ارتباط با مشتری

منبع: Econsultancy و Adobe، منتشر شده استemarketer.com

توجه داشته باشید که ملیت پاسخ دهندگان چندان مهم نیست. بر اساس نظرسنجی انجام شده توسط KPMG در سال 2013، نسبت "خوشبین"، یعنی. از کسانی که از Big Data هنگام توسعه یک استراتژی تجاری استفاده می کنند، 56٪ است و نوسانات از منطقه به منطقه کوچک است: از 63٪ در کشورهای آمریکای شمالی تا 50٪ در EMEA.

استفاده از داده های بزرگ در مناطق مختلف جهان

منبع: KPMG، منتشر شدemarketer.com

در همین حال، نگرش بازاریابان به چنین "روندهای مد" تا حدودی یادآور یک حکایت معروف است:

بگو وانو تو گوجه فرنگی دوست داری؟
- من دوست دارم غذا بخورم، اما نه.

با وجود این واقعیت که بازاریابان می گویند که آنها Big Data را «دوست دارند» و حتی به نظر می رسد از آن استفاده می کنند، در واقع «همه چیز پیچیده است»، زیرا آنها در مورد دلبستگی های قلبی خود در شبکه های اجتماعی می نویسند.

طبق یک نظرسنجی که توسط Circle Research در ژانویه 2014 در میان بازاریابان اروپایی انجام شد، از هر 5 پاسخ‌دهندگان، 4 نفر از داده‌های بزرگ استفاده نمی‌کنند (با وجود این واقعیت که آنها، البته، آن را «دوست دارند»). دلایل متفاوت است. تعداد کمی از شکاکان بدبین وجود دارد - 17٪ و دقیقاً همان تعداد پادپاهای آنها، یعنی. کسانی که با اطمینان پاسخ می دهند "بله". بقیه مردد و شک هستند، «مرداب». آنها با بهانه های قابل قبولی مانند «هنوز نه، اما به زودی» یا «منتظر شروع دیگران هستیم» از پاسخ مستقیم طفره می روند.

استفاده از داده های بزرگ توسط بازاریابان، اروپا، ژانویه 2014

منبع:dnx، منتشر شده -بازاریابcom

چه چیزی آنها را گیج می کند؟ مزخرف محض برخی (دقیقا نیمی از آنها) به سادگی این داده ها را باور نمی کنند. دیگران (همچنین تعداد کمی از آنها وجود دارد - 55٪) به سختی می توانند مجموعه "داده ها" و "کاربران" را بین خود مرتبط کنند. یک نفر (بگذارید از نظر سیاسی درست بگوییم) یک آشفتگی درونی شرکتی دارد: داده‌ها بدون مالک بین بخش‌های بازاریابی و ساختارهای فناوری اطلاعات حرکت می‌کنند. برای دیگران، نرم افزار نمی تواند با هجوم کار کنار بیاید. و غیره. از آنجایی که کل سهام بسیار بالای 100 درصد است، واضح است که وضعیت «موانع متعدد» غیرعادی نیست.

موانعی که از استفاده از داده های بزرگ در بازاریابی جلوگیری می کند

منبع:dnx، منتشر شده -بازاریابcom

بنابراین، ما باید بگوییم که تا کنون "داده های بزرگ" یک پتانسیل بزرگ است که هنوز باید از آن استفاده شود. به هر حال، این ممکن است دلیلی باشد که Big Data هاله "روند مد" خود را از دست می دهد، همانطور که توسط داده های نظرسنجی انجام شده توسط شرکت Econsultancy که قبلاً ذکر کردیم نشان می دهد.

مهم ترین روندها در بازاریابی دیجیتال 2013-2014

منبع: مشاوره و Adobe

آنها با یک پادشاه دیگر جایگزین می شوند - بازاریابی محتوا. چه مدت؟

نمی توان گفت که داده های بزرگ یک پدیده اساساً جدید است. منابع کلان داده سالهاست که وجود داشته اند: پایگاه های داده خرید مشتری، تاریخچه اعتباری، شیوه زندگی. و برای سال‌ها، دانشمندان از این داده‌ها برای کمک به شرکت‌ها در ارزیابی ریسک و پیش‌بینی نیازهای آینده مشتریان استفاده کرده‌اند. اما امروزه وضعیت از دو جنبه تغییر کرده است:

ابزارها و روش های پیچیده تری برای تجزیه و تحلیل و ترکیب مجموعه داده های مختلف پدید آمده است.

این ابزارهای تحلیلی با انبوهی از منابع داده جدید که توسط دیجیتالی کردن تقریباً هر روش جمع‌آوری و اندازه‌گیری داده‌ها هدایت می‌شوند، تکمیل می‌شوند.

دامنه اطلاعات موجودهم برای محققانی که در یک محیط تحقیقاتی ساختاریافته بزرگ شده اند، الهام بخش و ترسناک است. احساسات مصرف کننده توسط وب سایت ها و انواع رسانه های اجتماعی ضبط می شود. واقعیت مشاهده تبلیغات نه تنها توسط جعبه های تنظیم، بلکه با کمک برچسب های دیجیتال و دستگاه های تلفن همراه که با تلویزیون ارتباط برقرار می کنند، ثبت می شود.

داده‌های رفتاری (مانند تعداد تماس‌ها، عادات خرید و خریدها) اکنون در زمان واقعی در دسترس هستند. بنابراین، بسیاری از چیزهایی که قبلاً می‌توانستند از طریق تحقیق یاد بگیرند، اکنون می‌توانند از طریق منابع کلان داده یاد بگیرند. و تمام این دارایی های اطلاعاتی بدون در نظر گرفتن هر گونه فرآیند تحقیقاتی به طور مداوم در حال تولید هستند. این تغییرات ما را به این فکر می‌اندازد که آیا کلان داده می‌تواند جایگزین تحقیقات بازار کلاسیک شود.

این در مورد داده ها نیست، بلکه در مورد پرسش و پاسخ است

قبل از دستور دادن ناقوس مرگ برای تحقیقات کلاسیک، باید به خود یادآوری کنیم که وجود این یا آن دارایی داده نیست، بلکه چیز دیگری است که تعیین کننده است. دقیقا چه چیزی؟ توانایی ما برای پاسخ دادن به سوالات، همین است. یک چیز خنده دار در مورد دنیای جدید داده های بزرگ این است که نتایج حاصل از دارایی های داده جدید منجر به سؤالات حتی بیشتر می شود و این سؤالات معمولاً توسط تحقیقات سنتی به بهترین وجه پاسخ داده می شوند. بنابراین، با رشد داده‌های بزرگ، شاهد افزایش موازی در دسترس بودن و تقاضا برای «داده‌های کوچک» هستیم که می‌تواند پاسخ‌هایی به سؤالات دنیای داده‌های بزرگ ارائه دهد.

بیایید وضعیتی را در نظر بگیریم: یک تبلیغ کننده بزرگ دائماً ترافیک فروشگاه ها و حجم فروش را در زمان واقعی نظارت می کند. روش‌های تحقیق موجود (که در آن از شرکت‌کنندگان در پانل‌های تحقیقاتی درباره انگیزه‌های خرید و رفتارشان در محل فروش می‌پرسیم) به ما کمک می‌کند تا بخش‌های خاص مشتری را بهتر هدف‌گیری کنیم. این روش‌شناسی‌ها را می‌توان گسترش داد تا طیف وسیع‌تری از دارایی‌های کلان داده را در بر گیرد، تا جایی که داده‌های بزرگ به یک ابزار مشاهده غیرفعال تبدیل می‌شوند و روشی برای بررسی مداوم و با تمرکز محدود تغییرات یا رویدادهایی که نیاز به مطالعه دارند، تحقیق می‌کنند. به این ترتیب کلان داده ها می توانند تحقیقات را از روال غیر ضروری رها کنند. تحقیقات اولیه دیگر نباید بر آنچه در حال وقوع است متمرکز شود (داده های بزرگ خواهد شد). در عوض، تحقیقات اولیه می‌تواند بر توضیح اینکه چرا ما روندها یا انحرافات خاصی را از روندها می‌بینیم تمرکز کند. محقق قادر خواهد بود کمتر در مورد بدست آوردن داده ها فکر کند و بیشتر در مورد چگونگی تجزیه و تحلیل و استفاده از آنها فکر کند.

در عین حال، می بینیم که کلان داده یکی از بزرگترین مشکلات ما را حل می کند، مشکل مطالعات بیش از حد طولانی. بررسی خود مطالعات نشان داده است که ابزارهای تحقیقاتی بیش از حد متورم تأثیر منفی بر کیفیت داده ها دارند. اگرچه بسیاری از کارشناسان برای مدت طولانی به این مشکل اذعان داشتند، آنها همیشه با این عبارت پاسخ دادند: "اما من به این اطلاعات برای مدیریت ارشد نیاز دارم" و مصاحبه های طولانی ادامه یافت.

در دنیای داده های بزرگ، جایی که می توان شاخص های کمی را از طریق مشاهده غیرفعال به دست آورد، این موضوع مطرح می شود. دوباره، بیایید به تمام این تحقیقات مصرف فکر کنیم. اگر داده های بزرگ به ما بینشی در مورد مصرف از طریق مشاهده غیرفعال می دهد، آنگاه تحقیقات اولیه در قالب نظرسنجی دیگر نیازی به جمع آوری این نوع اطلاعات ندارد و ما در نهایت می توانیم دیدگاه خود را از نظرسنجی های کوتاه نه تنها با آرزوهای خوب، بلکه با چیزی واقعی

Big Data به کمک شما نیاز دارد

در نهایت، "بزرگ" تنها یکی از ویژگی های داده های بزرگ است. مشخصه "بزرگ" به اندازه و مقیاس داده ها اشاره دارد. البته، این ویژگی اصلی است، زیرا حجم این داده ها فراتر از محدوده همه چیزهایی است که قبلاً با آن کار کرده ایم. اما سایر ویژگی‌های این جریان‌های داده جدید نیز مهم هستند: آنها اغلب قالب‌بندی ضعیفی دارند، ساختاری ندارند (یا در بهترین مورد، تا حدی ساختار یافته) و پر از عدم قطعیت. حوزه نوظهور مدیریت داده که به درستی «تحلیل نهادی» نامیده می شود، هدف آن حل مشکل غلبه بر نویز در داده های بزرگ است. وظیفه آن تجزیه و تحلیل این مجموعه داده ها و یافتن تعداد مشاهدات برای یک شخص است، مشاهدات فعلی و کدام یک از آنها قابل استفاده هستند.

این نوع پاکسازی داده ها برای حذف نویز یا داده های اشتباه هنگام کار با دارایی های داده بزرگ یا کوچک ضروری است، اما کافی نیست. ما همچنین باید بر اساس تجربیات قبلی، تجزیه و تحلیل و دانش دسته بندی، زمینه ای پیرامون دارایی های کلان داده ایجاد کنیم. در واقع، بسیاری از تحلیلگران به توانایی مدیریت عدم قطعیت ذاتی در کلان داده ها به عنوان منبع مزیت رقابتی اشاره می کنند، زیرا تصمیم گیری بهتر را ممکن می سازد.

و اینجاست که تحقیقات اولیه نه تنها به لطف داده‌های بزرگ از کارهای روزمره رها می‌شود، بلکه به ایجاد و تجزیه و تحلیل محتوا در داده‌های بزرگ نیز کمک می‌کند.

نمونه بارز این کار، استفاده از چارچوب جدید ارزش ویژه برند ما در رسانه های اجتماعی است. (ما در مورد یک توسعه یافته صحبت می کنیممیلوارد رنگ قهوه ایرویکردی جدید برای اندازه گیری ارزش برندرا معنی دار ناهمسان چارچوب- "پارادایم تفاوت های مهم" -آر & تی ). این مدل در بازارهای خاص مورد آزمایش رفتار قرار می گیرد، بر اساس استاندارد پیاده سازی می شود و به راحتی می تواند در سایر رشته های بازاریابی و سیستم های اطلاعاتی پشتیبانی تصمیم اعمال شود. به عبارت دیگر، مدل ارزش ویژه برند ما، مبتنی بر تحقیقات پیمایشی (اگرچه نه منحصرا) است، تمام ویژگی‌های مورد نیاز برای غلبه بر ماهیت غیرساختاری، نامنسجم و نامطمئن کلان داده را دارد.

داده‌های احساسات مصرف‌کننده ارائه شده توسط رسانه‌های اجتماعی را در نظر بگیرید. در شکل خام خود، اوج ها و دره ها در احساسات مصرف کننده اغلب با معیارهای آفلاین ارزش ویژه برند و رفتار همبستگی دارند: به سادگی نویز بیش از حد در داده ها وجود دارد. اما ما می‌توانیم این نویز را با استفاده از مدل‌های معنای مصرف‌کننده، تمایز برند، پویایی و هویت خود در داده‌های خام احساسات مصرف‌کننده، که راهی برای پردازش و جمع‌آوری داده‌های رسانه‌های اجتماعی در این ابعاد است، کاهش دهیم.

هنگامی که داده ها بر اساس مدل چارچوب ما سازماندهی می شوند، روندهای شناسایی شده معمولاً با اندازه گیری ارزش ویژه برند و رفتار به دست آمده به صورت آفلاین مطابقت دارند. در واقع، داده های رسانه های اجتماعی نمی توانند برای خود صحبت کنند. استفاده از آنها برای این منظور نیاز به تجربه و مدل هایی دارد که بر اساس برندها ساخته شده اند. وقتی رسانه‌های اجتماعی اطلاعات منحصربه‌فردی را به ما می‌دهند که به زبانی بیان می‌شود که مصرف‌کنندگان برای توصیف برندها از آن استفاده می‌کنند، ما باید هنگام ایجاد تحقیقات خود از آن زبان استفاده کنیم تا تحقیقات اولیه را بسیار مؤثرتر کنیم.

مزایای مطالعات معافیت

این ما را به این واقعیت برمی‌گرداند که داده‌های بزرگ نه آنقدر که جایگزین تحقیقات می‌شوند بلکه آن‌ها را آزاد می‌کنند. محققان از اینکه مجبورند برای هر مورد جدید یک مطالعه جدید ایجاد کنند راحت خواهند شد. دارایی‌های در حال رشد داده‌های بزرگ را می‌توان برای موضوعات مختلف تحقیقاتی مورد استفاده قرار داد، و به تحقیقات اولیه بعدی اجازه می‌دهد تا عمیق‌تر در موضوع تحقیق کنند و شکاف‌ها را پر کنند. محققان از تکیه بر نظرسنجی های بیش از حد متورم رهایی خواهند یافت. در عوض، آنها قادر خواهند بود از نظرسنجی های کوتاه استفاده کنند و بر روی مهمترین پارامترها تمرکز کنند که کیفیت داده ها را بهبود می بخشد.

با این نسخه، محققان می‌توانند از اصول و بینش‌های تثبیت‌شده خود برای افزودن دقت و معنا به دارایی‌های کلان داده، استفاده کنند و زمینه‌های جدیدی را برای تحقیقات پیمایشی ایجاد کنند. این چرخه باید به درک عمیق‌تر در مورد طیف وسیعی از موضوعات استراتژیک و در نهایت حرکت به سمت آنچه که همیشه باید هدف اصلی ما باشد - اطلاع رسانی و بهبود کیفیت تصمیمات برند و ارتباطات منجر شود.

فقط تنبل در مورد داده های بزرگ صحبت نمی کند، اما به سختی می فهمد که چیست و چگونه کار می کند. بیایید با ساده ترین - اصطلاحات شروع کنیم. به زبان روسی، Big data ابزارها، رویکردها و روش‌های مختلفی برای پردازش داده‌های ساختاریافته و بدون ساختار به منظور استفاده از آنها برای وظایف و اهداف خاص است.

داده های بدون ساختار اطلاعاتی هستند که ساختار از پیش تعیین شده ای ندارند یا به ترتیب خاصی سازماندهی نشده اند.

اصطلاح "داده های بزرگ" توسط کلیفورد لینچ، سردبیر نیچر در سال 2008 در یک شماره ویژه درباره رشد انفجاری حجم اطلاعات جهان ابداع شد. اگرچه، البته، خود داده های بزرگ قبلا وجود داشته است. به گفته کارشناسان، اکثریت جریان داده های بیش از 100 گیگابایت در روز متعلق به دسته داده های بزرگ است.

همچنین بخوانید:

امروزه، این اصطلاح ساده تنها دو کلمه را پنهان می کند - ذخیره سازی و پردازش داده ها.

داده های بزرگ - به عبارت ساده

در دنیای مدرن، داده های بزرگ یک پدیده اجتماعی-اقتصادی است که با این واقعیت همراه است که فرصت های فناوری جدید برای تجزیه و تحلیل حجم عظیمی از داده ها ظاهر شده است.

همچنین بخوانید:

برای سهولت درک، سوپرمارکتی را تصور کنید که در آن همه کالاها به ترتیبی که شما به آن عادت کرده اید نیست. نان در کنار میوه، رب گوجه فرنگی در کنار پیتزای یخ زده، مایع فندکی در کنار قفسه ای از تامپون که آووکادو، توفو یا قارچ شیتاکه دارد و غیره. بیگ دیتا همه چیز را در جای خود قرار می دهد و به شما کمک می کند شیر آجیل را پیدا کنید، از هزینه و تاریخ انقضا مطلع شوید و همچنین چه کسی به جز شما چنین شیری را می خرد و چگونه بهتر از شیر گاو است.

کنت کوکیر: داده های بزرگ داده های بهتری هستند

فناوری داده های بزرگ

حجم عظیمی از داده‌ها پردازش می‌شوند تا فرد بتواند نتایج خاص و لازم را برای کاربرد مؤثر بیشتر آنها به دست آورد.

همچنین بخوانید:

در واقع، داده های بزرگ یک حل کننده مشکل و جایگزینی برای سیستم های مدیریت داده سنتی است.

تکنیک ها و روش های تجزیه و تحلیل قابل استفاده برای داده های بزرگ طبق مک کینزی:

• جمع سپاری؛

  ترکیب و یکپارچه سازی داده ها؛

  فراگیری ماشین؛

  شبکه های عصبی مصنوعی؛

  الگو شناسی؛

  تجزیه و تحلیل پیش بینی کننده؛

  مدل سازی شبیه سازی؛

  تحلیل فضایی؛

  تحلیل آماری؛

• تجسم داده های تحلیلی

مقیاس پذیری افقی که پردازش داده ها را امکان پذیر می کند، اصل اساسی پردازش کلان داده است. داده ها در گره های محاسباتی توزیع می شوند و پردازش بدون کاهش عملکرد انجام می شود. مک‌کینزی همچنین سیستم‌های مدیریت رابطه‌ای و هوش تجاری را در زمینه کاربردی گنجاند.

فن آوری ها:

• NoSQL;
• MapReduce;
• هادوپ
• راه حل های سخت افزاری

همچنین بخوانید:

برای کلان داده ها، مشخصه های تعریف کننده سنتی وجود دارد که توسط گروه متا در سال 2001 توسعه یافته است، که به نام " سه V»:

1. جلد- مقدار حجم فیزیکی
2. سرعت- نرخ رشد و نیاز به پردازش سریع داده ها برای به دست آوردن نتایج.
3. تنوع- توانایی پردازش همزمان انواع مختلف داده ها.

کلان داده: کاربرد و فرصت ها

حجم اطلاعات دیجیتالی ناهمگن و به سرعت دریافتی را نمی توان با ابزارهای سنتی پردازش کرد. تجزیه و تحلیل داده ها به خودی خود به شما امکان می دهد الگوهای مشخص و نامحسوسی را ببینید که شخص نمی تواند آنها را ببیند. این به ما امکان می دهد تا تمام زمینه های زندگی خود را - از مدیریت دولتی گرفته تا تولید و مخابرات - بهینه کنیم.

به عنوان مثال، چند سال پیش برخی از شرکت ها از مشتریان خود در برابر کلاهبرداری محافظت کردند و مراقبت از پول مشتری مراقبت از پول خود است.

سوزان اتلیگر: داده های بزرگ چطور؟

راه حل های مبتنی بر داده های بزرگ: Sberbank، Beeline و سایر شرکت ها

Beeline اطلاعات زیادی در مورد مشترکین دارد که آنها نه تنها برای کار با آنها، بلکه برای ایجاد محصولات تحلیلی مانند مشاوره خارجی یا تجزیه و تحلیل IPTV از آنها استفاده می کنند. Beeline پایگاه داده را تقسیم بندی کرد و با استفاده از HDFS و Apache Spark برای ذخیره سازی و Rapidminer و Python برای پردازش داده ها، از مشتریان در برابر کلاهبرداری پول و ویروس ها محافظت کرد.

همچنین بخوانید:

یا Sberbank را با کیس قدیمی خود به نام AS SAFI به یاد بیاورید. این سیستمی است که عکس ها را برای شناسایی مشتریان بانک و جلوگیری از کلاهبرداری تجزیه و تحلیل می کند. این سیستم در سال 2014 معرفی شد، این سیستم مبتنی بر مقایسه عکس‌های پایگاه داده است که از وب‌کم‌های روی قفسه‌ها به لطف دید کامپیوتری به آنجا می‌رسند. اساس سیستم یک پلت فرم بیومتریک است. با تشکر از این، موارد کلاهبرداری 10 برابر کاهش یافت.

کلان داده در جهان

تا سال 2020، طبق پیش بینی ها، بشریت 40-44 زتابایت اطلاعات تشکیل خواهد داد. طبق گزارش The Data Age 2025 که توسط تحلیلگران IDC تهیه شده است، تا سال 2025 رشد 10 برابری خواهد داشت. این گزارش اشاره می‌کند که بیشتر داده‌ها توسط خود کسب‌وکارها تولید می‌شوند، نه مصرف‌کنندگان عادی.

تحلیلگران این مطالعه بر این باورند که داده ها به یک دارایی حیاتی تبدیل خواهند شد و امنیت - پایه ای حیاتی در زندگی است. همچنین، نویسندگان اثر مطمئن هستند که این فناوری چشم انداز اقتصادی را تغییر خواهد داد و کاربر معمولی حدود 4800 بار در روز با دستگاه های متصل ارتباط برقرار می کند.

بازار داده های بزرگ در روسیه

به طور معمول، کلان داده از سه منبع به دست می آید:

• اینترنت (شبکه های اجتماعی، انجمن ها، وبلاگ ها، رسانه ها و سایت های دیگر)؛
• آرشیو اسناد شرکتی؛
• نشانه های سنسورها، ابزارها و سایر دستگاه ها.

کلان داده در بانک ها

علاوه بر سیستم توضیح داده شده در بالا، در استراتژی Sberbank برای 2014-2018. در مورد اهمیت تجزیه و تحلیل مجموعه داده های فوق العاده برای خدمات مشتری با کیفیت، مدیریت ریسک و بهینه سازی هزینه صحبت می کند. این بانک اکنون از داده های بزرگ برای مدیریت ریسک ها، مبارزه با تقلب، تقسیم بندی و ارزیابی اعتبار مشتریان، مدیریت پرسنل، پیش بینی صف ها در شعب، محاسبه پاداش برای کارکنان و سایر وظایف استفاده می کند.

VTB24 از داده های بزرگ برای تقسیم بندی و مدیریت ریزش مشتری، تولید صورت های مالی و تجزیه و تحلیل بازخورد در شبکه های اجتماعی و انجمن ها استفاده می کند. برای این کار از Teradata، SAS Visual Analytics و SAS Marketing Optimizer استفاده می کند.

"اطلاعات بزرگ"- موضوعی که به طور فعال توسط شرکت های فناوری مورد بحث قرار می گیرد. برخی از آنها از داده های بزرگ ناامید شده اند، در حالی که برخی دیگر، برعکس، تا حد امکان از آن برای تجارت استفاده می کنند... . امیدواریم اطلاعات جالب و مفید باشد.

BIG DATA چیست؟

ویژگی های کلیدی

اصطلاح "داده های بزرگ" باعث بحث های زیادی می شود، بسیاری معتقدند که این فقط به معنای مقدار اطلاعات انباشته شده است، اما جنبه فنی را فراموش نکنید، این حوزه شامل فناوری های ذخیره سازی، محاسبات و خدمات است.

لازم به ذکر است که این حوزه شامل پردازش حجم زیادی از اطلاعات است که پردازش آن با روش های سنتی مشکل است*.

در زیر جدول مقایسه پایگاه داده سنتی و کلان داده است.

حوزه داده های بزرگ با ویژگی های زیر مشخص می شود:
جلد - حجم، پایگاه داده انباشته شده حجم زیادی از اطلاعات است که پردازش و ذخیره آن به روش های سنتی پر زحمت است، آنها به یک رویکرد جدید و ابزارهای بهبود یافته نیاز دارند.
سرعت - سرعت، این ویژگی هم سرعت فزاینده انباشت داده ها را نشان می دهد (90٪ اطلاعات در 2 سال گذشته جمع آوری شده است) و هم سرعت پردازش داده ها؛ اخیراً فناوری های پردازش داده های بلادرنگ تقاضای بیشتری پیدا کرده اند.
تنوع - تنوع، یعنی امکان پردازش همزمان اطلاعات ساختاریافته و بدون ساختار با فرمت های مختلف. تفاوت اصلی بین اطلاعات ساختاریافته این است که می توان آنها را طبقه بندی کرد. نمونه ای از این اطلاعات، اطلاعات مربوط به معاملات مشتری است.
اطلاعات بدون ساختار شامل ویدئو، فایل های صوتی، متن رایگان، اطلاعاتی است که از شبکه های اجتماعی می آید. تا به امروز 80 درصد اطلاعات در گروه بدون ساختار قرار می گیرد. این اطلاعاتنیاز به تجزیه و تحلیل پیچیده دارد تا برای پردازش بیشتر مفید باشد.
صحت - قابلیت اطمینان داده ها، کاربران شروع به اهمیت دادن به قابلیت اطمینان داده های موجود کردند. بنابراین شرکت های اینترنتی در تفکیک اقدامات انجام شده توسط یک ربات و یک شخص در وب سایت شرکت دچار مشکل می شوند که در نهایت منجر به دشواری تجزیه و تحلیل داده ها می شود.
ارزش - ارزش اطلاعات انباشته شده Big Data باید برای شرکت مفید باشد و ارزشی برای آن به ارمغان بیاورد. به عنوان مثال، به بهبود فرآیندهای تجاری، گزارش دهی یا بهینه سازی هزینه کمک کنید.

در صورت رعایت 5 شرط بالا، حجم انباشته داده ها را می توان به عنوان بزرگ طبقه بندی کرد.

کاربردهای داده های بزرگ

دامنه فناوری های Big Data گسترده است. بنابراین، با کمک داده های بزرگ، می توانید در مورد ترجیحات مشتری، اثربخشی کمپین های بازاریابی یا تجزیه و تحلیل ریسک اطلاعات کسب کنید. در زیر نتایج یک نظرسنجی موسسه IBM در مورد جهت گیری استفاده از داده های بزرگ در شرکت ها آورده شده است.

همانطور که از نمودار مشخص است، اکثر شرکت ها از داده های بزرگ در زمینه خدمات به مشتریان استفاده می کنند، دومین جهت محبوب، بهره وری عملیاتی است، در زمینه مدیریت ریسک، داده های بزرگ در حال حاضر کمتر رایج است.

همچنین لازم به ذکر است که Big Data یکی از سریع ترین حوزه های فناوری اطلاعات در حال رشد است، طبق آمار، مجموع داده های دریافتی و ذخیره شده هر 1.2 سال دو برابر می شود.
بین سال‌های 2012 تا 2014، میزان داده‌های ارسالی ماهانه شبکه های تلفن همراه، 81 درصد افزایش یافته است. سیسکو تخمین می زند که حجم ترافیک موبایل در سال 2014 2.5 اگزابایت (واحد اندازه گیری مقدار اطلاعات برابر با 10 ^ 18 بایت استاندارد) در ماه بوده و در سال 2019 معادل 24.3 اگزابایت خواهد بود.
بنابراین، Big Data حتی با وجود سن نسبتاً جوان آن، در حال حاضر یک حوزه فناوری جا افتاده است که در بسیاری از زمینه‌های کسب و کار گسترده شده است و نقش مهمی در توسعه شرکت‌ها ایفا می‌کند.

فناوری های کلان داده

• نرم افزار؛
• تجهیزات؛
• سرویس.

رایج ترین رویکردهای پردازش داده (PD) عبارتند از:
SQL - زبان پرس و جوهای ساخت یافته، که به شما امکان می دهد با پایگاه های داده کار کنید. با با استفاده از SQLشما می توانید داده ها را ایجاد و تغییر دهید، و آرایه داده توسط سیستم مدیریت پایگاه داده مناسب مدیریت می شود.
NoSQL - این اصطلاح مخفف Not Only SQL (نه فقط SQL) است. این شامل تعدادی رویکرد با هدف پیاده سازی پایگاه داده است که با مدل های مورد استفاده در DBMS های سنتی و رابطه ای متفاوت است. استفاده از آنها با ساختار داده دائماً در حال تغییر است. به عنوان مثال برای جمع آوری و ذخیره اطلاعات در شبکه های اجتماعی.
MapReduce - مدل توزیع محاسباتی برای محاسبات موازی در مجموعه داده های بسیار بزرگ (پتابایت* یا بیشتر) استفاده می شود. در رابط برنامه نویسی، داده ها برای پردازش به برنامه منتقل نمی شوند، بلکه برنامه به داده ها منتقل می شود. بنابراین، پرس و جو یک برنامه جداگانه است. اصل عملیات پردازش متوالی داده ها با دو روش Map و Reduce است. Map داده های اولیه را انتخاب می کند، Reduce آنها را جمع می کند.
هادوپ - برای پیاده‌سازی مکانیسم‌های جستجو و زمینه‌ای برای سایت‌های با بارگذاری بالا - فیس‌بوک، eBay، آمازون و غیره استفاده می‌شود. یک ویژگی متمایز این است که سیستم از شکست هر یک از گره‌های خوشه محافظت می‌شود، زیرا هر بلوک حداقل یک کپی از داده‌ها را دارد. در گره دیگر
SAP HANA یک پلت فرم NewSQL با کارایی بالا برای ذخیره سازی و پردازش داده ها است. پردازش درخواست با سرعت بالا را فراهم می کند. تمایز دیگر این است که SAP HANA چشم انداز سیستم را با کاهش هزینه پشتیبانی از سیستم های تحلیلی ساده می کند.

تجهیزات تکنولوژیکی شامل:

• سرورها؛
• تجهیزات زیرساختی

سرویس.
خدمات شامل معماری سیستم پایگاه داده، توسعه و بهینه سازی زیرساخت و امنیت ذخیره سازی داده ها است.

نرم‌افزار، سخت‌افزار و خدمات با هم ترکیب می‌شوند تا پلتفرم‌های سرتاسری برای ذخیره‌سازی و تجزیه و تحلیل داده‌ها را تشکیل دهند. شرکت هایی مانند مایکروسافت، اچ پی، EMC خدماتی را برای توسعه، استقرار و مدیریت راه حل های Big Data ارائه می دهند.

کاربرد در صنایع

خرده فروشی
پایگاه‌های اطلاعاتی فروشگاه‌های خرده‌فروشی می‌توانند اطلاعات زیادی در مورد مشتریان، سیستم مدیریت موجودی، عرضه محصولات قابل عرضه در بازار جمع‌آوری کنند. این اطلاعات می تواند در تمام زمینه های فعالیت فروشگاه مفید باشد.

بنابراین با کمک اطلاعات انباشته شده می توانید عرضه کالاها، نگهداری و فروش آنها را مدیریت کنید. بر اساس اطلاعات انباشته شده می توان تقاضا و عرضه کالا را پیش بینی کرد. همچنین سیستم پردازش و تجزیه و تحلیل داده ها می تواند سایر مشکلات خرده فروش را حل کند، مثلاً هزینه ها را بهینه کند یا گزارش تهیه کند.

خدمات مالی
Big Data تجزیه و تحلیل اعتبار وام گیرنده را ممکن می کند و همچنین برای امتیازدهی اعتبار* و پذیره نویسی** مفید است. معرفی فناوری های Big Data زمان بررسی درخواست های وام را کاهش می دهد. با کمک بیگ دیتا می توان عملیات یک مشتری خاص را تحلیل کرد و خدمات بانکی مناسب او را ارائه داد.

مخابرات
در صنعت ارتباطات از راه دور، Big Data به طور گسترده توسط اپراتورهای تلفن همراه استفاده می شود.
اپراتورهای تلفن همراه همراه با موسسات مالی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند.

علاوه بر استفاده از داده های بزرگ برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی تقلبی استفاده می شود.

معدن و صنعت نفت
داده های بزرگ هم در استخراج مواد معدنی و هم در پردازش و بازاریابی آنها استفاده می شود. بر اساس اطلاعات دریافتی، شرکت ها می توانند در مورد کارایی توسعه میدان نتیجه گیری کنند، برنامه تعمیرات اساسی و وضعیت تجهیزات را پیگیری کنند و تقاضا و قیمت محصول را پیش بینی کنند.

بر اساس یک نظرسنجی توسط Tech Pro Research، داده های بزرگ در صنعت ارتباطات راه دور و همچنین در شرکت های مهندسی، فناوری اطلاعات، مالی و دولتی گسترده ترین است. بر اساس نتایج این نظرسنجی، داده های بزرگ در آموزش و مراقبت های بهداشتی از محبوبیت کمتری برخوردار است. نتایج نظرسنجی در زیر ارائه شده است:

نمونه هایی از استفاده از داده های بزرگ در شرکت ها

حوزه های کاربرد اطلاعات پردازش شده متنوع است و بسته به صنعت و وظایفی که باید انجام شود متفاوت است.
در ادامه، نمونه هایی از کاربرد فناوری های کلان داده در عمل ارائه خواهد شد.

HSBC از فناوری های Big Data برای مقابله با تراکنش های جعلی با کارت های پلاستیکی استفاده می کند. این شرکت با کمک بیگ دیتا، کارایی سرویس امنیتی را 3 برابر و تشخیص حوادث کلاهبرداری را 10 برابر افزایش داد. تاثیر اقتصادی معرفی این فناوری ها از 10 میلیون دلار آمریکا فراتر رفت.

ضد تقلب* ویزا به شما امکان می دهد تا به طور خودکار معاملات با ماهیت جعلی را محاسبه کنید، این سیستم در حال حاضر به جلوگیری از پرداخت های جعلی به مبلغ 2 میلیارد دلار در سال کمک می کند.

شرکت سوپر کامپیوتر واتسون IBM در زمان واقعی جریان داده ها در مورد معاملات پول را تجزیه و تحلیل می کند. بر اساس گزارش IBM، واتسون تعداد تراکنش‌های جعلی کشف‌شده را 15 درصد افزایش داد، موارد مثبت کاذب سیستم را تا 50 درصد کاهش داد و میزان وجوه محافظت شده از تراکنش‌های این ماهیت را 60 درصد افزایش داد.

پراکتر اند گمبل آنها با کمک بیگ دیتا محصولات جدید طراحی می کنند و کمپین های بازاریابی جهانی ایجاد می کنند. P&G دفاتر اختصاصی Business Spheres را ایجاد کرده است که در آن می توانید اطلاعات را در زمان واقعی مشاهده کنید.
بنابراین، مدیریت شرکت این فرصت را دارد که فوراً فرضیه ها را آزمایش کند و آزمایش هایی را انجام دهد. P&G معتقد است که داده های بزرگ به پیش بینی عملکرد شرکت کمک می کند.

خرده فروش لوازم اداری officemax آنها با کمک فناوری های Big Data رفتار مشتریان را تجزیه و تحلیل می کنند. تجزیه و تحلیل کلان داده اجازه می دهد تا درآمد B2B را تا 13 درصد افزایش دهد، هزینه ها را تا 400000 دلار در سال کاهش دهد.

مطابق با کرم ابریشم ، توزیع کنندگان آن سالانه 9 تا 18 میلیارد دلار درآمد را از دست می دهند فقط به این دلیل که فناوری Big Data را پیاده سازی نمی کنند. Big Data به مشتریان این امکان را می دهد تا با تجزیه و تحلیل اطلاعات از حسگرهای نصب شده روی ماشین ها، ناوگان خود را به طور موثرتری مدیریت کنند.

تا به امروز، امکان تجزیه و تحلیل وضعیت اجزای کلیدی، درجه سایش، مدیریت هزینه های سوخت و نگهداری وجود دارد.

گروه لوکسوتیکا تولید کننده عینک های ورزشی با برندهایی مانند Ray-Ban، Persol و Oakley است. این شرکت از فناوری های Big Data برای تجزیه و تحلیل رفتار مشتریان بالقوه و بازاریابی پیامکی «هوشمند» استفاده می کند. در نتیجه، گروه Big Data Luxottica بیش از 100 میلیون مشتری با ارزش را شناسایی کرد و اثربخشی کمپین بازاریابی را 10٪ افزایش داد.

با کمک Yandex Data Factory، توسعه دهندگان بازی دنیای تانک ها تحلیل رفتار بازیکنان فناوری های Big Data امکان تجزیه و تحلیل رفتار 100 هزار بازیکن World of Tanks را با استفاده از بیش از 100 پارامتر (اطلاعات در مورد خرید، بازی، تجربه و غیره) فراهم می کند. در نتیجه تجزیه و تحلیل، پیش بینی ریزش کاربر به دست آمد. این اطلاعات به شما امکان می دهد مراقبت از کاربر را کاهش دهید و به طور هدفمند با شرکت کنندگان در بازی کار کنید. مدل توسعه‌یافته ۲۰ تا ۳۰ درصد کارآمدتر از ابزارهای استاندارد آنالیز صنعت بازی است.

وزارت کار آلمان از داده های بزرگ برای تجزیه و تحلیل ادعاهای بیکاری دریافتی استفاده می کند. بنابراین، پس از تجزیه و تحلیل اطلاعات، مشخص شد که 20 درصد از مزایای بدون استحقاق پرداخت شده است. وزارت کار با کمک بیگ دیتا هزینه ها را 10 میلیارد یورو کاهش داده است.

بیمارستان کودکان تورنتو پروژه پروژه آرتمیس را اجرا کرد. این یک سیستم اطلاعاتی است که داده های مربوط به نوزادان را در زمان واقعی جمع آوری و تجزیه و تحلیل می کند. این سیستم در هر ثانیه 1260 شاخص از وضعیت هر کودک را کنترل می کند. پروژه آرتمیس به شما امکان می دهد وضعیت ناپایدار کودک را پیش بینی کنید و پیشگیری از بیماری ها را در کودکان آغاز کنید.

مروری بر بازار جهانی داده های بزرگ

وضعیت فعلی بازار جهانی

طبق ویکی‌بون، بیشترین درآمد بازار داده‌های بزرگ در سال 2014 از خدمات تشکیل شده است که سهم آن‌ها معادل 40 درصد از کل درآمد بوده است (نمودار زیر را ببینید):

اگر داده های بزرگ را برای سال 2014 بر اساس زیرگروه ها در نظر بگیریم، بازار به این صورت خواهد بود:

بر اساس Wikibon، اپلیکیشن‌ها و تجزیه و تحلیل‌ها 36 درصد از درآمد کلان داده در سال 2014 را از برنامه‌های Big Data و تجزیه و تحلیل، 17 درصد از سخت‌افزار محاسباتی و 15 درصد از فناوری ذخیره‌سازی را به خود اختصاص دادند. کمترین درآمد حاصل از فناوری NoSQL، تجهیزات زیرساختی و ارائه شبکه ای از شرکت ها بوده است. شبکه های شرکتی).

محبوب ترین فناوری های Big Data پلتفرم های درون حافظه SAP، HANA، Oracle و غیره هستند. نتایج نظرسنجی T-Systems نشان داد که 30 درصد از شرکت های مورد بررسی آن ها را انتخاب کرده اند. دومین محبوب ترین پلتفرم های NoSQL (18٪ از کاربران) بودند، شرکت ها همچنین از پلتفرم های تحلیلی Splunk و Dell استفاده کردند، آنها توسط 15٪ از شرکت ها انتخاب شدند. طبق نتایج این نظرسنجی، کمترین کاربرد برای حل مشکلات Big Data، محصولات Hadoop/MapReduce بود.

بر اساس نظرسنجی Accenture، در بیش از 50 درصد از شرکت‌هایی که از فناوری‌های Big Data استفاده می‌کنند، هزینه‌های Big Data بین 21 تا 30 درصد متغیر است.
بر اساس تحلیل Accenture زیر، 76 درصد از شرکت ها معتقدند که این هزینه ها در سال 2015 افزایش می یابد و 24 درصد از شرکت ها بودجه خود را برای فناوری های Big Data تغییر نمی دهند. این نشان می دهد که در این شرکت ها Big Data در حال حاضر به یک منطقه تاسیس شده IT تبدیل شده است که به بخشی جدایی ناپذیر از توسعه شرکت تبدیل شده است.

نتایج نظرسنجی واحد اطلاعات اکونومیست تأثیر مثبت اجرای کلان داده را تأیید می کند. 46% از شرکت‌ها ادعا می‌کنند که با استفاده از فناوری‌های Big Data خدمات مشتریان را بیش از 10% بهبود داده‌اند، 33% از شرکت‌ها موجودی را بهینه کرده‌اند و بهره‌وری دارایی‌های کلیدی را بهبود بخشیده‌اند، 32% از شرکت‌ها فرآیندهای برنامه‌ریزی را بهبود بخشیده‌اند.

کلان داده در کشورهای مختلفصلح

همچنین، طبق نظرسنجی CIO، شرکت های منطقه آسیا و اقیانوسیه به سرعت در حال تسلط بر راه حل های جدید در زمینه تجزیه و تحلیل داده های بزرگ، ذخیره سازی ایمن و فناوری های ابری هستند. آمریکای لاتین از نظر تعداد سرمایه گذاری در توسعه فناوری های داده های بزرگ، بالاتر از اروپا و ایالات متحده در رتبه دوم قرار دارد.
در ادامه، توضیحات و پیش‌بینی‌هایی از توسعه بازار کلان داده در چندین کشور ارائه خواهد شد.

چین
حجم اطلاعات در چین 909 اگزابایت است که معادل 10 درصد کل اطلاعات جهان است، تا سال 2020 حجم اطلاعات به 8060 اگزابایت خواهد رسید و سهم اطلاعات در آمارهای جهانی نیز افزایش خواهد یافت. 5 سال برابر با 18 درصد خواهد بود. رشد بالقوه داده های بزرگ چین یکی از سریع ترین پویایی های در حال رشد را دارد.

برزیل
تا پایان سال 2014، برزیل 212 اگزابایت اطلاعات جمع آوری کرده است که 3 درصد از حجم جهانی را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1600 اگزابایت خواهد رسید که 4 درصد از اطلاعات جهان را تشکیل می دهد.

هند
بر اساس گزارش EMC، میزان داده های انباشته شده در هند در سال 2014، 326 اگزابایت است که 5 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 2800 اگزابایت خواهد رسید که 6 درصد از اطلاعات جهان را تشکیل می دهد.

ژاپن
مقدار داده های انباشته شده در ژاپن در پایان سال 2014، 495 اگزابایت است که 8 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020، حجم اطلاعات به 2200 اگزابایت افزایش می یابد، اما سهم بازار ژاپن کاهش می یابد و به 5 درصد از کل اطلاعات در کل جهان می رسد.
بدین ترتیب حجم بازار ژاپن بیش از 30 درصد کاهش خواهد یافت.

آلمان
بر اساس گزارش EMC، میزان داده های انباشته شده در آلمان در سال 2014، 230 اگزابایت است که 4 درصد از کل اطلاعات موجود در جهان را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1100 اگزابایت و 2 درصد خواهد رسید.
در بازار آلمان، طبق پیش‌بینی گروه اکسپرتون، سهم زیادی از درآمد توسط بخش خدمات ایجاد می‌شود که سهم آن در سال 2015 54 درصد خواهد بود و در سال 2019 به 59 درصد، سهم نرم‌افزار و سخت‌افزار افزایش می‌یابد. برعکس کاهش خواهد یافت.

به طور کلی، اندازه بازار از 1.345 میلیارد یورو در سال 2015 به 3.198 میلیارد یورو در سال 2019 با میانگین نرخ رشد 24 درصد خواهد رسید.
بنابراین، بر اساس تجزیه و تحلیل CIO و EMC، می‌توان نتیجه گرفت که کشورهای در حال توسعه جهان در سال‌های آینده به بازارهایی برای توسعه فعال فناوری‌های Big Data تبدیل خواهند شد.

روندهای اصلی بازار

بر اساس پیش بینی IDC، روند بازار به شرح زیر است:

• طی 5 سال آینده، هزینه راه حل های کلان داده مبتنی بر ابر 3 برابر سریعتر از هزینه راه حل های داخلی رشد خواهد کرد. پلتفرم های ذخیره سازی هیبریدی محبوب خواهند شد.
• رشد برنامه‌های کاربردی با استفاده از تحلیل‌های پیچیده و پیش‌بینی‌کننده، از جمله یادگیری ماشین، در سال 2015 شتاب می‌گیرد، بازار چنین برنامه‌هایی 65 درصد سریع‌تر از برنامه‌های بدون آنالیز پیش‌بینی رشد خواهد کرد.
• تجزیه و تحلیل رسانه ها در سال 2015 سه برابر خواهد شد و به یک محرک رشد کلیدی برای بازار فناوری داده های بزرگ تبدیل خواهد شد.
• روند پیاده سازی راه حل هایی برای تجزیه و تحلیل جریان ثابت اطلاعاتی که در اینترنت اشیا قابل استفاده است، شتاب خواهد گرفت.
• تا سال 2018، 50 درصد از کاربران با خدمات مبتنی بر محاسبات شناختی تعامل خواهند داشت.

محرک ها و محدود کننده های بازار

طبق نظرسنجی Accenture، مسائل امنیتی داده ها در حال حاضر مانع اصلی پذیرش فناوری های Big Data هستند، بیش از 51٪ از پاسخ دهندگان تأیید کردند که نگران حفاظت از داده ها و حریم خصوصی هستند. 47% از شرکت‌ها عدم امکان پیاده‌سازی Big Data را به دلیل محدودیت بودجه گزارش کرده‌اند، 41% از شرکت‌ها کمبود پرسنل واجد شرایط را مشکل می‌دانند.

ویکی‌بون پیش‌بینی می‌کند که بازار کلان داده در سال 2015 به 38.4 میلیارد دلار افزایش می‌یابد که 36 درصد نسبت به سال گذشته افزایش خواهد یافت. در سال های آینده، کاهش نرخ رشد به 10 درصد در سال 2017 وجود خواهد داشت. با در نظر گرفتن این پیش بینی ها، اندازه بازار در سال 2020 برابر با 68.7 میلیارد دلار آمریکا خواهد بود.

توزیع بازار جهانی داده های بزرگ بر اساس دسته بندی کسب و کار به این صورت خواهد بود:

همانطور که از نمودار می بینید، بیشتر بازار توسط فناوری های حوزه بهبود خدمات مشتری اشغال خواهد شد. بازاریابی نقطه ای تا سال 2019 دومین اولویت برای شرکت ها خواهد بود، طبق گفته Heavy Reading در سال 2020 راه حل هایی برای بهبود کارایی عملیاتی خواهد داد.
بخش «بهبود خدمات به مشتریان» نیز با 49 درصد افزایش سالانه بالاترین نرخ رشد را خواهد داشت.
پیش‌بینی بازار برای زیرشاخه‌های Big Data به این صورت خواهد بود:

همانطور که از نمودار مشخص است، سهم بازار غالب در اختیار خدمات حرفه‌ای است، اپلیکیشن‌های دارای تجزیه و تحلیل بالاترین نرخ رشد را خواهند داشت، سهم آنها از 12% فعلی به 18% در سال 2020 افزایش می‌یابد و حجم این بخش خواهد بود. معادل 12.3 میلیارد دلار آمریکا باشد، برعکس، سهم تجهیزات محاسباتی از 20 درصد به 14 درصد کاهش می یابد و در سال 2020 به حدود 9.3 میلیارد دلار می رسد، بازار فناوری های ابری به تدریج افزایش می یابد و در سال 2020 به 6.3 میلیارد دلار، سهم بازار راه حل های ذخیره سازی داده ها، برعکس، از 15 درصد در سال 2014 به 13 درصد در سال 2020 و از نظر پولی معادل 8.9 میلیارد دلار آمریکا خواهد بود.
بر اساس پیش‌بینی تحلیل بینش Bain & Company، توزیع بازار کلان داده بر اساس صنعت در سال 2020 به این صورت خواهد بود:

• صنعت مالی 6.4 میلیارد دلار برای کلان داده با میانگین نرخ رشد 22 درصد در سال هزینه خواهد کرد.
• شرکت‌های اینترنتی برای 2.8 میلیارد دلار هزینه و نرخ رشد متوسط ​​هزینه‌ها 26 درصد طی 5 سال آینده.
• هزینه های بخش دولتی متناسب با هزینه های شرکت های اینترنتی خواهد بود، اما نرخ رشد کمتر خواهد بود - 22٪.
• بخش مخابرات با نرخ رشد متوسط ​​40 درصد رشد خواهد کرد و در سال 2020 به 1.2 میلیارد دلار خواهد رسید.

شرکت های انرژی مقدار نسبتا کمی در این فناوری ها سرمایه گذاری خواهند کرد - 800 میلیون دلار آمریکا، اما نرخ رشد یکی از بالاترین ها - 54٪ در سال خواهد بود.
بنابراین، شرکت‌های صنعت مالی در سال 2020 سهم بزرگی از بازار کلان داده را در اختیار خواهند گرفت و انرژی سریع‌ترین بخش در حال رشد را خواهد داشت.
بر اساس پیش بینی های تحلیلگران، حجم کل بازار در سال های آینده افزایش خواهد یافت. رشد بازار با معرفی فناوری‌های Big Data در کشورهای در حال توسعه جهان تضمین می‌شود، همانطور که از نمودار زیر قابل مشاهده است.

اندازه بازار پیش‌بینی‌شده به این بستگی دارد که کشورهای در حال توسعه چگونه فناوری‌های کلان داده را درک می‌کنند، آیا آنها به اندازه کشورهای توسعه‌یافته محبوب خواهند بود. در سال 2014، کشورهای در حال توسعه جهان 40 درصد از اطلاعات انباشته شده را به خود اختصاص داده اند. بر اساس پیش‌بینی EMC، ساختار بازار فعلی که تحت سلطه کشورهای توسعه‌یافته است، از اوایل سال 2017 تغییر خواهد کرد. بر اساس تحلیل EMC، در سال 2020 سهم کشورهای در حال توسعه بیش از 60 درصد خواهد بود.
طبق گفته سیسکو و EMC، کشورهای در حال توسعه جهان به طور فعال با داده های بزرگ کار خواهند کرد، از بسیاری جهات این به دلیل در دسترس بودن فناوری ها و انباشت اطلاعات کافی در سطح کلان داده خواهد بود. نقشه جهان در صفحه بعدی پیش بینی رشد و نرخ رشد Big Data را بر اساس منطقه نشان می دهد.

تجزیه و تحلیل بازار روسیه

• اوراکل
• مایکروسافت
• کلودرا
• هورتون ورکز
• Teradata.

مروری بر بازار بر اساس صنعت و تجربه استفاده از داده های بزرگ در شرکت ها

در روسیه، فناوری‌های Big Data در بخش بانکداری و مخابرات محبوب‌تر هستند، اما در صنعت معدن، انرژی، خرده‌فروشی، شرکت‌های لجستیک و بخش عمومی نیز مورد تقاضا هستند.
در مرحله بعد، نمونه هایی از استفاده از داده های بزرگ در واقعیت های روسیه در نظر گرفته می شود.

مخابرات
اپراتورهای مخابراتی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
یکی از حوزه های کاربرد فناوری Big Data، مدیریت وفاداری مشترکین است.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند. مخابرات علاوه بر استفاده از اطلاعات برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی متقلبانه استفاده می کند.
Vimpelcom یکی از درخشان ترین نمونه های این صنعت است. این شرکت از داده های بزرگ برای بهبود کیفیت خدمات در سطح هر مشترک، گزارش، تجزیه و تحلیل داده ها برای توسعه شبکه، مبارزه با هرزنامه ها و شخصی سازی خدمات استفاده می کند.

بانک ها
بخش قابل توجهی از کاربران Big Data را متخصصان صنعت مالی اشغال می کنند. یکی از آزمایش های موفق در بانک بازسازی و توسعه اورال انجام شد، جایی که از پایگاه اطلاعاتی برای تجزیه و تحلیل مشتریان استفاده شد، این بانک شروع به ارائه پیشنهادات وام، سپرده ها و سایر خدمات تخصصی کرد. در طول سال استفاده از این فناوری ها، سبد وام خرده فروشی این شرکت 55 درصد رشد داشته است.
آلفا بانک اطلاعات شبکه های اجتماعی را تجزیه و تحلیل می کند، درخواست های وام را پردازش می کند، رفتار کاربران وب سایت شرکت را تجزیه و تحلیل می کند.
Sberbank همچنین پردازش یک آرایه داده را برای تقسیم بندی مشتریان، جلوگیری از تقلب، فروش متقابل و مدیریت ریسک آغاز کرده است. در آینده، برای بهبود خدمات و تجزیه و تحلیل اقدامات مشتریان در زمان واقعی برنامه ریزی شده است.
بانک توسعه منطقه ای همه روسیه رفتار دارندگان کارت های پلاستیکی را تجزیه و تحلیل می کند. این به شما امکان می دهد تراکنش هایی را که برای یک مشتری خاص غیرمعمول هستند شناسایی کنید و در نتیجه احتمال سرقت وجوه از کارت های پلاستیکی را افزایش دهید.

خرده فروشی
در روسیه، فناوری‌های Big Data توسط شرکت‌های تجاری آنلاین و آفلاین پیاده‌سازی شده‌اند. امروزه، طبق گزارش CNews Analytics، 20 درصد از خرده فروشان از داده های بزرگ استفاده می کنند. 75 درصد از متخصصان خرده‌فروشی، داده‌های بزرگ را برای توسعه یک استراتژی رقابتی برای ارتقای یک شرکت ضروری می‌دانند. طبق آمار هادوپ، پس از معرفی فناوری Big Data، سود در سازمان های تجاری بین 7 تا 10 درصد رشد می کند.
متخصصان M.Video از بهبود برنامه ریزی لجستیک پس از اجرای SAP HANA صحبت می کنند، همچنین در نتیجه اجرای آن، تهیه گزارش های سالانه از 10 روز به 3، سرعت بارگذاری روزانه داده ها از 3 کاهش یافت. ساعت تا 30 دقیقه
ویکی‌مارت از این فناوری‌ها برای ایجاد توصیه‌هایی برای بازدیدکنندگان سایت استفاده می‌کند.
یکی از اولین فروشگاه های آفلاین که تجزیه و تحلیل داده های بزرگ را در روسیه معرفی کرد Lenta بود. با کمک Big Data، خرده فروشی شروع به مطالعه اطلاعات مشتریان از رسیدهای نقدی کرد. خرده فروش اطلاعاتی را برای ایجاد مدل های رفتاری جمع آوری می کند که تصمیم گیری آگاهانه تری را در سطح عملیاتی و تجاری امکان پذیر می کند.

صنعت نفت و گاز
در این صنعت، دامنه داده های بزرگ بسیار گسترده است. فناوری های کلان داده را می توان در استخراج مواد معدنی از روده ها به کار برد. با کمک آنها می توانید فرآیند استخراج و موثرترین روش های استخراج آن را تجزیه و تحلیل کنید، فرآیند حفاری را ردیابی کنید، کیفیت مواد اولیه را تجزیه و تحلیل کنید و همچنین پردازش و بازاریابی محصولات نهایی را تجزیه و تحلیل کنید. در روسیه، این فناوری ها در حال حاضر توسط ترانس نفت و روس نفت استفاده می شود.

ارگان های دولتی
در کشورهایی مانند آلمان، استرالیا، اسپانیا، ژاپن، برزیل و پاکستان از فناوری‌های Big Data برای حل مشکلات ملی استفاده می‌شود. این فناوری‌ها به مقامات دولتی کمک می‌کنند تا خدمات مؤثرتری به مردم ارائه دهند، حمایت اجتماعی هدفمند را ارائه دهند.
در روسیه، این فناوری ها توسط نهادهای دولتی مانند صندوق بازنشستگی، خدمات مالیاتی فدرال و صندوق بیمه اجباری پزشکی تسلط یافتند. پتانسیل اجرای پروژه‌ها با استفاده از داده‌های بزرگ بسیار زیاد است؛ این فناوری‌ها می‌توانند به بهبود کیفیت خدمات، و در نتیجه، استاندارد زندگی مردم کمک کنند.

لجستیک و حمل و نقل
Big Data می تواند توسط شرکت های حمل و نقل نیز استفاده شود. با کمک فناوری‌های Big Data می‌توان ناوگان خودروها را ردیابی کرد، هزینه‌های سوخت را در نظر گرفت و درخواست‌های مشتریان را رصد کرد.
راه آهن روسیه فناوری های Big Data را همراه با SAP پیاده سازی کرد. این فناوری ها به کاهش 43.5 برابری زمان گزارش دهی (از 14.5 ساعت به 20 دقیقه) و بهبود دقت تخصیص هزینه تا 40 برابر کمک کردند. همچنین داده های بزرگ به فرآیندهای برنامه ریزی و تنظیم تعرفه وارد شد. در مجموع، شرکت ها از بیش از 300 سیستم مبتنی بر راه حل های SAP استفاده می کنند، 4 مرکز داده درگیر هستند و تعداد کاربران 220000 نفر است.

محرک ها و محدودیت های اصلی بازار

• افزایش علاقه کاربران به امکانات داده های بزرگ به عنوان راهی برای افزایش رقابت پذیری شرکت؛
• توسعه روش هایی برای پردازش فایل های رسانه ای در سطح جهانی؛
• انتقال سرورهایی که اطلاعات شخصی را پردازش می کنند به قلمرو روسیه مطابق با قانون تصویب شده در مورد ذخیره و پردازش داده های شخصی.
• اجرای طرح صنعت جایگزینی واردات نرم افزار. این طرح شامل حمایت دولتی از تولیدکنندگان نرم‌افزار داخلی و همچنین ارائه اولویت‌ها برای محصولات داخلی فناوری اطلاعات هنگام خرید با هزینه عمومی است.
• در شرایط جدید اقتصادی، زمانی که دلار تقریباً دو برابر شده است، تمایل به افزایش استفاده از خدمات ارائه دهندگان خدمات ابری روسی به جای خدمات خارجی وجود خواهد داشت.
• ایجاد پارک های فناوری که به توسعه بازار فناوری اطلاعات کمک می کند، از جمله بازار داده های بزرگ.
• برنامه ایالتی برای معرفی سیستم های شبکه ای که مبتنی بر فناوری های داده های بزرگ هستند.

موانع اصلی توسعه داده های بزرگ در بازار روسیه عبارتند از:

• تضمین امنیت و محرمانه بودن داده ها؛
• کمبود پرسنل واجد شرایط؛
• ناکافی بودن منابع اطلاعاتی انباشته تا سطح کلان داده در اکثر شرکت های روسی؛
• مشکلات در معرفی فن آوری های جدید در سیستم های اطلاعاتی مستقر شرکت ها؛
• هزینه بالای فناوری های کلان داده، که منجر به تعداد محدودی از شرکت ها می شود که فرصت اجرای این فناوری ها را دارند.
• عدم اطمینان سیاسی و اقتصادی که منجر به خروج سرمایه و انجماد پروژه های سرمایه گذاری در روسیه شد.
• به گفته IDC، افزایش قیمت محصولات وارداتی و افزایش تورم، مانع از توسعه کل بازار فناوری اطلاعات شده است.

پیش بینی بازار روسیه

با این وجود، بازار روسیه با پیروی از روندهای جهانی افزایش خواهد یافت. از سال 2014، IDC اندازه بازار را 340 میلیون دلار تخمین زده است.
نرخ رشد بازار برای سال های گذشته 50 درصد در سال بود، اگر در همان سطح باقی بماند، در سال 2018 حجم بازار به 1.7 میلیارد دلار خواهد رسید. سهم بازار روسیه در بازار جهانی حدود 3 درصد خواهد بود که از 1.2 درصد فعلی افزایش یافته است.

پذیراترین صنایع برای استفاده از داده های بزرگ در روسیه عبارتند از:

• خرده فروشی و بانک ها، برای آنها، اول از همه، تجزیه و تحلیل پایگاه مشتری، ارزیابی اثر کمپین های بازاریابی مهم است.
• مخابرات - تقسیم‌بندی پایگاه مشتری و کسب درآمد از ترافیک؛
• بخش عمومی - گزارش، تجزیه و تحلیل برنامه های کاربردی از مردم و غیره؛
• شرکت های نفتی - نظارت بر کار و برنامه ریزی تولید و بازاریابی؛
• شرکت های انرژی - ایجاد سیستم های برق هوشمند، نظارت و پیش بینی عملیاتی.

نتایج اصلی تحلیل بازار

بازار جهانی

• حجم بازار به 28.5 میلیارد دلار آمریکا رسید که نسبت به سال قبل 45 درصد افزایش داشت.
• بیشتر درآمدهای بازار کلان داده از خدمات تشکیل شده بود، سهم آنها معادل 40٪ از کل درآمد بود.
• 36 درصد از درآمد از برنامه های کاربردی و تجزیه و تحلیل داده های بزرگ، 17 درصد از سخت افزار محاسباتی و 15 درصد از فناوری های ذخیره سازی به دست آمده است.
• پلتفرم های درون حافظه شرکت هایی مانند SAP، HANA و Oracle محبوب ترین ها برای حل مشکلات Big Data هستند.
• تعداد شرکت‌هایی که پروژه‌های اجرا شده در زمینه مدیریت کلان داده را 125 درصد افزایش دادند.

• در سال 2015 حجم بازار به 38.4 میلیارد دلار آمریکا خواهد رسید، در سال 2020 - 68.7 میلیارد دلار آمریکا.
• متوسط ​​نرخ رشد سالانه 16% خواهد بود.
• میانگین هزینه شرکت در فناوری‌های Big Data 13.8 میلیون دلار برای شرکت‌های بزرگ و 1.6 میلیون دلار برای مشاغل کوچک و متوسط ​​خواهد بود.
• فناوری‌ها بیشترین شیوع را در حوزه خدمات مشتری و بازاریابی هدفمند خواهند داشت.
• در سال 2017، ساختار بازار جهانی به سمت برتری شرکت های کاربر از کشورهای در حال توسعه تغییر خواهد کرد.

بازار روسیه

• حجم بازار به 340 میلیون دلار آمریکا رسید.
• متوسط ​​نرخ رشد بازار در سال های گذشته 50 درصد سالانه بود.
• مجموع اطلاعات انباشته شده 155 اگزابایت بود.
• 10 درصد از شرکت‌های روسی استفاده از فناوری‌های Big Data را آغاز کرده‌اند.
• فناوری‌های کلان داده در بخش بانکداری، مخابرات، شرکت‌های اینترنتی و خرده‌فروشی محبوبیت بیشتری داشتند.

• حجم بازار روسیه در سال 2015 به 500 میلیون دلار آمریکا و در سال 2018 - 1.7 میلیارد دلار آمریکا خواهد رسید.
• سهم بازار روسیه در بازار جهانی در سال 2018 حدود 3٪ خواهد بود.
• مقدار داده های انباشته شده در سال 2020 980 اگزابایت خواهد بود.
• داده ها در سال 2020 به 2.2 درصد از داده های جهانی افزایش می یابد.
• فن آوری های تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و اینترنت اشیا بیشترین محبوبیت را به دست خواهند آورد.

از اینکه برای خواندن این اثر حجیم وقت گذاشتید متشکریم، در وبلاگ ما مشترک شوید - ما قول بسیاری از انتشارات جالب جدید را می دهیم!

پیش‌بینی می‌شد که کل حجم جهانی داده‌های ایجاد شده و تکثیر شده در سال 2011 می‌تواند حدود 1.8 زتابایت (1.8 تریلیون گیگابایت) باشد - تقریباً 9 برابر بیشتر از آنچه در سال 2006 ایجاد شد.

تعریف پیچیده تر

با این وجود` اطلاعات بزرگشامل چیزی بیش از تجزیه و تحلیل حجم وسیعی از اطلاعات است. مشکل این نیست که سازمان‌ها حجم عظیمی از داده‌ها را ایجاد می‌کنند، بلکه بیشتر آن‌ها در قالبی ارائه می‌شوند که به خوبی با قالب پایگاه داده ساختاریافته سنتی مطابقت ندارد - گزارش‌های وب، ویدئوها، اسناد متنی، کد ماشین یا برای به عنوان مثال، داده های جغرافیایی. همه اینها در بسیاری از مخازن مختلف، گاهی اوقات حتی خارج از سازمان ذخیره می شود. در نتیجه، شرکت ها می توانند به حجم عظیمی از داده های خود دسترسی داشته باشند و دسترسی نداشته باشند ابزار لازمبرای ایجاد روابط بین این داده ها و نتیجه گیری معنادار از آنها. به این واقعیت اضافه کنید که اکنون داده ها بیشتر و بیشتر به روز می شوند، و به موقعیتی دست می یابید که در آن روش های سنتی تجزیه و تحلیل اطلاعات نمی توانند با حجم عظیمی از داده های دائماً به روز می شوند، که در نهایت راه را برای فناوری هموار می کند. اطلاعات بزرگ.

بهترین تعریف

در اصل، مفهوم اطلاعات بزرگشامل کار با اطلاعات با حجم زیاد و ترکیبات متنوع است که اغلب به روز می شود و در منابع مختلف قرار می گیرد تا کارایی کار را افزایش دهد، محصولات جدید ایجاد کند و رقابت را افزایش دهد. شرکت مشاور Forrester آن را به اختصار بیان می کند: ` اطلاعات بزرگتکنیک‌ها و فناوری‌هایی را گرد هم می‌آورد که از داده‌ها در نهایت عملی بودن معنا استخراج می‌کنند.

تفاوت بین هوش تجاری و کلان داده چقدر است؟

کریگ باتی، مدیر ارشد بازاریابی و مدیر ارشد فناوری فوجیتسو استرالیا، خاطرنشان کرد که تجزیه و تحلیل کسب و کار یک فرآیند توصیفی برای تجزیه و تحلیل نتایج به دست آمده توسط یک کسب و کار در یک دوره زمانی معین، در حالی که سرعت پردازش است. اطلاعات بزرگبه شما این امکان را می دهد تا تجزیه و تحلیل را پیش بینی کنید و قادر به ارائه توصیه های تجاری برای آینده باشید. فناوری های کلان داده نیز امکان تجزیه و تحلیل را فراهم می کند انواع بیشترداده ها در مقایسه با ابزارهای هوش تجاری، که این امکان را فراهم می کند که نه تنها بر روی ذخیره سازی ساختاریافته تمرکز کنید.

مت اسلوکام از O "Reilly Radar معتقد است که اگرچه اطلاعات بزرگو هوش تجاری هدف یکسانی دارند (یافتن پاسخ به یک سوال)، از سه جنبه با یکدیگر تفاوت دارند.

• کلان داده برای پردازش مقادیر بیشتری از اطلاعات نسبت به هوش تجاری طراحی شده است، و این البته با تعریف سنتی داده های بزرگ مطابقت دارد.
• کلان داده برای پردازش سریعتر و سریعتر اطلاعات طراحی شده است که به معنای کاوش عمیق و تعامل است. در برخی موارد، نتایج سریعتر از بارگذاری صفحه وب تولید می شوند.
• کلان داده برای مدیریت داده‌های بدون ساختار طراحی شده است که ما تازه شروع به بررسی نحوه استفاده از آن‌ها پس از جمع‌آوری و ذخیره آن‌ها کرده‌ایم، و به الگوریتم‌ها و گفتگو نیاز داریم تا بتوانیم روندهای موجود در این آرایه‌ها را آسان‌تر پیدا کنیم.

با توجه به Oracle Information Architecture: An Architect's Guide to Big Data paper سفید منتشر شده توسط Oracle، هنگام کار با کلان داده، ما به اطلاعات متفاوت از زمانی که تجزیه و تحلیل تجاری انجام می دهیم، برخورد می کنیم.

کار با کلان داده مانند یک فرآیند معمولی هوش تجاری نیست، جایی که صرفاً با جمع کردن مقادیر شناخته شده نتایج حاصل می شود: به عنوان مثال، اضافه کردن صورتحساب های پرداخت شده با هم تبدیل به فروش برای یک سال می شود. هنگام کار با داده های بزرگ، نتیجه در فرآیند تمیز کردن آنها از طریق مدل سازی متوالی به دست می آید: ابتدا یک فرضیه مطرح می شود، یک مدل آماری، بصری یا معنایی ساخته می شود، بر اساس آن صحت فرضیه ارائه شده بررسی می شود. ، و سپس مورد بعدی مطرح می شود. این فرایند محقق را ملزم می کند که معانی بصری را تفسیر کند یا پرس و جوهای مبتنی بر دانش تعاملی ایجاد کند یا الگوریتم های «یادگیری ماشینی» تطبیقی ​​را توسعه دهد که قادر به تولید نتیجه دلخواه باشد. علاوه بر این، طول عمر چنین الگوریتمی می تواند بسیار کوتاه باشد.

تکنیک های تجزیه و تحلیل داده های بزرگ

روش های مختلفی برای تجزیه و تحلیل آرایه های داده وجود دارد که بر اساس ابزارهای قرض گرفته شده از آمار و علوم کامپیوتر (به عنوان مثال، یادگیری ماشین) است. این فهرست ادعا نمی کند که کامل است، اما نشان دهنده محبوب ترین رویکردها در صنایع مختلف است. در عین حال، باید درک کرد که محققان به کار بر روی ایجاد روش‌های جدید و بهبود روش‌های موجود ادامه می‌دهند. علاوه بر این، برخی از تکنیک های ذکر شده لزوماً به طور انحصاری برای داده های بزرگ قابل استفاده نیستند و می توانند با موفقیت برای آرایه های کوچکتر استفاده شوند (به عنوان مثال، آزمایش A / B، تجزیه و تحلیل رگرسیون). البته، هرچه حجم و تنوع آرایه بیشتر باشد، داده های دقیق و مرتبط تری در خروجی به دست می آید.

تست A/B. تکنیکی که در آن یک نمونه کنترل به نوبه خود با سایرین مقایسه می شود. بنابراین، می‌توان ترکیب بهینه شاخص‌ها را برای دستیابی به بهترین پاسخ مصرف‌کننده به یک پیشنهاد بازاریابی، شناسایی کرد. اطلاعات بزرگاجازه می دهد تعداد زیادی تکرار انجام شود و در نتیجه نتیجه آماری قابل توجهی به دست آید.

یادگیری قوانین انجمن. مجموعه ای از تکنیک ها برای شناسایی روابط، به عنوان مثال. قوانین ارتباط بین متغیرها در آرایه های داده بزرگ. استفاده شده در داده کاوی.

طبقه بندی. مجموعه‌ای از تکنیک‌ها که به شما امکان می‌دهد رفتار مصرف‌کننده را در یک بخش خاص از بازار (تصمیم‌های خرید، ریزش، حجم مصرف و غیره) پیش‌بینی کنید. استفاده شده در داده کاوی.

آنالیز خوشه ای. یک روش آماری برای طبقه بندی اشیا به گروه ها با شناسایی ویژگی های مشترکی که از قبل شناخته شده نیستند. استفاده شده در داده کاوی.

جمع سپاری. تکنیکی برای جمع آوری داده ها از تعداد زیادی منبع.

ادغام داده ها و یکپارچه سازی داده ها. مجموعه ای از تکنیک ها که به شما امکان می دهد نظرات کاربران شبکه های اجتماعی را تجزیه و تحلیل کنید و آنها را با نتایج فروش لحظه ای مقایسه کنید.

داده کاوی. مجموعه‌ای از تکنیک‌ها که به شما امکان می‌دهد حساس‌ترین دسته‌های مصرف‌کنندگان را برای محصول یا خدمات تبلیغ شده تعیین کنید، ویژگی‌های موفق‌ترین کارمندان را شناسایی کنید و مدل رفتاری مصرف‌کنندگان را پیش‌بینی کنید.

یادگیری گروهی. در این روش از مدل های پیش بینی زیادی استفاده می شود که کیفیت پیش بینی های انجام شده را بهبود می بخشد.

الگوریتم های ژنتیک. در این تکنیک راه حل های امکان پذیربه عنوان "کروموزوم" نشان داده می شود که می تواند ترکیب شود و جهش یابد. همانطور که در فرآیند تکامل طبیعی، شایسته ترین فرد زنده می ماند.

فراگیری ماشین. جهتی در علوم کامپیوتر (از لحاظ تاریخی نام «هوش مصنوعی» به آن اختصاص داده شده است)، که هدف آن ایجاد الگوریتم های خودآموز بر اساس تجزیه و تحلیل داده های تجربی است.

پردازش زبان طبیعی (NLP). مجموعه ای از تکنیک های تشخیص زبان طبیعی که از علوم کامپیوتر و زبان شناسی وام گرفته شده است.

تجزیه و تحلیل شبکه. مجموعه ای از تکنیک ها برای تجزیه و تحلیل پیوندهای بین گره ها در شبکه ها. با توجه به شبکه های اجتماعی، این امکان را به شما می دهد تا روابط بین کاربران، شرکت ها، جوامع و غیره را تجزیه و تحلیل کنید.

بهينه سازي. مجموعه ای از روش های عددی برای طراحی مجدد سیستم ها و فرآیندهای پیچیده برای بهبود یک یا چند شاخص. به تصمیم گیری استراتژیک کمک می کند، به عنوان مثال، ترکیب خط تولید معرفی شده به بازار، انجام تجزیه و تحلیل سرمایه گذاری و غیره.

الگو شناسی. مجموعه ای از تکنیک ها با عناصر خودآموزی برای پیش بینی مدل رفتاری مصرف کنندگان.

مدل سازی پیش بینی. مجموعه ای از تکنیک ها که به شما امکان می دهد یک مدل ریاضی از یک سناریوی احتمالی از پیش تعیین شده برای توسعه رویدادها ایجاد کنید. به عنوان مثال، تجزیه و تحلیل پایگاه داده سیستم CRM برای شرایط احتمالی که مشترکان را مجبور به تغییر ارائه دهندگان می کند.

پسرفت. مجموعه ای از روش های آماری برای شناسایی الگوهای بین تغییرات یک متغیر وابسته و یک یا چند متغیر مستقل. اغلب برای پیش بینی و پیش بینی استفاده می شود. در داده کاوی استفاده می شود.

تحلیل احساسات. تکنیک های ارزیابی احساسات مصرف کننده بر اساس فناوری های تشخیص زبان طبیعی انسان است. آنها به شما اجازه می دهند پیام های مربوط به موضوع مورد علاقه (به عنوان مثال، یک محصول مصرفی) را از جریان اطلاعات عمومی جدا کنید. سپس، قطبیت قضاوت (مثبت یا منفی)، درجه احساسی بودن و غیره را ارزیابی کنید.

پردازش سیگنال. مجموعه ای از تکنیک های وام گرفته شده از مهندسی رادیو، که هدف آن تشخیص سیگنال در پس زمینه نویز و تجزیه و تحلیل بیشتر آن است.

تحلیل فضایی. مجموعه ای از تکنیک ها، تا حدی از آمار، برای تجزیه و تحلیل داده های مکانی - توپولوژی زمین، مختصات جغرافیایی، هندسه اشیا. منبع اطلاعات بزرگدر این مورد سیستم های اطلاعات جغرافیایی (GIS) اغلب عمل می کنند.

آمار. علم جمع آوری، سازماندهی و تفسیر داده ها، از جمله طراحی پرسشنامه و انجام آزمایش. روش های آماری اغلب برای قضاوت ارزشی در مورد روابط بین رویدادهای خاص استفاده می شود.

یادگیری تحت نظارت. مجموعه‌ای از تکنیک‌های مبتنی بر فناوری‌های یادگیری ماشینی که به شما امکان می‌دهد روابط عملکردی را در آرایه‌های داده تحلیل‌شده شناسایی کنید.

شبیه سازی. مدل سازی رفتار سیستم های پیچیده اغلب برای پیش بینی، پیش بینی و کار سناریوهای مختلف هنگام برنامه ریزی استفاده می شود.

تحلیل سری های زمانی. مجموعه ای از روش های وام گرفته شده از آمار و پردازش سیگنال دیجیتال برای تجزیه و تحلیل توالی داده ها که در طول زمان تکرار می شوند. یکی از کاربردهای آشکار، ردیابی بازار سهام یا بروز بیماران است.

یادگیری بدون نظارت. مجموعه‌ای از تکنیک‌های مبتنی بر فناوری‌های یادگیری ماشینی که به شما امکان می‌دهد روابط عملکردی پنهان را در مجموعه داده‌های تحلیل‌شده شناسایی کنید. دارای ویژگی های مشترک با آنالیز خوشه ای.

تجسم. روش‌هایی برای نمایش گرافیکی نتایج تجزیه و تحلیل کلان داده‌ها در قالب نمودار یا تصاویر متحرک برای ساده‌سازی تفسیر و تسهیل درک نتایج به‌دست‌آمده.

ارائه بصری نتایج تجزیه و تحلیل کلان داده ها برای تفسیر آنها اهمیت اساسی دارد. بر کسی پوشیده نیست که درک انسان محدود است و دانشمندان به انجام تحقیقات در زمینه بهبود روش های مدرن ارائه داده ها در قالب تصاویر، نمودارها یا انیمیشن ها ادامه می دهند.

ابزارهای تحلیلی

برای سال 2011، برخی از رویکردهای ذکر شده در بخش فرعی قبلی، یا ترکیب خاصی از آنها، امکان استفاده از موتورهای تحلیلی را برای کار با داده های بزرگ فراهم می کند. از سیستم‌های باز رایگان یا نسبتا ارزان برای تجزیه و تحلیل داده‌های بزرگ، می‌توانیم توصیه کنیم:

• تجزیه و تحلیل انقلاب (بر اساس زبان R برای آمار ریاضی).

جالب توجه خاص در این لیست Apache Hadoop، نرم افزار با متن باز، که به عنوان یک تحلیلگر داده توسط اکثر ردیاب های سهام در پنج سال گذشته آزمایش شده است. به محض اینکه یاهو کد Hadoop را به روی جامعه منبع باز باز کرد، یک روند کاملاً جدید در صنعت فناوری اطلاعات به سرعت ظهور کرد تا محصولاتی مبتنی بر Hadoop ایجاد کند. تقریباً تمام ابزارهای تحلیل مدرن اطلاعات بزرگادغام با Hadoop را فراهم کنید. توسعه دهندگان آنها هم استارت آپ و هم شرکت های معروف جهانی هستند.

بازارهای راه حل های مدیریت داده های بزرگ

پلتفرم های کلان داده (BDP، Big Data Platform) به عنوان ابزاری برای مبارزه با هجوم دیجیتال

توانایی تجزیه و تحلیل اطلاعات بزرگ، که به صورت محاوره ای Big Data نامیده می شود، به عنوان یک موهبت و بدون ابهام درک می شود. اما آیا واقعا اینطور است؟ تجمع لجام گسیخته داده ها می تواند منجر به چه چیزی شود؟ به احتمال زیاد به این واقعیت که روانشناسان داخلی در رابطه با یک فرد، احتکار بیمارگونه، سیلوگومانیا یا به طور مجازی را "سندرم پلیوشکین" می نامند. در انگلیسی، اشتیاق شرورانه برای جمع آوری همه چیز را hording می نامند (از گنجینه انگلیسی - "رزرو"). با توجه به طبقه بندی بیماری های روانی، هوردینگ به عنوان یک اختلال روانی طبقه بندی می شود. در عصر دیجیتال، دیجیتال (Digital Hoarding) به آکوردینگ مواد سنتی اضافه می شود، هم افراد و هم کل شرکت ها و سازمان ها () می توانند از آن رنج ببرند.

بازار جهانی و روسیه

چشم انداز کلان داده - ارائه دهندگان اصلی

علاقه به ابزارهای جمع آوری، پردازش، مدیریت و تجزیه و تحلیل اطلاعات بزرگتقریباً تمام شرکت های پیشرو فناوری اطلاعات را نشان داد که کاملاً طبیعی است. اولاً آنها مستقیماً این پدیده را در تجارت خود تجربه می کنند و ثانیاً اطلاعات بزرگفرصت‌های عالی را برای توسعه بازارهای جدید و جذب مشتریان جدید باز کنید.

استارت آپ های زیادی در بازار ظاهر شده اند که با پردازش حجم عظیمی از داده ها تجارت می کنند. برخی از آنها از زیرساخت ابری آماده ارائه شده توسط بازیکنان بزرگی مانند آمازون استفاده می کنند.

تئوری و عمل داده های بزرگ در صنایع

تاریخ توسعه

2017

پیش‌بینی TmaxSoft: «موج» بعدی Big Data به نوسازی DBMS نیاز دارد

کسب‌وکارها می‌دانند که حجم عظیمی از داده‌هایی که جمع‌آوری می‌کنند حاوی اطلاعات مهمی درباره کسب‌وکار و مشتریانشان است. اگر شرکتی بتواند این اطلاعات را با موفقیت به کار گیرد، مزیت قابل توجهی نسبت به رقبای خود خواهد داشت و می تواند محصولات و خدمات بهتری نسبت به آنها ارائه دهد. با این حال، بسیاری از سازمان ها هنوز نمی توانند به طور موثر استفاده کنند اطلاعات بزرگ TmaxSoft اشاره کرد که با توجه به اینکه زیرساخت IT قدیمی آنها نمی تواند ظرفیت ذخیره سازی لازم را فراهم کند، فرآیندهای تبادل داده، ابزارها و برنامه های کاربردی لازم برای پردازش و تجزیه و تحلیل آرایه های بزرگ داده های بدون ساختار برای استخراج اطلاعات ارزشمند از آنها است.

علاوه بر این، افزایش قدرت پردازش مورد نیاز برای تجزیه و تحلیل حجم فزاینده داده‌ها می‌تواند به سرمایه‌گذاری قابل توجهی در زیرساخت قدیمی فناوری اطلاعات سازمان و همچنین منابع اضافی تعمیر و نگهداری نیاز داشته باشد که می‌تواند برای توسعه برنامه‌ها و خدمات جدید استفاده شود.

در 5 فوریه 2015، کاخ سفید گزارشی را منتشر کرد که در آن درباره نحوه استفاده شرکت‌ها از اطلاعات بزرگبرای تعیین قیمت های مختلف برای خریداران مختلف - رویه ای که به عنوان "تبعیض قیمت" یا "قیمت گذاری متفاوت" (قیمت گذاری شخصی) شناخته می شود. این گزارش مزایای داده‌های بزرگ را هم برای فروشندگان و هم برای خریداران توصیف می‌کند و نتیجه می‌گیرد که بسیاری از مسائلی که با ظهور کلان داده‌ها و قیمت‌گذاری‌های متفاوت مطرح می‌شوند، می‌توانند در چارچوب قوانین و مقررات ضد تبعیض موجود، حفاظت از حقوق مصرف‌کنندگان، مورد توجه قرار گیرند.

این گزارش خاطرنشان می‌کند که در حال حاضر، تنها شواهد حکایتی وجود دارد که نشان می‌دهد چگونه شرکت‌ها از داده‌های بزرگ در زمینه بازاریابی فردی و قیمت‌گذاری متفاوت استفاده می‌کنند. این اطلاعات نشان می دهد که فروشندگان از روش های قیمت گذاری استفاده می کنند که می توان آنها را به سه دسته تقسیم کرد:

• مطالعه منحنی تقاضا؛
• هدایت و قیمت گذاری متمایز بر اساس جمعیت شناسی؛ و
• بازاریابی رفتاری هدف (هدف گیری رفتاری - هدف گذاری رفتاری) و قیمت گذاری فردی.

مطالعه منحنی تقاضا: به منظور درک تقاضا و درک رفتار مصرف کننده، بازاریابان اغلب آزمایش هایی را در این زمینه انجام می دهند که طی آن مشتریان به طور تصادفی یکی از دو مورد ممکن را به آنها اختصاص می دهند. دسته بندی قیمت. از نظر فنی، این آزمایش‌ها نوعی قیمت‌گذاری متفاوت هستند، زیرا منجر به قیمت‌های متفاوتی برای مشتریان می‌شوند، حتی اگر «بدون تبعیض» باشند، به این معنا که همه مشتریان شانس یکسانی برای «به دست آوردن» قیمت بالاتر دارند.

فرمان: این روش ارائه محصولات به مصرف کنندگان بر اساس تعلق آنها به یک گروه جمعیتی خاص است. به عنوان مثال، یک وب سایت شرکت کامپیوتری ممکن است بر اساس اطلاعاتی که در مورد خود ارائه می دهد، لپ تاپ یکسانی را به انواع مختلف مشتریان با قیمت های متفاوت ارائه دهد (به عنوان مثال، بسته به اینکه آیا کاربر داده شدهنماینده سازمان های دولتی، مؤسسات علمی یا تجاری یا یک فرد) یا موقعیت جغرافیایی آنها (مثلاً توسط آدرس IP یک رایانه تعیین می شود).

بازاریابی رفتاری هدفمند و قیمت گذاری سفارشی: در این موارد از داده های شخصی خریداران برای تبلیغات هدفمند و قیمت گذاری فردی محصولات خاص استفاده می شود. به عنوان مثال، تبلیغ‌کنندگان آنلاین از داده‌های جمع‌آوری‌شده توسط شبکه‌های تبلیغاتی و از طریق کوکی‌های شخص ثالث درباره فعالیت آنلاین کاربران برای هدف قرار دادن مطالب تبلیغاتی خود استفاده می‌کنند. این رویکرد، از یک سو، مصرف کنندگان را قادر می سازد تا تبلیغات کالاها و خدمات مورد علاقه خود را دریافت کنند، با این حال، ممکن است برای آن دسته از مصرف کنندگانی که انواع خاصی از داده های شخصی خود را نمی خواهند (مانند اطلاعات مربوط به بازدید از وب سایت های مرتبط) نگرانی ایجاد کند. با مسائل پزشکی و مالی) بدون رضایت آنها ملاقات کردند.

اگرچه بازاریابی رفتاری هدفمند گسترده است، شواهد نسبتا کمی از قیمت گذاری فردی در محیط آنلاین وجود دارد. این گزارش حدس می‌زند که این ممکن است به این دلیل باشد که روش‌ها هنوز در حال توسعه هستند، یا شرکت‌ها تمایلی به استفاده از قیمت‌گذاری فردی ندارند (یا ترجیح می‌دهند در مورد آن سکوت کنند) - شاید به دلیل ترس از واکنش منفی مصرف‌کنندگان.

نویسندگان این گزارش بر این باورند که «برای مصرف‌کننده منفرد، استفاده از داده‌های بزرگ بدون شک با بازده و خطرات احتمالی مرتبط است». در حالی که این گزارش اذعان می کند که شفافیت و مسائل تبعیض مرتبط با استفاده از داده های بزرگ وجود دارد، اما این گزارش استدلال می کند که قوانین ضد تبعیض و حمایت از مصرف کننده موجود برای رسیدگی به آنها کافی است. با این حال، این گزارش همچنین بر نیاز به «بررسی مداوم» زمانی که شرکت‌ها از اطلاعات محرمانه به شیوه‌ای غیرشفاف یا به روش‌هایی استفاده می‌کنند که توسط چارچوب نظارتی موجود پوشش داده نمی‌شود، تأکید می‌کند.

این گزارش ادامه تلاش های کاخ سفید برای بررسی استفاده از «داده های بزرگ» و قیمت گذاری تبعیض آمیز در اینترنت و پیامدهای ناشی از آن برای مصرف کنندگان آمریکایی است. پیش از این گزارش شده بود که گروه کاری کاخ سفید در زمینه داده های بزرگ گزارش خود را در مورد این موضوع در ماه می 2014 منتشر کرد. کمیسیون تجارت فدرال (FTC) همچنین در کارگاه آموزشی سپتامبر 2014 در مورد تبعیض در رابطه با استفاده از داده های بزرگ به این مسائل پرداخت.

2014

گارتنر کلان داده را ابهام می کند

خلاصه سیاست پاییز 2014 از گارتنر تعدادی از افسانه های رایج در مورد داده های بزرگ را در میان مدیران ارشد اطلاعات فهرست کرده و از بین می برد.

• همه سریعتر از ما سیستم های پردازش کلان داده را پیاده سازی می کنند

علاقه به فناوری‌های کلان داده در بالاترین حد خود قرار دارد، به طوری که 73 درصد از سازمان‌هایی که امسال توسط تحلیلگران گارتنر مورد بررسی قرار گرفتند، در حال حاضر روی آن سرمایه‌گذاری می‌کنند یا برای انجام آن برنامه‌ریزی می‌کنند. اما بیشتر این ابتکارات هنوز در مراحل اولیه خود هستند و تنها 13 درصد از افراد مورد بررسی قبلاً چنین راه حل هایی را اجرا کرده اند. سخت ترین قسمت این است که بفهمید چگونه می توانید از داده های بزرگ درآمدزایی کنید، تصمیم بگیرید که از کجا شروع کنید. بسیاری از سازمان ها در مرحله آزمایشی گیر می کنند زیرا نمی توانند گره بزنند تکنولوژی جدیدبه فرآیندهای تجاری خاص

• ما آنقدر داده داریم که نیازی به نگرانی در مورد خطاهای کوچک در آن نیست.

برخی از مدیران ارشد فناوری اطلاعات بر این باورند که نقص های کوچک در داده ها بر نتایج کلی تجزیه و تحلیل حجم های عظیم تأثیر نمی گذارد. تحلیلگران می گویند وقتی داده های زیادی وجود دارد، هر خطا به طور جداگانه واقعاً کمتر روی نتیجه تأثیر می گذارد، اما خود خطاها بزرگتر می شوند. علاوه بر این، بیشتر داده های تجزیه و تحلیل شده خارجی، با ساختار یا منشا ناشناخته هستند، بنابراین احتمال خطا افزایش می یابد. بنابراین، در دنیای داده های بزرگ، کیفیت در واقع بسیار مهمتر است.

• فن آوری های کلان داده نیاز به یکپارچه سازی داده ها را از بین می برد

Big Data توانایی پردازش داده ها در قالب اصلی خود را با تولید خودکار طرحواره در هنگام خواندن نوید می دهد. اعتقاد بر این است که این امکان تجزیه و تحلیل اطلاعات از منابع یکسان را با استفاده از مدل های داده های متعدد فراهم می کند. بسیاری بر این باورند که این به کاربران نهایی امکان می دهد تا هر مجموعه ای از داده ها را به روش خود تفسیر کنند. در واقعیت، اغلب کاربران اغلب طرح‌واره‌های سنتی خارج از جعبه را می‌خواهند که در آن داده‌ها به درستی قالب‌بندی شده باشند و توافق بر سر سطح یکپارچگی اطلاعات و نحوه ارتباط آن با مورد استفاده وجود داشته باشد.

• استفاده از انبارهای داده برای تجزیه و تحلیل پیچیده منطقی نیست

بسیاری از مدیران سیستم های مدیریت اطلاعات احساس می کنند که صرف زمان برای ایجاد یک انبار داده منطقی نیست، با توجه به اینکه سیستم های تحلیلی پیچیده از انواع جدیدی از داده ها استفاده می کنند. در واقع، بسیاری از سیستم های تحلیلی پیچیده از اطلاعات یک انبار داده استفاده می کنند. در موارد دیگر، انواع داده های جدید باید برای تجزیه و تحلیل در سیستم های پردازش داده های بزرگ آماده شوند. باید در مورد مناسب بودن داده ها، اصول تجمیع و سطح کیفی مورد نیاز تصمیم گیری شود - چنین آماده سازی می تواند در خارج از انبار انجام شود.

• انبارهای داده با دریاچه های داده جایگزین خواهند شد

در واقع، فروشندگان با قرار دادن دریاچه های داده به عنوان جایگزینی برای ذخیره سازی یا به عنوان یک منبع حیاتی، مشتریان را گمراه می کنند عناصر مهمزیرساخت های تحلیلی فناوری‌های زیربنایی دریاچه‌های داده فاقد بلوغ و وسعت عملکرد موجود در انبارهای داده هستند. بنابر گفته گارتنر، رهبران مسئول مدیریت داده ها باید منتظر بمانند تا دریاچه ها به همان سطح توسعه برسند.

Accenture: 92 درصد از کسانی که سیستم های کلان داده را پیاده سازی کردند از نتیجه راضی هستند

از جمله مزایای اصلی داده های بزرگ، پاسخ دهندگان نام بردند:

• "جستجو برای منابع جدید درآمد" (56٪)،
• "بهبود تجربه مشتری" (51%)،
• «محصولات و خدمات جدید» (50%) و
• "هجوم مشتریان جدید و حفظ وفاداری مشتریان قدیمی" (47٪).

هنگام معرفی فناوری های جدید، بسیاری از شرکت ها با مشکلات سنتی مواجه شده اند. برای 51٪، مانع امنیت، برای 47٪ - بودجه، برای 41٪ - کمبود پرسنل لازم، و برای 35٪ - مشکلات در ادغام با سیستم موجود بود. تقریباً همه شرکت های مورد بررسی (حدود 91٪) قصد دارند به زودی مشکل کمبود پرسنل را حل کنند و متخصصان کلان داده را استخدام کنند.

شرکت ها نسبت به آینده فناوری های کلان داده خوش بین هستند. 89 درصد معتقدند که تجارت را به اندازه اینترنت تغییر خواهند داد. 79 درصد از پاسخ دهندگان خاطرنشان کردند که شرکت هایی که با کلان داده سروکار ندارند مزیت رقابتی خود را از دست خواهند داد.

با این حال، پاسخ دهندگان در مورد اینکه دقیقاً چه چیزی باید کلان داده در نظر گرفته شود، اختلاف نظر داشتند. 65٪ از پاسخ دهندگان معتقدند که این "فایل های داده بزرگ" هستند، 60٪ مطمئن هستند که این "تحلیل و تجزیه و تحلیل پیشرفته" است، و 50٪ معتقدند که این "ابزارهای تجسم داده" است.

مادرید 14.7 میلیون یورو برای مدیریت کلان داده هزینه می کند

در جولای 2014، مشخص شد که مادرید از فناوری های کلان داده برای مدیریت زیرساخت های شهری استفاده خواهد کرد. هزینه این پروژه 14.7 میلیون یورو است و راه حل های اجرا شده بر اساس فناوری هایی برای تجزیه و تحلیل و مدیریت کلان داده ها خواهد بود. مدیریت شهری با کمک آنها، کار با هر ارائه دهنده خدمات را مدیریت می کند و بسته به سطح خدمات، بر اساس آن پرداخت می کند.

ما در مورد پیمانکاران اداره صحبت می کنیم که بر وضعیت خیابان ها، روشنایی، آبیاری، فضای سبز نظارت می کنند، قلمرو را پاکسازی و حذف می کنند و همچنین زباله ها را پردازش می کنند. در این پروژه 300 شاخص کلیدی عملکرد خدمات شهری برای بازرسان اختصاصی تدوین شده است که بر اساس آن روزانه 1.5 هزار بررسی و اندازه گیری مختلف انجام می شود. علاوه بر این، شهر شروع به استفاده از یک پلتفرم فناوری نوآورانه به نام مادرید iNTeligente (MiNT) - هوشمندتر مادرید خواهد کرد.

2013

کارشناسان: اوج مد برای داده های بزرگ

بدون استثنا، همه فروشندگان در بازار مدیریت داده در حال حاضر در حال توسعه فناوری هایی برای مدیریت داده های بزرگ هستند. این روند فناوری جدید نیز به طور فعال توسط جامعه حرفه ای، توسعه دهندگان و تحلیلگران صنعت و مصرف کنندگان بالقوه چنین راه حل هایی مورد بحث قرار گرفته است.

همانطور که Datashift متوجه شد، از ژانویه 2013، موج بحث پیرامون " اطلاعات بزرگ"از همه ابعاد قابل تصور فراتر رفت. پس از تجزیه و تحلیل تعداد ذکر شده از Big Data در شبکه های اجتماعی، Datashift محاسبه کرد که در سال 2012 این اصطلاح حدود 2 میلیارد بار در پست های ایجاد شده توسط حدود 1 میلیون نویسنده مختلف در سراسر جهان استفاده شده است. این معادل 260 پست در ساعت، با حداکثر 3070 ذکر در ساعت است.

گارتنر: هر ثانيه CIO آمادگي خرج كردن پول در Big Data را دارد

گارتنر پیش بینی می کند که پس از چندین سال آزمایش با فناوری های داده های بزرگ و اولین پیاده سازی در سال 2013، انطباق چنین راه حل هایی به طور قابل توجهی افزایش خواهد یافت. محققان رهبران فناوری اطلاعات در سراسر جهان را مورد نظرسنجی قرار دادند و دریافتند که 42 درصد از افراد مورد بررسی قبلاً در فناوری های داده های بزرگ سرمایه گذاری کرده اند یا در حال برنامه ریزی برای انجام چنین سرمایه گذاری هایی در سال آینده هستند (داده های مارس 2013).

شرکت ها مجبورند برای فناوری های پردازش پول خرج کنند اطلاعات بزرگاز آنجایی که چشم انداز اطلاعات به سرعت در حال تغییر است، من به رویکردهای جدیدی برای پردازش اطلاعات نیاز دارم. بسیاری از شرکت‌ها قبلاً متوجه شده‌اند که کلان داده حیاتی است و کار با آن به شما امکان می‌دهد با استفاده از منابع سنتی اطلاعات و روش‌های پردازش آن به مزایایی دست یابید که در دسترس نیستند. علاوه بر این، اغراق مداوم موضوع "داده های بزرگ" در رسانه ها علاقه به فناوری های مربوطه را افزایش می دهد.

فرانک بویتندیک، نایب رئیس گارتنر، حتی از شرکت‌ها خواست که تنش را کاهش دهند زیرا برخی نگران هستند که از رقبا در تسلط بر داده‌های بزرگ عقب مانده‌اند.

او گفت: «جای نگرانی نیست، امکانات برای تحقق ایده‌های مبتنی بر فناوری‌های کلان داده تقریباً نامحدود است.

گارتنر پیش بینی می کند که تا سال 2015، 20 درصد از شرکت های جهانی 1000 تمرکز استراتژیک بر "زیرساخت اطلاعات" خواهند داشت.

با پیش‌بینی فرصت‌های جدیدی که فناوری‌های پردازش کلان داده به ارمغان می‌آورند، بسیاری از سازمان‌ها در حال سازماندهی فرآیند جمع‌آوری و ذخیره انواع مختلف اطلاعات هستند.

برای سازمان‌های آموزشی و دولتی و همچنین شرکت‌های این صنعت، بیشترین پتانسیل برای تحول کسب‌وکار در ترکیب داده‌های انباشته شده با داده‌های به اصطلاح تاریک (به معنای واقعی کلمه - "داده‌های تاریک") نهفته است، دومی شامل پیام‌های ایمیل، چند رسانه‌ای است. و سایر مطالب مشابه به گفته گارتنر، کسانی که یاد می گیرند چگونه با منابع اطلاعاتی متنوعی برخورد کنند، برنده مسابقه داده خواهند شد.

نظرسنجی سیسکو: داده های بزرگ به افزایش بودجه فناوری اطلاعات کمک می کند

گزارش فناوری جهان متصل سیسکو (بهار 2013) که توسط شرکت تحلیلی مستقل InsightExpress در 18 کشور انجام شد، از 1800 دانشجوی کالج و تعداد مساوی از متخصصان جوان 18 تا 30 ساله نظرسنجی کرد. این نظرسنجی به منظور آگاهی از میزان آمادگی واحدهای فناوری اطلاعات برای اجرای پروژه ها انجام شده است اطلاعات بزرگو درک درستی از چالش های مرتبط، نقص های تکنولوژیکی و ارزش استراتژیک چنین پروژه هایی به دست آورید.

اکثر شرکت ها داده ها را جمع آوری، ثبت و تجزیه و تحلیل می کنند. با این حال، بر اساس این گزارش، بسیاری از شرکت ها با طیف وسیعی از چالش های تجاری و فناوری اطلاعات پیچیده در ارتباط با داده های بزرگ مواجه هستند. برای مثال، 60 درصد از افراد مورد بررسی اذعان دارند که راه‌حل‌های کلان داده می‌توانند فرآیندهای تصمیم‌گیری را بهبود بخشند و رقابت‌پذیری را افزایش دهند، اما تنها 28 درصد گفتند که در حال حاضر از اطلاعات انباشته شده، مزایای استراتژیک واقعی دریافت می‌کنند.

بیش از نیمی از CIOهای مورد بررسی معتقدند که پروژه‌های کلان داده به افزایش بودجه فناوری اطلاعات در سازمان‌هایشان کمک می‌کند، زیرا تقاضا برای فناوری، پرسنل و مهارت‌های حرفه‌ای افزایش خواهد یافت. در همان زمان، بیش از نیمی از پاسخ دهندگان انتظار دارند که چنین پروژه هایی بودجه فناوری اطلاعات شرکت هایشان را در سال 2012 افزایش دهند. 57 درصد مطمئن هستند که بیگ دیتا بودجه آنها را طی سه سال آینده افزایش خواهد داد.

81 درصد از پاسخ دهندگان گفتند که همه (یا حداقل برخی) پروژه های کلان داده به استفاده از محاسبات ابری نیاز دارند. بنابراین، گسترش فناوری های ابری می تواند بر سرعت توزیع راه حل های کلان داده و ارزش این راه حل ها برای تجارت تأثیر بگذارد.

شرکت ها از بیشترین داده ها جمع آوری و استفاده می کنند انواع متفاوتچه ساختار یافته و چه بدون ساختار. در اینجا منابعی وجود دارد که شرکت کنندگان در نظرسنجی داده ها را از آنها دریافت می کنند (گزارش فناوری جهان متصل سیسکو):

نزدیک به نیمی (48 درصد) از CIOها پیش‌بینی می‌کنند که بار شبکه‌هایشان در دو سال آینده دو برابر خواهد شد. (این به ویژه در چین صادق است، جایی که 68 درصد از افراد مورد بررسی این دیدگاه را دارند و در آلمان 60 درصد). 23 درصد از پاسخ دهندگان انتظار دارند ترافیک شبکه طی دو سال آینده سه برابر شود. در همان زمان، تنها 40 درصد از پاسخ دهندگان آمادگی خود را برای رشد انفجاری در ترافیک شبکه اعلام کردند.

27 درصد از افراد مورد بررسی اذعان داشتند که به سیاست‌های فناوری اطلاعات و اقدامات امنیت اطلاعات بهتری نیاز دارند.

21 درصد به پهنای باند بیشتری نیاز دارند.

Big Data فرصت‌های جدیدی را برای بخش‌های IT برای افزودن ارزش و ایجاد روابط نزدیک با واحدهای تجاری برای افزایش درآمد و تقویت موقعیت مالی شرکت باز می‌کند. پروژه های کلان داده، بخش های فناوری اطلاعات را به شریک استراتژیک بخش های تجاری تبدیل می کند.

به گفته 73 درصد از پاسخ دهندگان، این بخش فناوری اطلاعات است که به موتور اصلی برای اجرای استراتژی کلان داده تبدیل خواهد شد. در عین حال، پاسخ دهندگان معتقدند که سایر بخش ها نیز در اجرای این استراتژی مشارکت خواهند داشت. اول از همه، این مربوط به بخش‌های مالی (نام‌گذاری شده توسط 24 درصد از پاسخ‌دهندگان)، تحقیق و توسعه (20 درصد)، عملیات (20 درصد)، مهندسی (19 درصد)، و همچنین بازاریابی (15 درصد) و فروش ( 14 درصد).

گارتنر: برای مدیریت کلان داده به میلیون ها شغل جدید نیاز است

هزینه های جهانی فناوری اطلاعات تا سال 2013 به 7/3 میلیارد دلار خواهد رسید که 8/3 درصد نسبت به هزینه های فناوری اطلاعات در سال 2012 بیشتر است (پیش بینی پایان سال 6/3 میلیارد دلار است). بخش اطلاعات بزرگطبق گزارش گارتنر، (داده های بزرگ) با سرعتی بسیار سریع تر تکامل خواهد یافت.

تا سال 2015، 4.4 میلیون شغل IT برای ارائه داده های بزرگ ایجاد خواهد شد که 1.9 میلیون شغل در IT ایجاد خواهد شد. علاوه بر این، هر یک از این مشاغل سه شغل غیر IT اضافی ایجاد می کند، به طوری که تنها در ایالات متحده، 6 میلیون نفر برای حمایت از اقتصاد اطلاعات در چهار سال آینده کار خواهند کرد.

به گفته کارشناسان گارتنر، مشکل اصلی این است که استعداد کافی در صنعت برای این کار وجود ندارد: هر دو سیستم آموزشی خصوصی و دولتی، به عنوان مثال، در ایالات متحده، قادر به تامین تعداد کافی پرسنل واجد شرایط صنعت نیستند. . بنابراین از مشاغل جدید ذکر شده در حوزه فناوری اطلاعات، از هر سه شغل تنها یک نفر پرسنل خواهد شد.

تحلیلگران بر این باورند که نقش پرورش پرسنل واجد شرایط IT باید مستقیماً توسط شرکت هایی که به شدت به آنها نیاز دارند بر عهده بگیرند، زیرا چنین کارمندانی برای آنها راهی برای ورود به اقتصاد اطلاعات جدید آینده خواهند شد.

2012

اولین شک و تردید در مورد داده های بزرگ

تحلیلگران Ovum و Gartner پیشنهاد می کنند که برای یک موضوع مرسوم در سال 2012 اطلاعات بزرگممکن است زمان رها کردن توهمات فرا رسیده باشد.

اصطلاح "داده های بزرگ" در این زمان، به عنوان یک قاعده، به مقدار روزافزون اطلاعاتی که وارد می شود اشاره دارد. حالت عملیاتیاز رسانه های اجتماعی، شبکه های حسگر و سایر منابع، و همچنین طیف رو به رشدی از ابزارهای مورد استفاده برای پردازش داده ها و کشف روندهای تجاری مهم از آن.

تونی بایر، تحلیلگر Ovum می‌گوید: «به دلیل (یا علی‌رغم) هیاهویی که در مورد ایده داده‌های بزرگ وجود داشت، تولیدکنندگان در سال 2012 با امید زیادی به این روند نگاه کردند.

بایر گفت که DataSift یک تجزیه و تحلیل گذشته نگر از مراجع کلان داده را انجام داده است

اصطلاح "داده های بزرگ" ممکن است امروزه قابل تشخیص باشد، اما هنوز در مورد معنای واقعی آن سردرگمی کمی وجود دارد. در حقیقت، این مفهوم به طور مداوم در حال تحول و تجدید نظر است زیرا نیروی محرکه بسیاری از امواج در حال انجام است. تحول دیجیتالاز جمله هوش مصنوعی، علم داده و اینترنت اشیا. اما فناوری Big-Data چیست و چگونه دنیای ما را تغییر می دهد؟ بیایید سعی کنیم ماهیت فناوری Big Data و معنای آن را در کلمات ساده درک کنیم.

رشد شگفت انگیز داده های بزرگ

همه چیز با یک "انفجار" در حجم داده هایی که از همان ابتدا ایجاد کردیم شروع شد عصر دیجیتال. این تا حد زیادی به دلیل توسعه رایانه‌ها، اینترنت و فناوری‌هایی است که می‌توانند داده‌ها را از دنیای اطراف ما «ربا» کنند. داده ها به خودی خود اختراع جدیدی نیست. حتی قبل از عصر رایانه ها و پایگاه های داده، ما از سوابق تراکنش های کاغذی، سوابق مشتری و فایل های آرشیو استفاده می کردیم که داده ها هستند. رایانه ها، به ویژه صفحات گسترده و پایگاه های داده، ذخیره و سازماندهی داده ها را در مقیاس بزرگ برای ما آسان کرده اند. به طور ناگهانی، اطلاعات با کلیک ماوس در دسترس است.

با این حال، ما فاصله زیادی با جداول و پایگاه داده های اصلی داشته ایم. امروزه، هر دو روز یک بار به همان اندازه که از ابتدا تا سال 2000 دریافت کرده بودیم، ایجاد می کنیم. درست است، هر دو روز یکبار. و مقدار داده‌ای که ما ایجاد می‌کنیم همچنان سر به فلک می‌کشد. تا سال 2020، میزان اطلاعات دیجیتالی موجود از حدود 5 زتابایت به 20 زتابایت افزایش خواهد یافت.

امروزه تقریباً هر اقدامی که انجام می‌دهیم اثر خود را به جا می‌گذارد. هر زمان که به اینترنت دسترسی پیدا می کنیم، زمانی که گوشی های هوشمند خود را مجهز به موتور جستجو می کنیم، زمانی که با آشنایان خود از طریق شبکه های اجتماعی یا چت صحبت می کنیم و غیره، داده تولید می کنیم. علاوه بر این، میزان داده های تولید شده توسط ماشین نیز به سرعت در حال رشد است. زمانی که دستگاه های خانه هوشمند ما با یکدیگر یا با سرورهای خانگی خود ارتباط برقرار می کنند، داده ها تولید و به اشتراک گذاشته می شود. تجهیزات صنعتی در کارخانه ها و کارخانه ها به طور فزاینده ای به حسگرهایی مجهز می شوند که داده ها را جمع آوری و انتقال می دهند.

اصطلاح "داده های بزرگ" به مجموعه ای از همه این داده ها و توانایی ما در استفاده از آنها به نفع خود در طیف گسترده ای از زمینه ها از جمله تجارت اشاره دارد.

فناوری Big Data چگونه کار می کند؟

کلان داده بر اساس این اصل کار می کند: هر چه بیشتر در مورد یک موضوع یا پدیده خاص بدانید، با اطمینان بیشتری می توانید به درک جدیدی دست پیدا کنید و آنچه در آینده اتفاق می افتد را پیش بینی کنید. با مقایسه نقاط داده بیشتر، روابطی که قبلاً پنهان بودند ظاهر می شوند و این روابط به ما امکان می دهد یاد بگیریم و تصمیمات بهتری بگیریم. این اغلب از طریق فرآیندی انجام می‌شود که شامل ساخت مدل‌هایی از داده‌هایی است که می‌توانیم جمع‌آوری کنیم و سپس شبیه‌سازی را اجرا می‌کنیم که هر بار مقادیر نقاط داده را تغییر می‌دهد و می‌بیند که چگونه بر نتایج ما تأثیر می‌گذارند. این فرآیند خودکار است - فن‌آوری‌های تحلیلی مدرن میلیون‌ها شبیه‌سازی را اجرا می‌کنند و هر متغیر ممکن را تا زمانی که مدل یا ایده‌ای را پیدا کنند که به حل مشکلی که روی آن کار می‌کنند کمک کند، دستکاری می‌کنند.

بیل گیتس روی محتویات کاغذ یک سی دی آویزان است

تا همین اواخر، داده ها به صفحات گسترده یا پایگاه داده محدود می شد - و همه چیز بسیار منظم و مرتب بود. هر چیزی که نمی‌توانست به راحتی در ردیف‌ها و ستون‌ها سازماندهی شود، برای کار کردن بسیار پیچیده در نظر گرفته می‌شد و نادیده گرفته می‌شد. با این حال، پیشرفت در ذخیره سازی و تجزیه و تحلیل به این معنی است که ما می توانیم ضبط، ذخیره و پردازش کنیم تعداد زیادی ازداده ها از انواع مختلف در نتیجه، امروزه «داده» می تواند به معنای هر چیزی باشد، از پایگاه داده گرفته تا عکس، فیلم، ضبط صدا، متون نوشتاری و داده های حسگر.

برای درک همه این داده های آشفته، پروژه های مبتنی بر داده های بزرگ اغلب از تجزیه و تحلیل های پیشرفته استفاده می کنند. هوش مصنوعیو یادگیری کامپیوتر با آموزش رایانه‌ها برای شناسایی داده‌های خاص - به عنوان مثال، از طریق تشخیص الگو یا پردازش زبان طبیعی - می‌توانیم به آنها یاد بدهیم که الگوها را بسیار سریع‌تر و قابل اطمینان‌تر از آنچه می‌توانیم شناسایی کنند.

داده های بزرگ چگونه استفاده می شود؟

این جریان روزافزون اطلاعات در مورد داده‌های حسگر، متن، صدا، عکس و داده‌های ویدئویی به این معنی است که اکنون می‌توانیم از داده‌ها به روش‌هایی استفاده کنیم که تا چند سال پیش غیرقابل تصور بود. این تقریباً در هر صنعتی تغییرات انقلابی را در دنیای تجارت به ارمغان می آورد. امروزه شرکت‌ها می‌توانند با دقت باورنکردنی پیش‌بینی کنند که کدام دسته از مشتریان می‌خواهند خرید کنند و چه زمانی. کلان داده همچنین به شرکت ها کمک می کند تا فعالیت های خود را بسیار کارآمدتر انجام دهند.

حتی در خارج از تجارت، پروژه های کلان داده در حال حاضر به روش های مختلف به تغییر دنیای ما کمک می کنند:

• بهبود مراقبت های بهداشتی - پزشکی مبتنی بر داده قادر به تجزیه و تحلیل حجم وسیعی از اطلاعات پزشکی و تصاویر برای مدل هایی است که می توانند به تشخیص بیماری در مراحل اولیه و توسعه داروهای جدید کمک کنند.
• پیش بینی و پاسخگویی به بلایای طبیعی و انسان ساز. داده های حسگر را می توان برای پیش بینی محل وقوع زلزله تجزیه و تحلیل کرد و الگوهای رفتاری انسان سرنخ هایی را ارائه می دهد که به سازمان ها کمک می کند تا به بازماندگان کمک کنند. فناوری Big Data نیز برای ردیابی و محافظت از جریان پناهندگان از مناطق جنگی در سراسر جهان استفاده می شود.
• پیشگیری از جرم و جنایت نیروهای پلیس به طور فزاینده‌ای از استراتژی‌های مبتنی بر داده استفاده می‌کنند که اطلاعات اطلاعاتی و عمومی خود را برای استفاده بهتر از منابع و اتخاذ تدابیر متقابل در مواقع لزوم در بر می‌گیرد.

بهترین کتاب ها در مورد فناوری Big-Data

• همه دروغ می گویند. موتورهای جستجو، کلان داده و اینترنت همه چیز را در مورد شما می دانند.
• اطلاعات بزرگ. تمام تکنولوژی در یک کتاب
• صنعت شادی چگونه کلان داده و فناوری‌های جدید به افزایش احساسات به کالاها و خدمات کمک می‌کنند.
• انقلابی در تحلیل چگونه می توان کسب و کار خود را با تجزیه و تحلیل عملیاتی در عصر داده های بزرگ بهبود بخشید.

مشکلات با داده های بزرگ

Big Data بینش ها و فرصت های بی سابقه ای را به ما می دهد، اما همچنین مسائل و سوالاتی را ایجاد می کند که باید به آنها پرداخته شود:

• حریم خصوصی داده ها - داده های بزرگی که امروز تولید می کنیم حاوی اطلاعات زیادی در مورد زندگی شخصی ما است که ما کاملاً حق داریم آنها را خصوصی نگه داریم. بیشتر و بیشتر از ما خواسته می شود بین میزان داده های شخصی که افشا می کنیم و راحتی که برنامه ها و خدمات مبتنی بر استفاده از Big Data ارائه می دهند تعادل ایجاد کنیم.
• حفاظت از داده ها - حتی اگر فکر می کنیم با شخصی که داده های ما را برای هدف خاصی دارد مشکلی نداریم، آیا می توانیم به او اعتماد کنیم تا داده های ما را ایمن و ایمن نگه دارد؟
• تبعیض داده ها - وقتی همه اطلاعات مشخص باشد، آیا تبعیض علیه افراد بر اساس داده های زندگی شخصی آنها قابل قبول است؟ ما قبلاً از امتیازات اعتباری برای تصمیم گیری در مورد اینکه چه کسی می تواند پول قرض کند استفاده می کنیم و بیمه نیز به شدت مبتنی بر داده است. ما باید انتظار داشته باشیم که با جزئیات بیشتری مورد تجزیه و تحلیل و ارزیابی قرار بگیریم، اما باید مراقب بود که این امر زندگی کسانی را که منابع کمتر و دسترسی محدود به اطلاعات دارند، پیچیده نکند.

انجام این وظایف بخش مهمی از داده های بزرگ است و سازمان هایی که می خواهند از چنین داده هایی استفاده کنند باید به آنها رسیدگی شود. عدم انجام این کار می تواند یک کسب و کار را نه تنها از نظر اعتبار، بلکه از نظر قانونی و مالی آسیب پذیر کند.

نگاه به آینده

داده ها جهان و زندگی ما را با سرعتی بی سابقه تغییر می دهند. اگر داده های بزرگ امروز قادر به انجام همه اینها هستند، فقط تصور کنید که فردا چه توانایی هایی خواهند داشت. مقدار داده های در دسترس ما فقط افزایش می یابد و فناوری تجزیه و تحلیل حتی پیشرفته تر می شود.

برای کسب و کارها، توانایی استفاده از داده های بزرگ در سال های آینده به طور فزاینده ای حیاتی خواهد شد. فقط آن دسته از شرکت هایی که داده ها را به عنوان یک دارایی استراتژیک در نظر می گیرند زنده می مانند و پیشرفت می کنند. کسانی که این انقلاب را نادیده می گیرند در خطر عقب ماندن هستند.