OLTP - سیستم های پردازش تراکنش آنلاین. فناوری های OLTP و OLAP

امروزه در میان ابزارهای ارائه شده توسط بازار فناوری اطلاعات، فناوری های OLTP و OLAP مناسب ترین برای پردازش و تجسم داده ها برای تصمیم گیری های مدیریتی هستند. فناوری OLTP بر پردازش داده های آنلاین متمرکز است و فناوری مدرن OLAP بر تجزیه و تحلیل داده های تعاملی متمرکز است. سیستم‌هایی که بر اساس آنها توسعه یافته‌اند، دستیابی به درک فرآیندهایی را که در شیء کنترلی اتفاق می‌افتند، با دسترسی سریع به انواع برش‌های داده (نمایش‌هایی از محتوای پایگاه‌های داده سازمان‌دهی شده برای منعکس کردن جنبه‌های مختلف فعالیت‌های شرکت) ممکن می‌سازند. به ویژه، با ارائه یک نمایش گرافیکی از داده ها، OLAP قادر به ایجاد نتایج پردازش است داده آسانبرای ادراک

OLTP (پردازش تراکنش آنلاین) - پردازش معاملات در زمان واقعی. روشی برای سازماندهی پایگاه داده که در آن سیستم با تراکنش های کوچک اما با جریان زیاد کار می کند و در عین حال مشتری به سریع ترین زمان پاسخ ممکن از سیستم نیاز دارد.

در DBMS مدرن، سریال سازی تراکنش ها از طریق یک مکانیسم مسدود کننده سازماندهی می شود، به عنوان مثال. در طول مدت تراکنش، DBMS پایگاه داده یا بخشی از آن را که تراکنش به آن دسترسی دارد قفل می کند، قفل تا زمانی که تراکنش متعهد شود حفظ می شود. اگر در جریان است پردازش موازیاگر تراکنش دیگری تلاش کند به داده‌های قفل شده دسترسی پیدا کند، پردازش تراکنش به حالت تعلیق در می‌آید و تنها پس از تکمیل تراکنش که داده‌ها را قفل کرده است و آزاد شدن قفل، از سر گرفته می‌شود. هر چه شیء مسدود شده کوچکتر باشد، پایگاه داده کارآمدتر است. تراکنشی که داده ها را در چندین گره شبکه به روز می کند، DISTRIBUTED نامیده می شود. اگر یک تراکنش با یک پایگاه داده واقع در همان گره کار کند، آن را LOCAL می نامند. از دیدگاه کاربر، یک تراکنش محلی و یک تراکنش توزیع شده باید به یک شکل رفتار شود، یعنی. DBMS باید فرآیند اجرای توزیع تراکنش را سازماندهی کند تا تمام تراکنش های محلی موجود در آن به طور همزمان بر روی تمام گره های تحت تأثیر آنها متعهد شوند. سیستم توزیع شده. در عین حال، یک تراکنش توزیع شده تنها در صورتی باید متعهد شود که تمام اجزای تراکنش محلی آن ثابت باشد و اگر حداقل یکی از تراکنش های محلی قطع شود، کل تراکنش توزیع شده باید لغو شود. برای پیاده سازی این الزامات در عمل، DBMS از مکانیزم تعهد تراکنش دو مرحله ای استفاده می کند.

1. سرور پایگاه داده ای که یک تراکنش توزیع شده را انجام می دهد، دستور "Prepare to Commit" را به تمام گره های شبکه ثبت شده برای انجام تراکنش ها ارسال می کند. اگر حداقل یکی از سرورها پاسخ آمادگی را ارائه ندهد، سرور پایگاه داده توزیع شده، تراکنش محلی را در تمام گره ها برمی گرداند.

2. تمام DBMS های محلی برای commit آماده هستند، i.e. سرور تراکنش توزیع شده را پردازش می کند، commit خود را با ارسال فرمانی برای انجام تراکنش به تمام سرورهای محلی تکمیل می کند.

OLAP (پردازش تحلیلی آنلاین انگلیسی، پردازش تحلیلیدر زمان واقعی) - فناوری پردازش اطلاعات، از جمله گردآوری و انتشار پویا گزارش ها و اسناد. توسط تحلیلگران برای پردازش سریع پرس و جوهای پیچیده پایگاه داده استفاده می شود. برای تهیه گزارش های تجاری در مورد فروش، بازاریابی، برای اهداف مدیریتی، به اصطلاح، خدمت می کند. داده کاوی - داده کاوی (روشی برای تجزیه و تحلیل اطلاعات در پایگاه داده به منظور یافتن ناهنجاری ها و روندها بدون یافتن معنای معنایی رکوردها).

OLAP یک عکس فوری از یک پایگاه داده رابطه ای می گیرد و آن را در آن ساختار می دهد مدل فضاییبرای درخواست ها زمان پردازش درخواست ادعا شده در OLAP حدود 0.1٪ از پرس و جوهای مشابه در یک پایگاه داده رابطه ای است.

یک ساختار OLAP ایجاد شده از داده های تولید، مکعب OLAP نامیده می شود. یک مکعب از اتصال جداول با استفاده از یک طرح ستاره یا یک طرح برف ریزه ایجاد می شود. در مرکز طرح ستاره یک جدول حقایق است که حاوی حقایق کلیدی است که در حال پرس و جو هستند. جداول متعدد با ابعاد به یک جدول حقایق متصل شده اند. این جداول نشان می دهد که چگونه داده های رابطه ای انباشته شده را می توان تجزیه و تحلیل کرد. تعداد تجمع‌های ممکن با تعداد روش‌هایی که داده‌های اصلی را می‌توان به صورت سلسله مراتبی نمایش داد، تعیین می‌شود.

به عنوان مثال، همه مشتریان را می توان بر اساس شهر یا منطقه کشور (غرب، شرق، شمال و غیره) گروه بندی کرد، بنابراین 50 شهر، 8 منطقه و 2 کشور 3 سطح از یک سلسله مراتب را با 60 عضو تشکیل می دهند. همچنین مشتریان را می توان در رابطه با محصولات گروه بندی کرد. اگر 250 محصول در 2 دسته، 3 گروه محصول و 3 بخش تولید وجود داشته باشد، تعداد دانه ها 16560 خواهد بود. هنگام اضافه کردن ابعاد به طرح، تعداد گزینه هابه سرعت به ده ها میلیون یا بیشتر می رسد.

یک مکعب OLAP حاوی داده‌ها و اطلاعات اولیه در مورد ابعاد (جمع‌ها) است. مکعب به طور بالقوه حاوی تمام اطلاعاتی است که ممکن است برای پاسخ به هر سؤالی مورد نیاز باشد. با توجه به تعداد زیاد واحدها، اغلب یک محاسبه کامل فقط برای برخی از اندازه گیری ها انجام می شود، برای بقیه آن ها "در صورت تقاضا" انجام می شود.

مشکل در به کارگیری OLAP در ایجاد پرس و جو، انتخاب داده های زیربنایی و طراحی یک طرح است که در نتیجه اکثر موارد محصولات مدرن OLAP با تعداد زیادی پرس و جو از پیش پیکربندی شده همراه است. مشکل دیگر در داده های اساسی است. آنها باید کامل و سازگار باشند.

اولین محصولی که درخواست های OLAP را انجام داد Express (یک شرکت IRI) بود. با این حال، خود اصطلاح OLAP توسط ادگار کاد، "پدر پایگاه های داده رابطه ای" ابداع شد. و کار Codd توسط Arbor تأمین مالی شد، شرکتی که محصول OLAP خود، Essbase (که بعداً توسط Hyperion خریداری شد، که توسط Oracle در سال 2007 خریداری شد) یک سال قبل از آن راه اندازی شد.

سایر محصولات معروف OLAP عبارتند از: Microsoft Analysis Services (که قبلاً خدمات OLAP نامیده می شد، بخشی از SQL Server)، Oracle OLAP Option، IBM's DB2 OLAP Server (در واقع EssBase با افزونه های IBM)، SAP BW، SAS OLAP Server، محصولات Brio، BusinessObjects، MicroStrate، و دیگران.

OLAP بیشترین کاربرد خود را در محصولات برنامه ریزی تجاری و انبارهای داده می یابد.

OLAP از یک نمای چند بعدی از داده های انبوه برای ارائه استفاده می کند دسترسی سریعبه صورت استراتژیک اطلاعات مهمبرای تحلیل عمیق برنامه های OLAP باید ویژگی های اساسی زیر را داشته باشند:

• نمایش چند بعدی داده ها؛
• پشتیبانی از محاسبات پیچیده؛
• در نظر گرفتن صحیح عامل زمان

مزایای OLAP:

• افزایش بهره وری کارکنان تولید، توسعه دهندگان برنامه های کاربردی. دسترسی به موقع به اطلاعات استراتژیک
• ارائه فرصت های کافی برای کاربران تغییرات خودبه طرحواره
• برنامه های OLAP برای دریافت داده های به روز از آنها به انبارهای داده و سیستم های OLTP متکی هستند که به شما امکان کنترل یکپارچگی داده های سازمانی را می دهد.
• کاهش بار در سیستم های OLTP و انبارهای داده.

وظایف سیستم OLTP جمع آوری سریع و بهینه ترین قرار دادن اطلاعات در پایگاه داده و همچنین اطمینان از کامل بودن، مرتبط بودن و سازگاری آن است. با این حال، چنین سیستم هایی برای کارآمدترین، سریع ترین و چند بعدی ترین تجزیه و تحلیل طراحی نشده اند.

البته، می‌توان گزارش‌ها را بر اساس داده‌های جمع‌آوری‌شده ایجاد کرد، اما این امر مستلزم آن است که یک تحلیلگر تجاری یا دائماً با یک متخصص فناوری اطلاعات تعامل داشته باشد، یا آموزش ویژه‌ای در برنامه‌نویسی و فناوری رایانه داشته باشد.

فرآیند تصمیم گیری سنتی در یک شرکت روسی با استفاده از سیستم اطلاعاتی ساخته شده بر اساس فناوری OLTP چگونه است؟

مدیر وظیفه را به متخصص می دهد بخش اطلاعاتبا توجه به درک شما از موضوع متخصص بخش اطلاعات، با درک این کار به روش خود، درخواستی را به سیستم عملیاتی ایجاد می کند، گزارش الکترونیکی را دریافت می کند و آن را به اطلاع مدیر می رساند. چنین طرحی برای تصمیم گیری های حیاتی دارای معایب قابل توجه زیر است:

• مقدار ناچیزی از داده استفاده می شود.
• فرآیند طول می کشد مدت زمان طولانیاز آنجایی که درخواست و تفسیر یک گزارش الکترونیکی یک عملیات نسبتا خسته کننده است، در حالی که ممکن است یک مدیر نیاز به تصمیم گیری فوری داشته باشد.
• در صورت نیاز به شفاف سازی داده ها یا در نظر گرفتن داده ها در زمینه متفاوت و همچنین در صورت بروز سؤالات اضافی، لازم است چرخه تکرار شود. علاوه بر این، این چرخه آهسته باید تکرار شود و، به عنوان یک قاعده، به طور مکرر، در حالی که زمان بیشتری صرف تجزیه و تحلیل داده ها می شود.
• بر تفاوت آموزش حرفه ای و زمینه های فعالیت یک متخصص تأثیر منفی می گذارد فناوری اطلاعاتو رهبر غالباً آنها در مقولات مختلف فکر می کنند و در نتیجه یکدیگر را درک نمی کنند.
• یک اثر نامطلوب توسط عاملی مانند پیچیدگی گزارش های الکترونیکی برای درک اعمال می شود. مدیر وقت ندارد اعداد مورد علاقه را از گزارش انتخاب کند، به خصوص که ممکن است تعداد آنها خیلی زیاد باشد. واضح است که کار تهیه داده ها اغلب بر عهده متخصصان بخش اطلاعات است. در نتیجه حواس یک متخصص توانمند با کار معمول و ناکارآمد در تهیه جداول، نمودارها و غیره منحرف می شود که البته کمکی به ارتقای صلاحیت او نمی کند.

تنها یک راه برای برون رفت از این وضعیت وجود دارد و آن را بیل گیتس در قالب یک عبارت فرموله کرد: "اطلاعات در نوک انگشتان شما". اطلاعات اولیه باید در دسترس مصرف کننده مستقیم آن - تحلیلگر باشد. به طور مستقیم قابل دسترسی است. و وظیفه کارکنان بخش اطلاعات ایجاد سیستمی برای جمع آوری، انباشت، ذخیره، حفاظت از اطلاعات و در دسترس قرار دادن آن در اختیار تحلیلگران است.

صنعت جهانی مدت‌هاست که با این مشکل آشنا بوده و تقریباً 30 سال است که فناوری‌های OLAP وجود دارند که به طور خاص طراحی شده‌اند تا تحلیلگران تجاری را قادر به کار با داده‌های انباشته شده و مشارکت مستقیم در تجزیه و تحلیل آنها کنند. چنین سیستم‌های تحلیلی در مقابل سیستم‌های OLTP قرار دارند زیرا افزونگی اطلاعات (اطلاعات "فروپاشی") را حذف می‌کنند. در عین حال، بدیهی است که این افزونگی اطلاعات اولیه است که اثربخشی تحلیل را تعیین می کند. DSS با ترکیب این فناوری ها، حل تعدادی از مشکلات را ممکن می سازد:

• وظایف تحلیلی: محاسبه شاخص های داده شده و ویژگی های آماریفرآیندهای تجاری بر اساس اطلاعات تاریخی ذخیره شده در انبارهای داده.
• تجسم داده ها: ارائه تمام اطلاعات موجود به صورت گرافیکی و جدولی کاربر پسند.
• کسب دانش جدید: تعیین رابطه و وابستگی متقابل فرآیندهای تجاری بر اساس اطلاعات موجود(آزمایش فرضیه های آماری، خوشه بندی، یافتن ارتباط و الگوهای زمانی).
• وظایف شبیه سازی: مدل سازی ریاضیرفتار - اخلاق سیستم های پیچیدهدر یک بازه زمانی دلخواه به عبارت دیگر، اینها وظایف مربوط به نیاز به پاسخ به این سوال است: "چه اتفاقی می افتد اگر ...؟"
• ترکیب کنترل: تعیین اقدامات کنترلی مجاز که دستیابی به یک هدف معین را تضمین می کند.
• وظایف بهینه سازی: ادغام شبیه سازی، مدیریت، بهینه سازی و روش های آماری مدل سازی و پیش بینی.

مدیران سازمانی با استفاده از ابزارهای فناوری OLAP، حتی بدون آموزش خاص، می‌توانند به‌طور مستقل و سریع تمام اطلاعات لازم برای مطالعه الگوهای کسب‌وکار را در ترکیب‌ها و بخش‌های مختلف تحلیل کسب‌وکار به دست آورند. تحلیلگر کسب و کار این توانایی را دارد که فهرستی از اندازه گیری ها و شاخص های سیستم کسب و کار را در مقابل خود ببیند. با چنین رابط کاربری سادهیک تحلیلگر می‌تواند هر گزارشی را بسازد، اندازه‌گیری را بازسازی کند (به عنوان مثال، جداول متقاطع ایجاد کند - یک بعد را روی بعد دیگر قرار دهد). علاوه بر این، او این فرصت را پیدا می کند که عملکردهای خود را بر اساس شاخص های موجود ایجاد کند، تجزیه و تحلیل "چه می شود اگر" را انجام دهد - با تنظیم وابستگی های هر شاخص عملکرد تجاری یا عملکرد تجاری بر روی شاخص ها، نتیجه را به دست آورد. در عین حال حداکثر پاسخ هر گزارشی از 5 ثانیه بیشتر نمی شود.

سیستم های OLTP و OLAP

در بخش فرعی قبلی، اشاره شد که برای نمایش مناسب حوزه موضوعی، سهولت توسعه و نگهداری پایگاه داده، روابط باید به شکل عادی سوم کاهش یابد (اشکالی از نرمال سازی و سفارشات بالاتر وجود دارد، اما در عمل بسیار به ندرت استفاده می شوند)، یعنی باید به شدت عادی شوند. با این حال، روابط ضعیف نرمال شده نیز مزایای خود را دارند، که اصلی ترین آنها این است که اگر به پایگاه داده عمدتاً فقط با پرس و جو دسترسی داشته باشید، و اصلاحات و افزودن داده ها به ندرت انجام شود، انتخاب آنها بسیار سریعتر است. این با این واقعیت توضیح داده می شود که در روابط ضعیف نرمال شده اتصال آنها قبلاً برقرار شده است ، و زمان پردازشگر برای این کار صرف نمی شود. دو دسته از سیستم ها وجود دارد که روابط نرمال شده قوی و ضعیف برای آنها مناسب تر است.

مدل های داده به شدت نرمال شده برای برنامه های OLTP مناسب هستند - بر- خط معامله در حال پردازش (OLTP) - برنامه های پردازش تراکنش آنلاین. نمونه های معمولی از برنامه های OLTP سیستم ها هستند حسابداری انبار، سفارش بلیط، سیستم های عامل بانکی و غیره. وظیفه اصلی چنین سیستم هایی انجام دادن است تعداد زیادیمعاملات کوتاه تراکنش ها به خودی خود بسیار ساده هستند، اما مشکلات این است که تعداد زیادی از این تراکنش ها وجود دارد، آنها به طور همزمان اجرا می شوند و در صورت بروز خطا، تراکنش باید به عقب برگردد و سیستم را به حالت قبل از شروع تراکنش برگرداند. تقریباً تمام پرس و جوهای پایگاه داده در برنامه های OLTP شامل دستورات درج، به روز رسانی و حذف هستند. درخواست های انتخاب عمدتاً برای ارائه گزیده ای از داده ها از انواع مختلف دایرکتوری ها به کاربران در نظر گرفته شده است. بنابراین، بیشتر درخواست ها از قبل در مرحله طراحی سیستم شناخته می شوند. برای برنامه‌های OLTP، سرعت و قابلیت اطمینان انجام به‌روزرسانی‌های کوتاه داده ضروری است. هرچه سطح نرمال سازی داده ها در برنامه های OLTP بالاتر باشد، سریعتر و قابل اعتمادتر است. انحراف از این قانون زمانی رخ می دهد که در حال حاضر در مرحله توسعه، برخی از پرس و جوهای متداول شناخته شده باشند که نیاز به اتصال روابط دارند و سرعت اجرای آنها به طور قابل توجهی بر عملکرد برنامه ها تأثیر می گذارد.

نوع دیگری از برنامه‌ها، برنامه‌های OLAP هستند بر- خط تحلیلی در حال پردازش (OLAP) - برنامه های کاربردی پردازش داده های تحلیلی آنلاین. این یک اصطلاح تعمیم یافته است که اصول سیستم های پشتیبانی تصمیم را مشخص می کند - سیستم پشتیبانی تصمیم (DSS)، انبارهای داده - انبار داده، سیستم های داده کاوی - داده کاوی. چنین سیستم هایی برای یافتن وابستگی بین داده ها، انجام تجزیه و تحلیل پویا بر اساس اصل "چه می شود اگر ..." و کارهای مشابه طراحی شده اند. برنامه های OLAP با حجم زیادی از داده های انباشته شده در سازمان یا گرفته شده از منابع دیگر کار می کنند. چنین سیستم هایی با ویژگی های زیر مشخص می شوند:

داده های جدید نسبتاً به ندرت در بلوک های بزرگ به سیستم اضافه می شود، به عنوان مثال، یک بار در ماه یا سه ماه. داده های اضافه شده به سیستم معمولاً هرگز حذف نمی شوند.

قبل از بارگیری، داده ها مراحل مختلف آماده سازی مربوط به آوردن آنها به فرمت های خاص و موارد مشابه را طی می کنند. درخواست ها به سیستم غیرقانونی و نسبتاً پیچیده هستند. سرعت اجرای پرس و جو مهم است، اما حیاتی نیست.

پایه ها داده های OLAP- برنامه ها معمولاً به صورت یک یا چند ابر مکعب نمایش داده می شوند که ابعاد آنها داده های مرجع هستند و مقادیر این داده ها در سلول های خود هایپرمکعب ذخیره می شوند. از نظر فیزیکی، یک ابر مکعب را می توان بر اساس یک مدل داده چند بعدی خاص ساخت - چند بعدی OLAP (MOLAP) یا با استفاده از مدل داده های رابطه ای نمایش داده می شود - رابطه ای OLAP (ROLAP).

در سیستم های OLAP که استفاده می کنند مدل رابطه ایداده ها، توصیه می شود داده ها را در قالب روابط نرمال شده ضعیف حاوی داده های خلاصه اصلی از پیش محاسبه شده ذخیره کنید. افزونگی داده ها و مشکلات مربوط به آن در اینجا وحشتناک نیستند، زیرا به ندرت به روز می شوند و همراه با به روز رسانی داده ها، مجموع ها دوباره محاسبه می شوند.

ویژگی ها و دامنه وظایفی که به طور موثر توسط هر فناوری حل شده است در جدول مقایسه ای زیر نشان داده شده است:

مقایسه OLTP و OLAP

ایرادات
سیستم های OLTP برای تراکنش های گسسته کوچک بهینه شده اند. اما درخواست برای برخی اطلاعات پیچیده (به عنوان مثال، پویایی سه ماهه حجم فروش برای یک مدل محصول خاص در یک شعبه خاص)، معمولی برای برنامه های تحلیلی (OLAP)، باعث ایجاد پیوستن جدول پیچیده و مشاهده کل جداول می شود. یکی از این درخواست‌ها زمان و منابع کامپیوتری زیادی را می‌گیرد که پردازش تراکنش‌های جاری را کند می‌کند.

تراکنش (تراکنش انگلیسی) - گروهی از عملیات متوالی که یک واحد منطقی کار با داده است. یک تراکنش می تواند با رعایت یکپارچگی داده ها و بدون توجه به سایر تراکنش های همزمان به طور کامل و با موفقیت انجام شود یا اصلاً انجام نشود، در این صورت نباید تأثیری داشته باشد. تراکنش ها توسط سیستم های تراکنشی پردازش می شوند که در طی آن تاریخچه ای از تراکنش ها ایجاد می شود.

معاملات متوالی (عادی)، موازی و توزیع شده وجود دارد. تراکنش های توزیع شده شامل استفاده از بیش از یک سیستم تراکنش است و به منطق بسیار پیچیده تری نیاز دارد (به عنوان مثال، تعهد دو فاز - یک پروتکل تعهد دو فاز). همچنین، برخی از سیستم ها تراکنش های مستقل یا تراکنش های فرعی را اجرا می کنند که بخشی مستقل از تراکنش مادر هستند.

مثال: لازم است از حساب بانکی شماره 5 به حساب شماره 7 مبلغ 10 واحد پولی واریز شود. این را می توان به عنوان مثال با دنباله اقدامات زیر به دست آورد:
شروع معامله
موجودی حساب شماره 5 را بخوانید
کاهش موجودی 10 واحد ارزی
موجودی حساب جدید شماره 5 را ذخیره کنید
موجودی حساب شماره 7 را بخوانید
افزایش موجودی 10 واحد ارزی
موجودی حساب جدید شماره 7 را ذخیره کنید

پایان معامله
این اقدامات نشان دهنده یک واحد منطقی کار "انتقال مبلغ بین حساب ها" است و بنابراین یک معامله است. اگر این تراکنش مثلاً در وسط قطع شود و همه تغییرات لغو نشود، به راحتی می توان صاحب حساب شماره 5 را بدون 10 واحد رها کرد در حالی که صاحب حساب شماره 7 آنها را دریافت نخواهد کرد.

حالت پردازش تراکنش آنلاین OLTP

حالت پردازش تراکنش آنلاین OLTP (On-Line Transaction Processing) در سیستم های اطلاعات مدیریت سازمانی برای انعکاس وضعیت فعلی حوزه موضوعی در هر زمان استفاده می شود و پردازش دسته ای جایگاه بسیار محدودی را اشغال می کند.
OLTP

به طور معمول، قابلیت‌های تحلیلی سیستم‌های OLTP بسیار محدود است، از آنها برای مشارکت در فعالیت‌های روزانه شرکت و تکیه بر داده‌های به‌روز استفاده می‌شود. سیستم‌های اطلاعاتی کلاس OLTP برای جمع‌آوری، ثبت، وارد کردن داده‌های اولیه مربوط به یک حوزه موضوعی خاص، پردازش داده‌های اولیه، ذخیره‌سازی، تجسم کافی، جستجو، صدور منابع و گزارش‌ها طراحی شده‌اند. پردازش اولیه شامل بررسی صحت داده های ورودی و مطابقت آنها با محدودیت های یکپارچگی، شناسایی اشیاء توصیف شده توسط داده ها، کدگذاری، انتقال داده ها از طریق پیوندهای افقی و عمودی است. داده ها یا از طریق سندی که دارای قوت قانونی خاص است یا مستقیماً از محلی که داده ها از آنجا منشأ گرفته اند وارد سیستم اطلاعاتی می شوند. در حالت دوم، سند حاوی داده های وارد شده توسط سیستم چاپ می شود و قدرت قانونی به آن داده می شود.

در سیستم‌های OLTP، تراکنش‌های هدف بر روی پایگاه‌های داده هدف انجام می‌شوند (به عنوان مثال، وارد کردن رکوردی با پارامترهای یک فاکتور صادر شده، یک فاکتور اعتباری یا هر واقعیت دیگری در جدول)، که وضعیت پایگاه داده را تغییر داده و آنها را با وضعیت فعلی آن قطعه از دنیای واقعی که پایگاه داده را مدل‌سازی می‌کند، مطابقت می‌دهد. بنابراین، هدف اصلی پایگاه های داده هدف، پردازش تراکنش است.

چنین سیستم هایی برای ورودی، ذخیره سازی ساختار یافته و پردازش اطلاعات در زمان واقعی طراحی شده اند. سیستم های OLTP به شما امکان می دهند پرس و جوهایی مانند: چقدر، کجا و غیره را فرموله کنید. سیستم‌های عامل با ارائه داده‌ها از پایگاه‌های داده‌ای که دائماً همگام‌سازی می‌شوند (به‌روز می‌شوند)، پویایی تغییرات فرآیند را در دوره‌های زمانی طولانی پیگیری نمی‌کنند، عملاً داده‌ها را پردازش نمی‌کنند (به جز محاسبات خاص) و مهم‌تر از همه، نتیجه‌گیری از داده‌ها نمی‌کنند و این عملکرد را به تصمیم‌گیرنده واگذار می‌کنند.

OLTP- برنامه ها طیف گسترده ای از وظایف را در بسیاری از صنایع پوشش می دهند - اتوماسیون حسابداری و حسابداری انبار و حسابداری اسناد و غیره.

عملکرد اصلی چنین سیستم هایی انجام همزمان تعداد زیادی تراکنش کوتاه از تعداد زیادی کاربر است. خود تراکنش ها نسبتاً ساده به نظر می رسند، به عنوان مثال، "یک مقدار پول از حساب A برداشت کنید، این مقدار را به حساب B اضافه کنید."

سیستم های اطلاعاتیکلاس های OLTP با ویژگی های زیر مشخص می شوند.
ویژگی های IS - سیستم های اطلاعاتی - کلاس OLTP
- سادگی الگوریتمی نسبی،
- افزایش پویایی از نظر نامگذاری و ساختار اسناد پردازش شده، که با نزدیکی این سیستم ها به حوزه موضوعی مرتبط است.
- شخصیت انبوه و توزیع سرزمینی مکان ها برای جمع آوری داده های اولیه،
- الزامات بالا برای قابلیت اطمینان و ارتباط داده های ورودی،
- شخصیت انبوه، گردش مالی نسبتاً مکرر و رایانه نسبتاً کم - صلاحیت پرسنل (کاربران).
- پشتیبانی از تعداد زیادی از کاربران؛
- زمان پاسخ کوتاه به درخواست؛
پرس و جوهای نسبتاً کوتاه؛
- مشارکت در پرس و جو از تعداد کمی جداول.

تاریخیچنین سیستم هایی در وهله اول به وجود آمدند، زیرا آنها به نیازهای حسابداری، سرعت خدمات، جمع آوری داده ها و غیره پی بردند. با این حال، به زودی مشخص شد که جمع آوری داده ها به خودی خود یک هدف نیست و داده های انباشته شده می تواند مفید باشد: اطلاعات را می توان از داده ها استخراج کرد.
استراتژی توسعه سیستم ها
برای مدت طولانی، موارد زیر به عنوان یک استراتژی برای توسعه چنین سیستم هایی مورد استفاده قرار گرفته است:
ساخت ایستگاه های کاری جداگانه که برای پردازش گروه های اسناد مرتبط با عملکرد و تکرار ایستگاه های کاری تمام شده در این زمینه در نظر گرفته شده است.
ساخت سیستم های پارامتری با ویژگی های کامل با تکرار و سفارشی سازی محلی. با این حال، سیستم های به دست آمده از این طریق قابلیت های تطبیقی ​​پایینی برای غلبه بر پویایی حوزه های موضوعی داشتند. آنها تقاضاهای زیادی برای پرسنل عملیاتی داشتند و هزینه های سربار زیادی را برای تعمیر و نگهداری طلب کردند.
اخیراً، یک استراتژی جدید و سوم برای توسعه سیستم های اطلاعاتی کلاس OLTP شروع به اعمال کرده است. ماهیت آن به شرح زیر است: تکرار نشده است سیستم های آمادهو برخی از موارد خالی و یک ابزار تکنولوژیکی که به شما امکان می دهد به سرعت سیستم را با عملکردهای لازم مستقیماً در محل بسازید / تکمیل کنید و سپس با استفاده از همان ابزار مطابق با پویایی منطقه موضوع آن را اصلاح کنید.

تراکنش ها اقداماتی هستند که یا به طور کامل انجام می شوند یا اصلا انجام نمی شوند. اگر در حین اجرای تراکنش، خرابی سیستم رخ دهد، پایگاه داده به حالت اولیه خود که قبل از تراکنش (بازگشت) بود، برمی گردد. تمام تراکنش های انجام شده در لاگ تراکنش ها ثبت می شود. یک تراکنش زمانی تکمیل شده در نظر گرفته می شود که یک ورودی مربوط به تراکنش در گزارش ظاهر شود.

فناوری های OLTP

در عمل ارتباط با نمایندگان خدمات اطلاعات شرکت ها، اغلب باید با سوء تفاهم جدی در مورد تفاوت در قابلیت ها، هدف و نقش فن آوری های طراحی شده برای جمع آوری اطلاعات - سیستم های OLTP (پردازش معاملات آنلاین) و فن آوری های تجزیه و تحلیل اطلاعات مواجه شد. در همین حال، آنها از نظر عملکرد تفاوت قابل توجهی دارند و هر یک از آنها مسئولیت حوزه خود را در سیستم اطلاعاتی دارند.
وظایف یک سیستم OLTP- این یک مجموعه سریع و بهینه ترین قرار دادن اطلاعات در پایگاه داده و همچنین اطمینان از کامل بودن، مرتبط بودن و سازگاری آن است. با این حال، چنین سیستم هایی برای کارآمدترین، سریع ترین و چند بعدی ترین تجزیه و تحلیل طراحی نشده اند.
البته، می‌توان گزارش‌ها را بر اساس داده‌های جمع‌آوری‌شده ایجاد کرد، اما این امر مستلزم آن است که یک تحلیلگر تجاری یا دائماً با یک متخصص فناوری اطلاعات تعامل داشته باشد، یا آموزش ویژه‌ای در برنامه‌نویسی و فناوری رایانه داشته باشد.
فرآیند تصمیم گیری سنتی در یک شرکت روسی با استفاده از سیستم اطلاعاتی ساخته شده بر اساس فناوری OLTP چگونه است؟
مدیر وظیفه را به متخصص بخش اطلاعات مطابق با درک خود از موضوع می دهد. متخصص بخش اطلاعات، با درک این کار به روش خود، درخواستی را به سیستم عملیاتی ایجاد می کند، گزارش الکترونیکی را دریافت می کند و آن را به اطلاع مدیر می رساند. چنین طرحی برای اتخاذ تصمیمات حیاتی دارای موارد ضروری زیر است معایب:
- از مقدار ناچیزی داده استفاده می کند.
- این فرآیند زمان زیادی می برد، زیرا تهیه درخواست ها و تفسیر یک گزارش الکترونیکی عملیات نسبتاً خسته کننده هستند، در حالی که ممکن است مدیر نیاز به تصمیم گیری فوری داشته باشد.
- در صورت نیاز به شفاف سازی داده ها یا در نظر گرفتن داده ها در زمینه متفاوت و همچنین در صورت بروز سؤالات اضافی، لازم است چرخه تکرار شود. علاوه بر این، این چرخه آهسته باید تکرار شود و، به عنوان یک قاعده، به طور مکرر، در حالی که زمان بیشتری صرف تجزیه و تحلیل داده ها می شود.
تفاوت در آموزش حرفه ای و زمینه های فعالیت یک متخصص فناوری اطلاعات و یک مدیر تأثیر منفی می گذارد. غالباً آنها در مقولات مختلف فکر می کنند و در نتیجه یکدیگر را درک نمی کنند.
یک اثر نامطلوب توسط عاملی مانند پیچیدگی گزارش های الکترونیکی برای درک اعمال می شود. مدیر وقت ندارد اعداد مورد علاقه را از گزارش انتخاب کند، به خصوص که ممکن است تعداد آنها خیلی زیاد باشد. واضح است که کار تهیه داده ها اغلب بر عهده متخصصان بخش اطلاعات است. در نتیجه حواس یک متخصص توانمند با کار معمول و ناکارآمد در تهیه جداول، نمودارها و غیره منحرف می شود که البته کمکی به ارتقای صلاحیت او نمی کند.
تنها یک راه برای برون رفت از این وضعیت وجود دارد و آن را بیل گیتس در قالب یک عبارت فرموله کرد: "اطلاعات در نوک انگشتان شما". اطلاعات اولیه باید در دسترس مصرف کننده مستقیم آن - تحلیلگر باشد. به طور مستقیم در دسترس است (!). و وظیفه کارکنان بخش اطلاعات ایجاد سیستمی برای جمع آوری، انباشت، ذخیره، حفاظت از اطلاعات و در دسترس قرار دادن آن در اختیار تحلیلگران است.

دامنه کاربرد حوزه پرداخت ها، حسابداری، رزرو اماکن، بانک ها و عملیات صرافی است.

سیستم های OLTPبه عنوان یک وسیله بسیار کارآمد برای تحقق پردازش عملیاتی، معلوم شد که برای کارهای پردازش تحلیلی کاربرد کمی دارد. این ناشی از موارد زیر است:
1. با استفاده از سیستم های سنتی OLTP، می توانید یک گزارش تحلیلی و حتی پیش بینی هر پیچیدگی، اما از قبل تنظیم شده بسازید. هر گامی به کنار، هر نیاز غیرقانونی کاربر نهایی، به عنوان یک قاعده، مستلزم دانش ساختار داده و صلاحیت نسبتاً بالای برنامه نویس است.
2. بسیاری مورد نیاز برای سیستم های عملیاتیعملکرد برای کارهای تحلیلی اضافی است و در عین حال ممکن است حوزه موضوعی را منعکس نکند. بیشتر کارهای تحلیلی نیاز به استفاده از ابزارهای تخصصی خارجی برای تحلیل، پیش بینی و مدل سازی دارند. ساختار پایگاه داده سفت و سخت اجازه دستیابی به عملکرد قابل قبول را در مورد انتخاب ها و مرتب سازی های پیچیده نمی دهد و بنابراین، سازماندهی دروازه ها به زمان زیادی نیاز دارد.
3. بر خلاف سیستم های تراکنش، سیستم های تحلیلی نیازی به ابزارهای پیشرفته برای اطمینان از یکپارچگی داده ها، پشتیبان گیری و بازیابی آنها ندارند. این نه تنها خود ابزارهای پیاده سازی را ساده می کند، بلکه سربار داخلی را کاهش می دهد و بنابراین، عملکرد را هنگام بازیابی داده ها بهبود می بخشد.

محدوده وظایفی که به طور موثر توسط هر یک از سیستم ها حل می شود، بر اساس ویژگی های مقایسه ای سیستم های OLTP و OLAP تعیین می شود.

داده ها در سیستم های OLTP اساساً برای پشتیبانی از تراکنش هایی مانند:

ثبت سفارش وارد شده از پایانه نقدی یا از طریق وب سایت؛

ثبت سفارش برای قطعات زمانی که مقدار آنها در انبار کمتر از تعداد معینی شود.

ردیابی اجزاء در هنگام مونتاژ محصول نهایی در تولید؛

ثبت اطلاعات در مورد کارکنان؛

ثبت اطلاعات هویتی دارندگان گواهینامه، مانند صاحبان رستوران یا رانندگان.

تراکنش های فردی، دسترسی به مقدار نسبتاً کمی از داده ها، به سرعت تکمیل می شوند. سیستم های OLTP برای پردازش صدها و هزاران تراکنش به طور همزمان ساخته و بهینه شده اند.

سیستم‌های OLTP در جمع‌آوری داده‌های مورد نیاز برای پشتیبانی از عملیات روزمره عالی هستند. با این حال، داده‌های موجود در آنها به گونه‌ای سازماندهی می‌شوند که زمانی که اطلاعات برای مدیران در نظر گرفته شده است تا کار سازمان خود را برنامه‌ریزی کنند، لازم است. مدیران اغلب برای تجزیه و تحلیل روندهای مؤثر بر سازمان یا گروه خود به اطلاعات نهایی نیاز دارند.

چالش های مدرن ذخیره سازی داده ها
به اشتراک گذاری داده ها برای اهداف خاص

توسعه فناوری انبار داده با نیاز به جداسازی داده های مورد استفاده برای عملیات و داده های مورد استفاده برای اهداف تحلیلی آغاز شد. مخزن بهترین قابلیت ها را برای گزارش دهی فراهم می کند. علاوه بر این، جداسازی کاربران تراکنش از کاربران گزارش‌دهنده، که درخواست‌های موقت آن‌ها می‌تواند بر کارایی سیستم‌های عملیاتی تأثیر منفی بگذارد، استفاده بهینه از منابع زیرساخت داده را تضمین می‌کند.
ارزش زمانی داده ها

و در حالی که انبارها یک پلت فرم گزارش و تجزیه و تحلیل عالی برای یک سازمان فراهم می کنند، معمولاً با قضاوت بر اساس سن داده های موجود، در زمان واقعی کار نمی کنند. به دلیل محدودیت های تکنولوژیکی، Vault ها معمولاً در شب با استفاده از داده های بسته پر می شوند. برای این کار از یک برنامه دسته ای استفاده می شود که در جستجوی تغییرات کل پایگاه داده را به صورت عمودی می خواند. داده های وارد شده به انبار با استفاده از این رویکرد ETL همیشه قدیمی است (معمولاً یک روز).

با افزایش حجم داده های پردازش شده و همچنین تعداد و تنوع سیستم های پردازش داده، زمان و پیچیدگی فرآیند پر کردن Storage افزایش می یابد. در عین حال، جهانی شدن، مدت زمان فزاینده عملکرد سیستم ها، تعداد محدودی از قراردادها برای خدمات پس از فروشمنجر به نیاز به کاهش عملیات دسته ای می شود. ترکیب داده های بیشتر و فشار رقابتی چالش های جدی برای سازمان فناوری اطلاعات ایجاد می کند.

تصمیماتی که بر اساس داده های دیروز گرفته می شود، دیگر اکثر سازمان ها را راضی نمی کند. تصمیم‌گیری بلادرنگ نیاز به داده‌های زمان واقعی دارد، که تقاضاهای ویژه‌ای را برای یکپارچه‌سازی داده‌ها برای Warehouse ایجاد می‌کند.

علاوه بر این، عملیات تحلیلی انجام شده در انبار باید مجدداً به سیستم OLTP از جایی که داده ها از آنجا آمده اند، ارسال شوند. بنابراین، تمرکز پردازش تحلیلی رخ می دهد و انتقال تصمیمات اتخاذ شده در مورد داده های جمع آوری شده در انبار به سیستم های OLTP مناسب تضمین می شود.

این روندها به شرح زیر در حال اجرا هستند:
یکپارچه سازی داده ها در زمان واقعی برای Data Warehouse. دریافت و انتقال داده های بلادرنگ از سیستم عامل ها به انبار، که داده ها را برای تجزیه و تحلیل در دسترس قرار می دهد.
انبار داده فعال انبار داده بلادرنگ، با ابزارهای هوش تجاری برای پردازش و اجرای تصمیمات تجاری تکمیل شده است. راه حل ها به طور خودکار به سیستم های OLTP منتقل می شوند. در نتیجه یک چرخه پردازش بسته تشکیل می شود.

در تلاش برای دستیابی به انبار بلادرنگ، موفقیت اغلب به انتخاب صحیح ابزار یکپارچه سازی و رویکرد جمع آوری داده ها بستگی دارد که کیفیت و به موقع بودن اطلاعات را بهبود می بخشد.
یکپارچه سازی داده ها برای انبار بیدرنگ

برای پشتیبانی از یکپارچه‌سازی بلادرنگ، رویکرد دسته‌ای برای استخراج داده‌های عملیاتی باید با فرآیندهایی جایگزین شود که دائماً وضعیت سیستم‌های منبع را رصد می‌کنند، تغییرات داده‌ها را در صورت وقوع ضبط و تغییر می‌دهند، سپس آن‌ها را تا حد امکان نزدیک به زمان واقعی در انبار آپلود می‌کنند. جمع آوری داده های ثابت به شما امکان می دهد عناصر سود و قیمت را در هر بازه زمانی تجزیه و تحلیل کنید. روندها را می توان در هر فرکانس انتخابی و بدون تاخیر تجزیه و تحلیل کرد.

ETL یک راه حل ایده آل برای مشکل بارگیری مقادیر زیاد داده در انبار به روشی مشابه است و همچنین قابلیت های زیادی برای تبدیل داده ها را فراهم می کند. با این حال، عملیات ETL معمولاً در حالی انجام می‌شود که به‌روزرسانی سیستم منبع متوقف می‌شود تا اطمینان حاصل شود که منبع هنگام دریافت داده تغییر نمی‌کند. این به نوبه خود منجر به ناسازگاری بین سیستم های OLTP و انبار می شود. در نتیجه، داده ها و برنامه ها همیشه در دسترس کاربران تجاری نیستند.

راه‌حل‌های EAI که زمانی برای یکپارچه‌سازی برنامه‌ها در نظر گرفته شده بودند، امروزه اغلب با فناوری‌های ETL به عنوان ابزاری برای ادغام بلادرنگ و جمع‌آوری داده‌ها رقابت می‌کنند یا همزیستی می‌کنند. راه حل های EAI اطلاعات را بین سیستم های منبع و هدف انتقال می دهند، تحویل داده ها را تضمین می کنند، پشتیبانی جریان پیشرفته را ارائه می دهند و عناصر کلیدی تحول را ساده می کنند.

با این حال، فناوری EAI محدودیت هایی را بر حجم اعمال می کند، زیرا پیام اولیه این روش یکپارچه سازی برنامه ها (و نه داده ها) بود و ماهیت آن در راه اندازی برنامه ها و انتقال دستورالعمل ها و پیام ها است. با این حال، توانایی انتقال اطلاعات در زمان واقعی و حفظ یکپارچگی آن در طول یکپارچه سازی در برخی موارد، فناوری EAI را برای تبادل بین سیستم عامل ها و ذخیره سازی فعال مناسب می کند.

رویکرد دیگر برای یکپارچه‌سازی داده‌های بلادرنگ، فناوری مدیریت داده‌های تراکنش (TDM) است که برای دریافت، انتقال، تبدیل، تحویل و تأیید داده‌های تراکنش در یک محیط بلادرنگ ناهمگن طراحی شده است. TDM روی تراکنش‌های تکمیل‌شده عمل می‌کند: آنها را از سیستم OLTP انتخاب می‌کند، روش‌های تبدیل اولیه را اعمال می‌کند و به انبار منتقل می‌کند. با معماری خود، این فناوری ناهمزمان است، اما رفتار همزمان را ارائه می دهد، با تاخیر کسری از ثانیه کار می کند و یکپارچگی داده ها را در تراکنش حفظ می کند.

EAI و TDM برای انتقال تغییرات و به روز رسانی داده ها طراحی شده اند، نه نمونه های کل داده. هیچ‌کدام به تعلیق سیستم‌های منبع نیاز ندارند، زیرا این فناوری‌ها یکپارچگی عملیات زبان دستکاری داده (DML) را حفظ می‌کنند. این به میزان قابل توجهی میزان جابجایی داده های مورد نیاز را کاهش می دهد. و اگر ابزارهای ETL عمدتاً برای بارگذاری و تبدیل داده های اولیه در نظر گرفته شده باشند، EAI و TDM برای جمع آوری داده های مداوم مناسب تر هستند.

تعداد فزاینده ای از شرکت ها از فناوری TDM برای جمع آوری داده ها برای انبار استفاده می کنند. ابزارهای TDM عملیات داده‌ها را در محیط‌های پایگاه داده ناهمگن با تأخیر فرعی دوم ضبط، مسیریابی، تحویل و تأیید می‌کنند.

انتقال داده های تغییر یافته در سطح تراکنش به سیستم اجازه می دهد تا در آن کار کند حالت فعالو همزمان با پر کردن Storage، عملیات را پردازش کنید. در این حالت وابستگی بازه پردازش دسته ای به طور کامل از بین می رود و یکپارچگی هر یک از تراکنش ها حفظ می شود.

ادغام انبار و سیستم OLTP به معنای دریافت و انتقال داده های تراکنش به انبار به طور همزمان با انتقال داده های تصمیم گیری بر اساس داده های انبار داده به یک یا چند سیستم عملیاتی است. چنین حلقه بسته ای از کار نیز با استفاده از TDM ارائه می شود.
ویژگی ها و قابلیت های کلیدی ابزارهای یکپارچه سازی

ابزارهای یکپارچه سازی TDM دارای تعدادی عملکرد مهم هستند.

جمع آوری داده ها

ماژول‌های جمع‌آوری داده‌ها بر روی پایه اصلی نصب می‌شوند و دائماً تمام تراکنش‌های دریافتی جدید را نظارت می‌کنند. این امر با خواندن مقادیر زیادی از داده ها از گزارش تراکنش ها در زمانی که تراکنش ها هنوز در حال انجام هستند و معمولاً در حافظه هستند به دست می آید. داده ها در سطح تراکنش پردازش می شوند و فقط عملیات تکمیل شده به Vault ارسال می شود.

تحویل داده ها

تمام داده های جدید به منطقه ذخیره سازی میانی HD منتقل می شود، در حالی که تاخیر زمانی کسری از ثانیه است. این بدان معناست که به‌روزترین داده‌ها همیشه برای پیشرفته‌ترین روش‌های هوش تجاری و همچنین برای گزارش‌دهی و تصمیم‌گیری در دسترس هستند. از آنجایی که نمونه‌های داده کوچک‌تر در طول یک دوره زمانی معین (نسبت به انتقال انفجاری) منتقل می‌شوند، بار اضافی روی سیستم OLTP بسیار کم است.

ناهمگونی

انبار داده لزوماً بر روی سیستم عامل یا پایگاه داده مشابه سیستم OLTP اجرا نمی شود. علاوه بر این، اغلب موقعیت هایی وجود دارد که شما نیاز به جمع آوری داده ها از چندین مورد دارید سیستم های عاملو پایه ها بنابراین، ابزارهای یکپارچه سازی باید طیف وسیعی از DBMS ها و همچنین پلتفرم ها را پشتیبانی کنند و الزامات را برای حتی ناهمگن ترین زیرساخت های فناوری اطلاعات ساده کنند. به این ترتیب، یک سازمان می تواند یک پلتفرم را بر اساس استانداردها و ترجیحات شرکت انتخاب کند و با کمترین تأثیر بر راه حل ذخیره سازی انتها به انتها خود تکامل یابد.

داده های جمع آوری شده توسط ابزار یکپارچه سازی به فرمت مستقل از پلتفرم و DBMS تبدیل می شود. این امر ناهمگونی را حفظ می کند و خطر از بین رفتن یا خراب شدن داده ها را در صورت قطع شدن سیستم منبع یا هدف از بین می برد.

گزینش پذیری داده ها

ابزارهای یکپارچه سازی فقط داده هایی را که در انبار مورد نیاز است منتقل می کنند. در یک سیستم OLTP معمولی، فیلدهایی وجود دارد که مختص برنامه ای است که پایگاه داده در حال ارائه آن است. همه این پارامترها در Storage مورد نیاز نیستند. ابزار یکپارچه سازی باید شناسایی ستون هایی را که باید از پایگاه های داده بازیابی شده و به Vault ارسال شوند، ارائه دهد.

همچنین بسته به معیارهای کاربر می توان ردیف های خاصی را از پایه سیستم منبع انتخاب کرد. به عنوان مثال، برای جدا کردن داده ها بر اساس جغرافیا یا انتخاب محصولاتی که مختص انبار هدف هستند.

تبدیل داده ها

انتخاب پذیری در انتقال داده مهم است، اما وظیفه تبدیل، عادی سازی یا غیرعادی کردن داده ها بسته به سیستم هدف باقی می ماند. با توجه به مدل های مختلف داده و ساختارهای شی بین پایگاه داده OLTP و Warehouse، ستون های سیستم منبع را می توان برای مطابقت با ستون های سیستم هدف تبدیل کرد. در برخی موارد، ادغام چندین ستون از ردیف های منبع مختلف در یک ردیف و بالعکس ضروری می شود. برای تبدیل داده های پیچیده، نقاط خروجی به برنامه کاربر به منظور اجرای هر گونه قوانین خاص سازمان برای پر کردن انبار داده ارائه می شود.

انعطاف پذیری

توانایی فعال کردن سریع و آسان منابع پایگاه داده یا سیستم های هدف جدید، از جمله فرآیندهای ضبط و تحویل داده، نقش مهمی ایفا می کند.

تعریف دینامیک جداول

به منظور عدم وقفه در عملکرد انبار، به گونه ای طراحی شده است که به سرعت با تغییرات احتمالی در پایگاه داده سازگار شود. تعاریف جدول منبع و هدف یا با انتشار نرم افزار جدید یا نیاز به ظرفیت ذخیره سازی تغییر می کند. طرحواره های جدول را می توان با استفاده از فایل های پارامتریک به صورت پویا تنظیم کرد. به این ترتیب می توانید برای تغییرات سریع و بدون ارتقاء نرم افزار یا منسوخ شدن سیستم، تغییراتی در جداول منبع یا مقصد ایجاد کنید.

بازخورد

Active Storage داده ها را در صورت رعایت شرایط یا قوانین خاص منتقل می کند. یک عملیات پیچیده ممکن است شامل به روز رسانی سوابق در OLTP باشد. به عنوان مثال، یک سیستم تشخیص تقلب می تواند تراکنش های مشکوک را برجسته کرده و وضعیت حساب کاربری را در Vault تغییر دهد. این تغییر وضعیت را می توان توسط ابزار یکپارچه سازی ردیابی و به سیستم پردازش تراکنش آنلاین مناسب اطلاع رسانی کرد. ارسال اطلاعات به سیستم OLTP برای هر برنامه حلقه بسته و همچنین برای ارسال اطلاعات به طور همزمان به محیط های گزارش دهی، انبارهای داده، پشتیبان گیری یا سایر سیستم های هدف ضروری است.
ترکیبی از فناوری ها

در وظیفه یکپارچه سازی DW و OLTP، امکان ترکیب فرآیندهای TDM و ETL وجود دارد. از جمله برای پردازش داده های بلادرنگ، ضبط و استخراج مداوم داده ها در سطح تراکنش. ابزارهای TDM می‌توانند داده‌ها را در زمان واقعی به سطح ذخیره‌سازی میانی پایگاه داده هدف منتقل کنند، جایی که سرور ETL داده‌ها را رهگیری می‌کند و با اعمال تغییرات روی آن، آن‌ها را در فضای ذخیره‌سازی بارگذاری می‌کند. اشکالاتی در این رویکرد وجود دارد (به ویژه تأخیر اضافی و نیاز به حفظ سرور ETL)، اما اگر الزامات تبدیل داده خیلی پیچیده باشد، آنها توجیه می شوند.

مزایا این است که داده‌های تراکنشی جدید بلافاصله با تأثیر بسیار کمی بر عملکرد سیستم OLTP (در مقایسه با یک فرآیند معمولی ETL) ضبط می‌شوند.
و غیره.................

ویژگی‌های یک سیستم OLTP حجم زیاد اطلاعات اغلب پایگاه‌های داده متفاوت برای بخش‌های مختلف طرح‌واره عادی، بدون تکرار اطلاعات تغییر شدید داده‌ها حالت عملیات تراکنش‌ها بر مقدار کمی از داده‌ها تأثیر می‌گذارد پردازش داده‌های جاری - عکس فوری بسیاری از مشتریان زمان پاسخ کوتاه - چند ثانیه ویژگی‌های یک پایگاه‌داده‌های اطلاعاتی OLAP متداول با استفاده از سیستم‌های اطلاعاتی OLAP غیرمعمول Large طرح واره با موارد تکراری داده ها به ندرت تغییر می کند، تغییر از طریق بارگذاری دسته ای رخ می دهد پرس و جوهای موقتی پیچیده روی حجم زیادی از داده ها با استفاده گسترده از گروه بندی ها و توابع جمع. تجزیه و تحلیل وابستگی زمانی تعداد کمی از کاربران فعال - تحلیلگران و مدیران زمان بیشترپاسخ (اما هنوز قابل قبول) - چند دقیقه

قوانین Codd برای پایگاه داده های رابطه ای 1. قانون اطلاعات. 2. قانون دسترسی تضمین شده. 3. قانون پشتیبانی نامعتبر است. 4. قاعده کاتالوگ پویا بر اساس مدل رابطه ای. 5. قانون زیرزبان داده جامع. 6. قانون به روز رسانی نماها. 7. قاعده افزودن، به روز رسانی و حذف. 8. قاعده استقلال داده های فیزیکی. 9. قاعده استقلال داده های منطقی. 10. قاعده استقلال شرایط تمامیت. 11. قاعده استقلال توزیع. 12. قاعده یگانه بودن.

قوانین Codd برای OLAP 1. نمایش چند بعدی مفهومی. 2. شفافیت. 3. در دسترس بودن. 4. بهره وری ثابت در تهیه گزارش. 5. معماری سرویس گیرنده-سرور. 6. چند بعدی بودن عمومی. 7. کنترل دینامیکی ماتریس های پراکنده. 8. پشتیبانی از چند کاربر. 9. عملیات متقابل نامحدود. 10. دستکاری شهودی داده ها. 11. گزینه های گزارش دهی انعطاف پذیر. 12. بعد نامحدود و تعداد سطوح تجمع.

پیاده سازی OLAP انواع OLAP - سرورهای MOLAP (OLAP چند بعدی) - هم داده های دقیق و هم تجمیع در یک پایگاه داده چند بعدی ذخیره می شوند. ROLAP (OLAP رابطه ای) - داده های دقیق در یک پایگاه داده رابطه ای ذخیره می شود. انباشته ها در یک پایگاه داده در جداول خدمات ویژه ایجاد شده ذخیره می شوند. HOLAP (هیبرید OLAP) - داده های دقیق در یک پایگاه داده رابطه ای ذخیره می شوند و مجموعه ها در یک پایگاه داده چند بعدی ذخیره می شوند.

ویژگی های ROLAP - طرحواره های ستاره 1. جدول یک واقعیت که به شدت غیرعادی شده است 2. جداول چند بعدی که همچنین غیرعادی شده اند 3. کلید اولیه جدول واقعیت ترکیبی است و دارای یک ستون در هر بعد 4 است. داده های انباشته همراه با داده های منبع ذخیره می شوند معایب اگر انبوه ها همراه با داده های ابعاد منبع ذخیره شوند، باید از آنها استفاده شود. پارامتر اضافی- سطح سلسله مراتب

ساختار ذخیره سازی در Oracle DBMS SQL Client Client Client Java API JDBC OCI ODBC OLE DB CWM یا CWM2 OLAP ذخیره سازی (BLOB در جدول رابطه ای) SARE SCHEMA SCHEMA ثبت نام چند بعدی (فرآیند در هسته اوراکل) OLAP DML SQL به olap (dbms_aw ، olap ، olap ، olap_aw)

مقایسه مدل های نرمال شده و غیر نرمال شده

تجزیه و تحلیل معیارها برای مدل های داده نرمال شده و غیر عادی

بیایید نتایج تجزیه و تحلیل معیارهایی را که می‌خواهیم تأثیر مدل‌سازی داده‌های منطقی بر کیفیت مدل‌های داده فیزیکی و عملکرد پایگاه‌داده را ارزیابی کنیم، کنار هم قرار دهیم:

همانطور که از جدول مشاهده می شود، روابط نرمال شده قوی تری بهتر طراحی شده اند (سه مثبت، یک منهای). آنها بیشتر با حوزه موضوعی مطابقت دارند، توسعه آنها آسانتر است و عملیات اصلاح پایگاه داده سریعتر برای آنها انجام می شود. درست است، این به قیمت کاهش سرعت در اجرای عملیات نمونه‌گیری داده‌ها به دست می‌آید.

روابط نرمال شده ضعیف تنها مزیت را دارند - اگر پایگاه داده فقط با پرس و جوها برای انتخاب داده ها قابل دسترسی باشد، برای روابط ضعیف نرمال شده، چنین پرس و جوها سریعتر هستند. این به دلیل این واقعیت است که در چنین روابطی قبلاً ارتباط روابط برقرار شده است ، و در هنگام انتخاب داده ها زمان هدر نمی رود.

بنابراین، انتخاب درجه عادی سازی روابط بستگی به ماهیت پرس و جوهایی دارد که اغلب با آنها به پایگاه داده دسترسی پیدا می شود.

می‌توان دسته‌هایی از سیستم‌ها را که مدل‌های داده نرمال‌شده قوی یا ضعیف برای آنها مناسب‌تر هستند، مشخص کرد.

مدل های داده به شدت نرمال شده برای به اصطلاح مناسب هستند برنامه های OLTP (پردازش معاملات آنلاین (OLTP )- پردازش عملیاتی تراکنش ها ). نمونه های معمولی از برنامه های OLTP عبارتند از: سیستم های مدیریت انبار، سیستم های فروش بلیط، سیستم های بانکی، انجام عملیات انتقال وجه و غیره وظیفه اصلی چنین سیستم هایی انجام تعداد زیادی تراکنش کوتاه مدت است. خود تراکنش ها نسبتاً ساده به نظر می رسند، به عنوان مثال، "یک مقدار پول از حساب A برداشت کنید، این مقدار را به حساب B اضافه کنید." مشکل این است که اولاً تراکنش های زیادی وجود دارد، ثانیاً آنها به طور همزمان انجام می شوند (چند هزار کاربر همزمان می توانند به سیستم متصل شوند) و ثالثاً اگر خطایی رخ دهد باید تراکنش کاملاً برگردانده شود و سیستم به حالت قبل از شروع تراکنش برگردد (نباید شرایطی وجود داشته باشد که پول از حساب A برداشت نشده باشد اما از حساب A برداشت نشده باشد). تقریباً تمام پرس و جوهای پایگاه داده در برنامه های OLTP شامل دستورات درج، به روز رسانی، حذف هستند. پرس و جوهای انتخاب در درجه اول به این منظور هستند که به کاربران اجازه دهند از منابع مختلف انتخاب کنند. بنابراین بسیاری از درخواست ها از قبل در مرحله طراحی سیستم شناخته می شوند. بنابراین، سرعت و قابلیت اطمینان انجام به‌روزرسانی‌های کوتاه داده برای برنامه‌های OLTP حیاتی است. هرچه سطح نرمال سازی داده ها در یک برنامه OLTP بالاتر باشد، معمولاً سریعتر و قابل اعتمادتر است. انحراف از این قانون زمانی رخ می دهد که در حال حاضر در مرحله توسعه، برخی از پرس و جوهای متداول شناخته شده باشند که نیاز به اتصال روابط دارند و سرعت اجرای آنها به طور قابل توجهی بر عملکرد برنامه ها تأثیر می گذارد. در این حالت، می توانید نرمال سازی را فدای سرعت بخشیدن به اجرا کنید درخواست های مشابه.

نوع دیگری از اپلیکیشن ها به اصطلاح هستند برنامه های OLAP (پردازش تحلیلی آنلاین (OLAP ) - پردازش داده های تحلیلی عملیاتی ). این یک اصطلاح کلی است که اصول ساخت و ساز را مشخص می کند سیستم های پشتیبانی تصمیم (سیستم پشتیبانی تصمیم - DSS ), فروشگاه های داده (پایگاه داده تحلیلی ), سیستم های داده کاوی (داده کاوی ). چنین سیستم هایی برای یافتن روابط بین داده ها طراحی شده اند (به عنوان مثال، می توانید سعی کنید تعیین کنید که چگونه حجم فروش کالاها با ویژگی های خریداران بالقوه مرتبط است)، برای انجام تجزیه و تحلیل "چه می شود اگر ...". برنامه های OLAP بر روی مقادیر زیادی از داده های ذخیره شده در برنامه های OLTP، از صفحات گسترده یا سایر منابع داده کار می کنند. چنین سیستم هایی با ویژگی های زیر مشخص می شوند:

• داده های جدید نسبتاً به ندرت در بلوک های بزرگ به سیستم اضافه می شود (به عنوان مثال، داده های فروش فصلی از یک برنامه OLTP هر سه ماه یک بار دانلود می شود).
• داده های اضافه شده به سیستم معمولاً هرگز حذف نمی شوند.
• قبل از بارگذاری، داده ها از طریق روش های مختلف "پاکسازی" مربوط به این واقعیت که یک سیستم می تواند داده ها را از منابع بسیاری دریافت کند، انجام می شود. فرمت های مختلفنمایش برای مفاهیم یکسان، داده ها ممکن است نادرست، اشتباه باشد.
• درخواست‌ها به سیستم موقتی و معمولاً پیچیده هستند. اغلب، یک پرس و جو جدید توسط یک تحلیلگر فرموله می شود تا نتیجه به دست آمده از یک پرس و جو قبلی را اصلاح کند.
• سرعت اجرای پرس و جو مهم است، اما حیاتی نیست.

داده های برنامه OLAP معمولاً به صورت یک یا چند ابر مکعب نمایش داده می شود که ابعاد آنها داده های مرجع هستند و سلول های خود هایپرمکعب داده های واقعی را ذخیره می کنند. به عنوان مثال، می توانید یک هایپر مکعب بسازید که ابعاد آن عبارتند از: زمان (بر حسب چهارم، سال)، نوع محصول و بخش های شرکت، و حجم فروش در سلول ها ذخیره می شود. چنین ابر مکعبی حاوی داده های فروش خواهد بود انواع مختلفکالاها بر اساس ربع و تقسیمات. بر اساس این داده ها، می توانید به سوالاتی مانند "کدام بخش بهترین حجم فروش را در سال جاری دارد؟" پاسخ دهید.

از نظر فیزیکی، هایپر مکعب را می توان بر اساس یک خاص ساخت مدل داده چند بعدی (MOLAP - OLAP چند بعدی ) یا با استفاده از مدل داده های رابطه ای ساخته شده است ( ROLAP - OLAP رابطه ای ).

با بازگشت به مشکل عادی سازی داده ها، می توان گفت که در سیستم های OLAP با استفاده از مدل داده های رابطه ای (ROLAP)، توصیه می شود داده ها را در قالب روابط نرمال شده ضعیف حاوی داده های خلاصه اصلی از پیش محاسبه شده ذخیره کنید. افزونگی زیاد و مشکلات مرتبط با آن در اینجا وحشتناک نیستند، زیرا. به روز رسانی تنها زمانی رخ می دهد که یک قطعه جدید از داده بارگیری شود. در این حالت، هم افزودن داده های جدید و هم محاسبه مجدد مجموع ها اتفاق می افتد.