OLAP ve OLTP Sistemleri OLTP - Çevrimiçi İşlemsel Veri İşleme OLAP - Çevrimiçi Analitik Veri İşleme. OLTP ve OLAP sistemleri

OLTP ve OLAP sistemleri

Bir önceki alt bölümde, yeterince temsil etmek için not edildi. konu alanı, veritabanının geliştirme ve bakım kolaylığı, ilişki üçüncü normal forma getirilmelidir (normalleştirme biçimleri ve daha yüksek dereceler vardır, ancak pratikte oldukça nadiren kullanılırlar), yani güçlü bir şekilde normalleştirilmelidir. Bununla birlikte, zayıf şekilde normalleştirilmiş ilişkilerin de avantajları vardır; bunların en önemlisi, veritabanına esas olarak yalnızca sorgularla erişiliyorsa ve verilerde değişiklik ve eklemeler çok nadiren gerçekleştiriliyorsa, seçimleri çok daha hızlıdır. Bu, zayıf bir şekilde normalleştirilmiş ilişkilerde bağlantılarının zaten yapılmış olduğu ve işlemci süresinin buna harcanmadığı gerçeğiyle açıklanmaktadır. için iki sistem sınıfı vardır. Daha güçlü ve zayıf normalleştirilmiş ilişkilere uyar.

Büyük ölçüde normalleştirilmiş veri modelleri, OLTP uygulamaları için çok uygundur - Açık- astar işlem İşleme (OLTP) - uygulamalar operasyonel işlem işlemler. OLTP uygulamalarının tipik örnekleri, sistemlerdir. depo muhasebesi, bilet siparişleri, işletim bankacılığı sistemleri ve diğerleri. Bu tür sistemlerin temel işlevi, Büyük bir sayı kısa işlemler İşlemlerin kendileri oldukça basit, ancak sorun şu ki, bu tür birçok işlem var, bunlar aynı anda yürütülüyor ve hatalar meydana gelirse, işlem geri alınmalı ve sistemi işlem başlamadan önceki durumuna geri döndürmelidir. OLTP uygulamalarındaki hemen hemen tüm veritabanı sorguları, ekleme, güncelleme ve silme komutlarından oluşur. Seçim istekleri, esas olarak kullanıcılara çeşitli dizin türlerinden bir veri seçimi sağlamayı amaçlar. Böylece sistem tasarımı aşamasında isteklerin çoğu önceden bilinmektedir. OLTP uygulamaları için kritik olan, kısa veri güncellemelerini gerçekleştirmenin hızı ve güvenilirliğidir. OLTP uygulamalarında veri normalleştirme düzeyi ne kadar yüksek olursa, o kadar hızlı ve güvenilir olur. Bu kuraldan sapmalar, zaten geliştirme aşamasında, ilişkilerin bağlantısını gerektiren ve yürütme hızının uygulamaların çalışmasını önemli ölçüde etkileyen bazı sık sık meydana gelen sorgular bilindiğinde ortaya çıkabilir.

Başka bir uygulama türü de OLAP uygulamalarıdır - Açık- astar Analitik İşleme (OLAP) - çevrimiçi analitik veri işleme uygulamaları. Bu, karar destek sistemleri - Karar Destek Sistemi (DSS), veri ambarları - Veri Ambarı, veri madenciliği sistemleri - Veri Madenciliği oluşturma ilkelerini karakterize eden genelleştirilmiş bir terimdir. Bu tür sistemler, veriler arasındaki bağımlılıkları bulmak, "ya olursa ..." ilkesine göre dinamik analizler yapmak ve benzeri görevler için tasarlanmıştır. OLAP uygulamaları, kuruluşta biriken veya diğer kaynaklardan alınan büyük miktarda veriyle çalışır. Bu tür sistemler aşağıdaki özelliklerle karakterize edilir:

sisteme nispeten nadiren büyük bloklar halinde, örneğin ayda veya üç ayda bir yeni veriler eklenir; sisteme eklenen veriler genellikle asla silinmez;

yüklemeden önce veriler, belirli biçimlere getirilmesi ve benzerleriyle ilgili çeşitli hazırlık prosedürlerinden geçer; sisteme yapılan talepler düzenlenmemiş ve oldukça karmaşıktır; sorgu yürütme hızı önemlidir, ancak kritik değildir.

OLAP uygulamalarındaki veritabanları, boyutları referans verisi olan bir veya daha fazla hiperküp olarak temsil edilir ve hiperküpün hücreleri, bu verilerin değerlerini depolar. Fiziksel olarak, özel bir çok boyutlu veri modeli temelinde bir hiperküp inşa edilebilir - Çok boyutlu OLAP (MOLAP) veya ilişkisel bir veri modeli aracılığıyla temsil edilir - ilişkisel OLAP (ROLAP).

kullanan OLAP sistemlerinde ilişkisel model veriler, önceden hesaplanmış ana özet verileri içeren zayıf normalleştirilmiş ilişkiler biçiminde verilerin saklanması tavsiye edilir. Veri fazlalığı ve bununla ilgili sorunlar, oldukça nadiren güncellendikleri için burada korkunç değildir ve veri güncellemesiyle birlikte toplamlar yeniden hesaplanır.

Her teknolojinin etkili bir şekilde çözdüğü görevlerin özellikleri ve kapsamı aşağıda açıklanmaktadır. karşılaştırma Tablosu:

OLTP ve OLAP'ın Karşılaştırılması

OLAP sistemleri

OLAP (İngilizce çevrimiçi analitik işleme, gerçek zamanlı analitik işleme), çok boyutlu bir ilkeye göre yapılandırılmış büyük veri dizilerine dayalı özet (toplanmış) bilgilerin hazırlanmasından oluşan bir veri işleme teknolojisidir. OLAP teknolojisinin uygulamaları bileşenlerdir Yazılım çözümleri iş zekası sınıfı.

OLAP teriminin kurucusu - Edgar Codd, 1993 yılında "gerçek zamanlı 12 analitik işleme yasası" önerdi.

Şirketler genellikle birkaç bilgi sistemi– bireysel otomasyon için depo muhasebe sistemleri, muhasebe sistemleri, ERP sistemleri üretim süreçleri, şirket departmanlarından rapor toplama sistemleri ve çalışanların bilgisayarlarına dağılmış birçok dosya.

Bu kadar çok farklı bilgi kaynağı varken, bir şirketin faaliyetleri hakkında önemli sorulara yanıt bulmak ve bunları görmek genellikle çok zordur. büyük fotoğraf. Ve ne zaman gerekli bilgi kullanılan sistemlerden birinde veya yerel bir dosyada bulunuyorsa, genellikle eskiyse veya başka bir sistemden alınan bilgilerle çelişiyorsa.

Bu sorun OLAP teknolojilerine (diğer isimler: OLAP sistemi, İş Zekası Sistemi, İş Zekası) dayalı olarak oluşturulmuş bilgi ve analitik sistemlerin yardımıyla etkin bir şekilde çözülür. OLAP sistemleri, kullanıcıya büyük miktarda verinin gerçek zamanlı analizi, dinamik rapor tasarımı, temel iş göstergelerinin izlenmesi ve tahmin edilmesi için araçlar sağlayarak mevcut muhasebe sistemlerini entegre eder.

OLAP sistemlerinin avantajları

Bilgi, bir şirketin yönetiminde önemli bir rol oynar. Kural olarak, küçük şirketler bile çeşitli faaliyet alanlarını otomatikleştirmek için birkaç bilgi sistemi kullanır. Geleneksel veritabanlarına dayalı bilgi sistemlerinde analitik raporlama elde etmek, bir takım sınırlamalarla ilişkilidir:

Her raporun geliştirilmesi bir programcının çalışmasını gerektirir.

Raporlar çok yavaş üretilir (genellikle birkaç saat), dolayısıyla tüm bilgi sisteminin işleyişini yavaşlatır.

Şirketin çeşitli yapısal unsurlarından alınan veriler birleşik değildir ve çoğu zaman çelişkilidir.

OLAP sistemleri, yapılarının ideolojisine göre, büyük miktarda bilgiyi analiz etmek için tasarlanmıştır ve geleneksel bilgi sistemlerinin sınırlamalarının üstesinden gelmenizi sağlar.

Bir kuruluşta bir OLAP sistemi oluşturmak şunları sağlar:

Gerçeğin tek bir versiyonunu oluşturarak çeşitli bilgi sistemlerinden verileri entegre edin

· Programcıların katılımı olmadan birkaç fare tıklamasıyla yeni raporlar tasarlayın.

· Herhangi bir kategori ve iş göstergesi için herhangi bir ayrıntı seviyesinde gerçek zamanlı analiz verileri.

Temel iş göstergelerini izleyin ve tahmin edin

Bir OLAP sistemiyle çalışırken, ortaya çıkan sorulara her zaman hızlı bir şekilde yanıt bulabilir, büyük resmi görebilir ve işin durumunu sürekli olarak izleyebilirsiniz. Aynı zamanda sadece güncel bilgileri kullandığınızdan emin olabilirsiniz.

OLAP sisteminin uygulanmasının sonuçları

Yönetim, duruma ilişkin eksiksiz ve net bir vizyon ve muhasebe, kontrol ve analiz için tek bir mekanizma alır.

Şirket içi iş süreçlerini otomatikleştirerek ve çalışan verimliliğini artırarak insan kaynaklarına olan ihtiyaç azaltılır.

OLAP Eylemi

Sorgu işleme için OLAP kullanılmasının nedeni hızdır. İlişkisel veritabanları, varlıkları genellikle iyi normalleştirilmiş ayrı tablolarda saklar. Bu yapı, operasyonel veritabanları (OLTP sistemleri) için uygundur, ancak karmaşık çoklu tablo sorguları nispeten yavaştır.

Üretim verilerinden oluşturulan bir OLAP yapısına OLAP küpü denir. Yıldız şeması veya kar tanesi şeması kullanılarak tabloların birleştirilmesinden bir küp oluşturulur. Yıldız şemasının merkezinde, sorgulanmakta olan temel gerçekleri içeren bir olgu tablosu bulunur. Boyutları olan birden çok tablo bir olgu tablosuna eklenir. Bu tablolar, birleştirilmiş ilişkisel verilerin nasıl analiz edilebileceğini gösterir. Olası toplamaların sayısı, orijinal verilerin hiyerarşik olarak görüntülenebileceği yolların sayısına göre belirlenir.

Örneğin, tüm müşteriler şehir veya ülke bölgesine (Batı, Doğu, Kuzey vb.) göre gruplandırılabilir, böylece 50 şehir, 8 bölge ve 2 ülke, 60 üyeli 3 hiyerarşi düzeyi oluşturur. Ayrıca müşteriler ürünlere göre gruplandırılabilir; 2 kategori, 3 ürün grubu ve 3 üretim bölümünde 250 ürün varsa agrega sayısı 16560 olacaktır. Şemaya boyut eklerken sayı seçenekler hızla on milyonlara veya daha fazlasına ulaşır.

Bir OLAP küpü, boyutlar (kümeler) hakkında temel verileri ve bilgileri içerir. Küp potansiyel olarak herhangi bir soruyu yanıtlamak için gerekli olabilecek tüm bilgileri içerir. Çok sayıda birim nedeniyle, genellikle yalnızca bazı ölçümler için tam bir hesaplama yapılır, geri kalanı için "talep üzerine" yapılır.

Temel konseptin yanı sıra üç tür OLAP vardır:

Çok boyutlu OLAP (Çok boyutlu OLAP - MOLAP);

ilişkisel OLAP (İlişkisel OLAP - ROLAP);

hibrit OLAP (Hibrit OLAP - HOLAP).

MOLAP, OLAP'ın klasik biçimidir, bu nedenle genellikle basitçe OLAP olarak anılır. Uzamsal veritabanı işlemcisinin özel bir varyantı olan toplama veritabanını kullanır ve hem temeldeki verileri hem de kümeleri koruyarak gerekli uzamsal veri şemasını oluşturur.

ROLAP doğrudan ilişkisel depolama ile çalışır, boyutlara sahip gerçekler ve tablolar ilişkisel tablolarda saklanır ve kümeleri depolamak için ek ilişkisel tablolar oluşturulur.

HOLAP, temel verileri depolamak için ilişkisel tabloları ve toplamaları depolamak için çok boyutlu tabloları kullanır.

Özel bir ROLAP durumu, Gerçek Zamanlı ROLAP'tır (R-ROLAP). ROLAP'tan farklı olarak R-ROLAP, toplamaları depolamak için ek ilişkisel tablolar oluşturmaz, ancak toplamalar sorgu sırasında hesaplanır. Bu durumda, OLAP sistemine yapılan çok boyutlu bir sorgu, otomatik olarak ilişkisel verilere bir SQL sorgusuna dönüştürülür.

Değerlendirmelerinde anlaşmazlıklar olsa da, her depolama türünün belirli avantajları vardır. farklı üreticiler. MOLAP en çok küçük veri kümeleri için uygundur, toplamaları hızla hesaplar ve yanıtları döndürür, ancak çok büyük miktarda veri üretir. ROLAP, mümkün olan en küçük alanı kullanırken daha ölçeklenebilir bir çözüm olarak derecelendirildi. Bu durumda, işlem hızı önemli ölçüde azalır. HOLAP bu iki yaklaşımın ortasında yer alır, oldukça iyi ölçeklenir ve işlenmesi hızlıdır. R-ROLAP mimarisi, OLTP verilerinin gerçek zamanlı çok boyutlu analizine izin verir.

OLAP uygulamasındaki zorluk, sorgu oluşturma, temel alınan verileri seçme ve bir şema tasarlamada yatmaktadır; modern ürünler OLAP çok sayıda önceden yapılandırılmış sorgu ile birlikte gelir. Diğer bir sorun da temel alınan verilerdedir. Tam ve tutarlı olmalıdırlar.

OLAP Uygulamaları

Tarihsel olarak, esas olarak bir OLAP uygulaması olan ilk çok boyutlu veritabanı yönetim sistemi, 1970 yılında IRI tarafından geliştirilen Ekspres sistemdir (daha sonra ürünün hakları Oracle Corporation tarafından alındı ​​ve Oracle Database için bir OLAP seçeneğine dönüştürüldü). OLAP terimi, Edgar Codd tarafından 1993 yılında Computerworld'deki bir yayında tanıtıldı ve on yıl önce formüle ettiği ilişkisel veritabanları için 12 kurala benzer şekilde, önerilen ilkeleri karşılayan bir referans ürün olarak analitik işlemenin 12 ilkesini önerdi. , Codd, Arbor'un Essbase sistemini gösterdi (1997'de Hyperion tarafından satın alındı ​​ve bu da 2007'de Oracle tarafından satın alındı). Codd'un daha sonra sağladığı gibi, yayının olası bir çıkar çatışması nedeniyle daha sonra Computerworld arşivlerinden kaldırılmış olması dikkat çekicidir. danışmanlık servisleri Arbor için.

Diğer iyi bilinen OLAP ürünleri: Microsoft Analysis Services (eski adıyla OLAP Services, SQL Server'ın bir parçası), SAS OLAP Server, TM1, PowerPlay, SAP BW, MicroStrategy Ingelligence Server, Mondrian, Analytical Complex PROGNOZ.

Uygulama açısından, "fiziksel OLAP" ve "sanal" (ilişkisel, İngilizce İlişkisel OLAP, ROLAP) olarak ayrılırlar. "Fiziksel", uygulamaya bağlı olarak sırayla çok boyutlu (İngilizce Çok Boyutlu OLAP, MOLAP) ve hibrit - (İngilizce Hibrit OLAP, HOLAP) olarak ikiye ayrılır.

İlk durumda, verileri kaynaklardan OLAP'a önceden yükleme aşamasında, toplamların bir ön hesaplamasını yapan bir program vardır (birkaç başlangıç ​​​​değerine dayalı hesaplamalar, örneğin, "Ay için toplam"), bunlar daha sonra sağlayan özel bir çok boyutlu veritabanında saklanır. hızlı çıkarma ve ekonomik depolama. Bu tür ürünlere örnek olarak Microsoft Analysis Services, Oracle OLAP Option, Essbase, SAS OLAP Server, TM1, PowerPlay verilebilir.

Hibrit OLAP bir kombinasyondur. Verilerin kendisi ilişkisel bir veritabanında saklanırken, kümeler çok boyutlu bir veritabanında saklanır.

ROLAP uygulamalarında, tüm veriler ilişkisel veritabanı yönetim sistemleri tarafından depolanır ve işlenir ve kümeler hiç mevcut olmayabilir veya DBMS'de veya analitik yazılımın önbelleğinde ilk istekte oluşturulabilir. Bu tür ürünlere örnek olarak SAP BW, Microstrategy Intelligence Server, Mondrian verilebilir.

Kullanıcının bakış açısından, tüm seçenekler yetenekler açısından benzer görünür. OLAP, en büyük kullanımını şu ürünlerde bulur: finansal planlama, veri ambarları, iş zekası çözümleri.

OLTP sistemleri (Çevrimiçi İşlem İşleme Sistemleri)

OLTP (Çevrimiçi İşlem İşleme), işlem sistemi - gerçek zamanlı işlem işleme. Sistemin küçük işlemlerle ancak büyük bir akışla çalıştığı ve aynı zamanda müşterinin sistemden minimum yanıt süresi gerektirdiği bir veritabanı düzenleme yöntemi.

OLTP terimi ayrıca sistemlere (uygulamalara) da uygulanır. OLTP sistemleri, bilgilerin (işlemler, belgeler) gerçek zamanlı olarak girilmesi, yapılandırılmış depolanması ve işlenmesi için tasarlanmıştır.

Bütünlük sorunu, veri tabanı verilerinin herhangi bir zamanda doğruluğunu sağlamaktır. Aşağıdaki durumlarda ihlal edilebilir: 1. Girerken ve güncellerken, yanlış bilgi verildiğinde. 2. birkaç kullanıcı aynı anda verileri kullandığında. 3. APS arızalarında.

Bütünlük problemlerinin çözümü, programatik ve organizasyonel bir bakış açısıyla ele alınmalıdır. Yazılım 1. için bir dizi organizasyonel olaya ihtiyacınız vardır (girişi takip etmek için), kullanıcının giriş kurallarını ve kısıtlamalarını bilmesi gerekir. 2-3 sorunları için - standart DBMS araçları veya özel yazılım modülleri. DBMS - 2 ana bütünlük kısıtlaması: 1. yapısal kısıtlamalar (işlevsel bağlantılar tarafından belirlenir ve veritabanı değerlerinin eşitliği kontrol edilerek kontrol edilir) 2. gerçek değerler üzerindeki kısıtlamalar. Alan değerlerinin belirli bir aralığa ait olmasını gerektir veya bazı alanların değerleri arasında bir bağımlılıktır. (veri türleri ve giriş maskeleri). Kısıtlamalar herhangi bir zamanda DBMS tarafından ayarlanabilir, ancak DBMS kısıtlamayı kabul etmeyebilir (birçok kayıt artık bunu karşılamıyorsa), bir eşleşme varsa sözlüğe yazılır ve kullanılır. Kısıtlamalar zorluk seviyesine göre değişir:

2. dizi öznitelikleri üzerindeki kısıtlamalar. (pozisyon - deşarj oranları, bölgeler - şehirler).

3. Aynı anda birçok hatta kısıtlama.

Tüm bu kısıtlamalar istatistikseldir, ancak veritabanı bir durumdan başka bir duruma geçtiğinde, bütünlük kısıtlamalarını her değişikliğin değil, tüm değişikliklerin başlamasından önce ve hepsinin bitiminden sonra sağlamak gerekir. Bu tür kısıtlamalara ertelenmiş denir ve bunlarla ilgili olarak işlem kavramı tanıtılır. İşlem, kullanıcının bakış açısından bir veritabanında tamamlanmış bir eylemdir. Aynı zamanda, sistemin mantıksal işlem birimidir. Bir işlem, örneğin bankacılık sisteminde bir hesaptan diğerine para transferi gibi bazı uygulama işlevlerini yerine getirir.

4 özelliğe sahip olmalıdır: 1. Atomiklik (bölünemezlik): Tek bir veritabanı erişim işlemi olarak gerçekleştirilir, tamamen gerçekleştirilmelidir veya hiç gerçekleştirilmemelidir. 2. Tutarlılık - işlem işleme tamamlandıktan sonra verilerin karşılıklı bütünlüğünü garanti eder. 3. İzolasyon (her işlem, geçici olarak tutarsız bir durumda olan verileri değiştirebilir). Aynı zamanda, işlem tamamlanana kadar başka işlemlerin bu verilere erişimi yasaktır. 4. dayanıklılık - işlem başarılı olursa değişiklikler kaybolmaz. Bir işlemin sonucu, işleme (veritabanındaki değişiklikleri işleme koyma eylemi) veya geri alma (işlemi iptal etme ve veritabanını başlamadan önceki durumuna döndürme) olabilir. Kesinleştirme ve geri alma mekanizması, durumun ÖNCE (birkaç yinelemede) ve SONRA kaydedildiği işlem günlüğünün kullanımına dayanır. SQL'in bazı lehçeleri, ara işlem (noktadan noktaya geri alma) deyimleri içerir.

İşlem İşleme Monitörleri (TPM'ler) yazılım sistemleri(aracı veya ara yazılıma bakın), problem çözme dağıtılmış bir sistemde bilgi ve bilgi işlem kaynaklarının etkin yönetimi. Esnek, açık bir geliştirme ve yönetim ortamı sağlarlar. mobil uygulamalar, dağıtılmış işlemlerin çevrimiçi işlenmesine odaklandı. Arasında en önemli özellikler TPM - ölçeklenebilirlik, işlevsel bütünlük ve uygulama bütünlüğü için destek, başarma maksimum performans verileri düşük maliyet göstergelerinde işlerken, heterojen bir ortamda veri bütünlüğünü korumak. TPM'ler, üç katmanlı bir istemci-sunucu modeline dayanır

Açık modern pazar işlem monitörleri, ana "aktörler" ACMS (DEC), CICS (IBM), TOP END (NCR), TUXEDO Sytem (Novell) gibi sistemlerdir.

Veri ambarlarının temel özellikleri.

• geçmiş verileri içerir;
• ayrıntılı bilgilerin yanı sıra kısmen ve tamamen özetlenmiş verileri saklar;
• veriler çoğunlukla statiktir;
• veri işlemenin düzenlenmemiş, yapılandırılmamış ve buluşsal yolu;
• işlem işlemenin orta ve düşük yoğunluğu;
• verileri kullanmanın öngörülemeyen yolu;
• analiz için tasarlanmış;
• odaklanmak konu alanları;
• stratejik karar verme için destek;
• nispeten az sayıda yöneticiye hizmet vermektedir.

OLAP (Çevrimiçi Analitik İşleme) terimi, veri sunum modelini ve buna bağlı olarak veri ambarlarında bunların işlenme teknolojisini tanımlamak için kullanılır. OLAP, sağlamak için birleştirilmiş verilerin çok boyutlu bir görünümünü kullanır. hızlı erişim stratejik olarak önemli bilgi derinlemesine analiz amaçları için. OLAP uygulamaları aşağıdaki temel özelliklere sahip olmalıdır:

• çok boyutlu veri sunumu;
• karmaşık hesaplamalar için destek;
• zaman faktörünün doğru değerlendirilmesi.

OLAP'ın Avantajları:

• terfi verimüretim personeli, geliştiriciler Uygulama programları. Stratejik bilgilere zamanında erişim.
• yapmak için kullanıcılara yeterli fırsatlar sağlamak kendi değişikliklerişemanın içine.
• OLAP uygulamaları, veri depoları ve OLTP sistemleri, onlardan güncel veriler alarak tasarruf sağlar bütünlük kontrolü kurumsal veriler.
• OLTP sistemleri üzerindeki yükün azaltılması ve veri depoları.

OLAP ve OLTP. Özellikler ve temel farklılıklar

OLAP sistemleri için Codd kuralları

1993'te Codd, Analist Kullanıcıları için OLAP'ı yayınladı: Nasıl Olmalı? İçinde, çevrimiçi analitik işlemenin temel kavramlarını özetledi ve ürünlerin çevrimiçi analitik işleme sağlamak için karşılaması gereken 12 kuralı belirledi.

1. Kavramsal çok boyutlu temsil. Bir OLAP modeli özünde çok boyutlu olmalıdır. Çok boyutlu bir kavramsal diyagram veya özel sunum, modelleme ve analizin yanı sıra hesaplamaları da kolaylaştırır.
2. şeffaflık Kullanıcı, nereden geldiklerini bile bilmeden gerekli tüm verileri OLAP makinesinden alabilir. OLAP ürününün kullanıcının araçlarının bir parçası olup olmadığına bakılmaksızın, bu gerçek kullanıcı tarafından görülmemelidir. OLAP, istemci-sunucu bilgi işlemi tarafından sağlanıyorsa, mümkünse bu gerçek de kullanıcı tarafından görülmemelidir. OLAP, kullanıcının nerede olursa olsun analitik bir araç kullanarak sunucuyla iletişim kurmasına izin veren, gerçekten açık bir mimari bağlamında sunulmalıdır. Ek olarak, analitik araç homojen ve heterojen veri tabanı ortamlarıyla etkileşime girdiğinde de şeffaflık sağlanmalıdır.
3. Kullanılabilirlik. OLAP kendi sağlamalıdır mantık diyagramı heterojen bir veritabanı ortamında erişmek ve kullanıcıya veri sağlamak için uygun dönüşümleri gerçekleştirmek. Ayrıca, gerçekte nerede ve nasıl ve ne tür fiziksel veri organizasyonunun kullanılacağına önceden dikkat etmek gerekir. Bir OLAP sistemi yalnızca gerçekten gerekli olan verilere erişmeli ve geçerli olmamalıdır. Genel prensip gereksiz girdi gerektiren "mutfak hunisi".
4. Devamlı verim raporları geliştirirken. Verim boyutların sayısındaki ve veritabanının boyutundaki artışla birlikte raporlama önemli ölçüde düşmemelidir.
5. İstemci-sunucu mimarisi. Ürünün yalnızca bir istemci/sunucu ürünü olması gerekmez, aynı zamanda sunucu bileşeninin de farklı istemcilerin minimum çaba ve programlama ile bağlanabilecek kadar akıllı olması gerekir.
6. Genel çok boyutluluk. Tüm boyutlar eşit olmalı, her boyut hem yapı hem de operasyonel yetenekler açısından eşdeğer olmalıdır. Doğru, ek operasyonel yetenekler bireysel ölçümler için (görünüşe göre zaman ima edilmiştir), ancak bu tür Ek fonksyonlar herhangi bir boyuta verilmelidir. Öyle olmamalı ki temel veri yapıları, hesaplamalı veya raporlama biçimleri bir boyuta daha özeldi.
7. Dinamik kontrol seyrek matrisler. OLAP sistemleri, fiziksel şemalarını model türüne, veri hacimlerine ve veritabanı seyrekliğine göre otomatik olarak ayarlamalıdır.
8. Çoklu Kullanıcı Desteği. OLAP aracı yeteneği sağlamalıdır paylaşım (istek ve ekleme), bütünlük ve güvenlik.
9. Sınırsız çapraz işlemler. Herhangi bir ölçüm için her türlü işleme izin verilmelidir.
10. Sezgisel veri işleme. Veri manipülasyonu, menüler ve çoklu işlemler kullanılmadan görüntüleme modunda hücreler üzerinde doğrudan eylemler yoluyla gerçekleştirildi.
11. Esnek raporlama seçenekleri. Ölçümler kullanıcının istediği şekilde rapora yerleştirilmelidir.
12. Sınırsız

Bilgi teknolojisi alanında birbirini tamamlayan iki alan vardır:

Operasyonel (işlemsel) veri işlemeye odaklanan teknolojiler. Bu teknolojiler, operasyonel veri işleme için tasarlanmış ekonomik bilgi sistemlerinin temelini oluşturur. Bu tür sistemlere denir OLTP(çevrimiçi işlem işleme) sistemler;

Veri analizi ve karar vermeye odaklanan teknolojiler. Bu teknolojiler, analiz etmek için tasarlanmış ekonomik bilgi sistemlerinin temelini oluşturur.

birikmiş veriler. Bu tür sistemlere denir OLAP

(çevrimiçi analitik işleme) sistemler.

OLAP sistemlerinin temel amacı- dinamik çok boyutlu

tarihsel ve güncel verilerin analizi, zaman içinde istikrarlı, analiz

trendler, modelleme ve geleceği tahmin etme. Çok

sistemler, kural olarak, keyfi işlemeye odaklanır,

önceden düzenlenmiş istekler. ana olarak

Bu sistemlerin özellikleri şu şekildedir:

Çok boyutlu veri gösterimi desteği, tüm boyutların eşitliği, boyutların sayısından bağımsız performans;

Yapının kullanıcısı için şeffaflık, veri saklama ve işleme yöntemleri;

Mantıksal veri yapısının harici sistemlere otomatik eşlenmesi;

Seyrek matrislerin verimli bir şekilde dinamik işlenmesi.

OLAP terimi nispeten yenidir ve bazen farklı edebi kaynaklarda farklı şekilde yorumlanır. Bu terim genellikle karar desteği (DSS (Karar Destek Sistemleri) - karar destek sistemleri) ile tanımlanır. Ve ikinci terimin eşanlamlısı olarak, Veri Ambarı - veri ambarlarını kullanırlar, yani analistlere sağlamak için bir dizi organizasyonel çözüm, yazılım ve donanım alt düzey işlem işleme sistemlerinden ve diğer kaynaklardan gelen verilere dayalı bilgilerle

"Veri ambarları", uzun süreler boyunca biriken verileri işlemenize olanak tanır. Bu veriler heterojendir (ve mutlaka yapılandırılmış değildir). "Veri ambarları" için sorguların çok boyutlu doğası doğaldır. Büyük miktarda veri, hem veri hem de sorgu yapısının karmaşıklığı, bilgiye erişmek için özel yöntemlerin kullanılmasını gerektirir.

Diğer kaynaklarda Karar Destek Sistemi (DSS) kavramının daha geniş olduğu düşünülmektedir. Veri ambarları ve çevrimiçi analitik işleme araçları, DSS mimarisinin bileşenlerinden biri olarak hizmet verebilir.

OLAP her zaman etkileşimli sorgu işlemeyi ve müteakip çok geçişli bilgi analizini içerir; bu, konu alanında gözlemlenen her zaman açık olmayan çeşitli eğilimleri belirlemenize olanak tanır.

Bazen "dar anlamda OLAP" arasında bir ayrım vardır - bunlar, yalnızca çeşitli bölümlerde veri seçimi sağlayan sistemlerdir ve "geniş anlamda OLAP" veya basitçe OLAP, şunları içerir:

Veritabanını düzenleyen birden çok kullanıcı için destek.

Türetilmiş sonuçların elde edilmesi ve verilerin toplanması ve birleştirilmesi için hesaplama mekanizmaları dahil olmak üzere modelleme işlevleri;

Tahmin, eğilim ve istatistiksel analiz.

Doğal olarak, bu IS türlerinin her biri, özel bir veri organizasyonunun yanı sıra özel bir veri düzenlemesi gerektirir. yazılım araçları, önümüzdeki görevlerin etkili bir şekilde uygulanmasını sağlamak.

OLAP araçları, ürün türü, alıcının coğrafi konumu, işlem zamanı ve satıcı gibi çeşitli parametreler üzerinde işletme bilgilerinin analizini sağlar ve bunların her biri bir görüş hiyerarşisi oluşturulmasına olanak tanır. Böylece zaman için yıllık, üç aylık, aylık ve hatta haftalık ve günlük aralıkları kullanabilirsiniz; coğrafi dökümler şehirlere, eyaletlere, bölgelere, ülkelere veya gerekirse tüm yarım kürelere göre olabilir.

OLAP sistemleri üç sınıfa ayrılabilir.

En karmaşık ve pahalı olanları tescilli teknolojilere dayanmaktadır. çok boyutlu veritabanı sunucuları. Bu sistemler tam bir OLAP işleme döngüsü sağlar ve sunucu bileşenine ek olarak kendi entegre istemci arayüzlerini içerir veya veri analizi için kullanılır harici programlar elektronik tablolarla çalışmak. Bu sınıftaki ürünler, büyük bilgi depolarında kullanım için en uygundur. Bakımları, sistemin hem kurulumunda hem de bakımında ve son kullanıcılar için veri sunumlarının oluşturulmasında yer alan tüm çalışanlardan oluşan bir kadro gerektirir. Genellikle bu paketler oldukça pahalıdır. Bu sınıftaki ürünlere örnek olarak Arbor Software'den Essbase, IRI'den Express (artık Oracle'ın bir parçası), Pilot Software'den Lightship ve diğerleri dahildir.

Analizleri sırasında hızlı veri işlemeyi sağlamanın yollarından birinin, verilerin çok boyutlu veritabanları (MDD'ler) biçiminde düzenlenmesi olduğuna dikkat edilmelidir. MDD'deki bilgiler, tablolarda dizinlenmiş kayıtlar olarak değil, mantıksal olarak sıralanmış diziler biçiminde depolanır. Evrensel olarak tanınan tek bir çok boyutlu veri depolama modeli yoktur. MDD'nin verilere erişmek için standartlaştırılmış bir yöntemi yoktur ve belirli analitik veri işleme gereksinimlerini karşılayabilir.

Her şey düşünüldüğünde, farklı MDB ürünleri arasındaki karşılaştırmalar yalnızca en genelleştirilmiş kategorilerde yapılabilir. Pazarın alt ucunda, çok boyutlu veriler için yalnızca tek kullanıcılı ve küçük LAN görüntüleyiciler bulunmaktadır. Oldukça yüksek düzeyde işlevselliğe sahip olmalarına ve kullanımlarının kolay olmasına rağmen, bu sistemler kapsam olarak sınırlıdır. ve en geniş anlamıyla OLAP işlemeyi uygulamak için gereken araçlardan yoksundurlar. Bu kategoriye giren ürünler arasında Cognos'tan PowerPlay, Andyne'den PaBlo ve Business Objects'ten Mercury bulunur. Pazarın pahalı sektörünü Kenan Technologies'den Acumate ES, Oracle'dan Express, Planning Sciences'tan Gentium ve Holistic Systems'den Holos temsil ediyor. Yeteneklerinde o kadar farklıdırlar ki, herhangi biri güvenli bir şekilde ayrı bir kategoriye ayrılabilir. Son olarak saf MDD sistemleri: Arbor Software'in Essbase'i, Pilot Software'in LightShip Sunucusu ve Sinper'in TM/1 [N. Raden (Yazılım pazarı)].

OLAP araçlarının ikinci sınıfı - ilişkisel OLAP sistemleri(ROLA). Burada, eski ilişkisel DBMS'ler verileri depolamak için kullanılır ve veritabanı ile istemci arayüzü arasında sistem yöneticisi tarafından tanımlanan bir meta veri katmanı düzenlenir. Bu ara katman aracılığıyla, istemci bileşeni, çok boyutlu bir veritabanıyla olduğu gibi ilişkisel bir veritabanıyla etkileşime girebilir. Birinci sınıf araçlar gibi, ROLAP sistemleri de büyük bilgi ambarlarıyla çalışmak için iyi uyarlanmıştır, bilgi departmanı uzmanları tarafından önemli bakım maliyetleri gerektirir ve çok kullanıcılı operasyon sağlar. Bu tür ürünler arasında IQ Software Corporation'dan IQ/Vision, MicroStrategy'den DSS/Server ve DSS/Agent ve Information Advantage'dan DecisionSuite yer alır.

ROLAP - araçlar, karar destek işlevlerini ilişkisel bir veritabanı işlemcisi üzerinden bir eklentide uygular.

Çok yazılım ürünleri bir takım gereklilikleri karşılamalıdır, özellikle:

Çok geçişli SQL SELECT deyimlerini ve/veya ilişkili alt sorguları kullanmanıza izin veren, OLAP için optimize edilmiş güçlü bir SQL oluşturucuya sahip olun;

Sıralamayı sağlayan önemsiz olmayan işlemler için yeterince gelişmiş araçlara sahip olmak, Karşılaştırmalı analiz ve bir sınıf içindeki yüzdelerin hesaplanması;

İçinde bulunan bu dilin uzantıları için destek de dahil olmak üzere, hedef ilişkisel DBMS için optimize edilmiş SQL ifadeleri oluşturun;

Meta verileri kullanarak veri modelini açıklamak için mekanizmalar sağlayın ve bu meta verilerin gerçek zamanlı olarak sorgular oluşturmak için kullanılmasını sağlayın;

Hesaplama hızı açısından, tercihen kullanımlarına ilişkin istatistiklerin toplanmasıyla birlikte, pivot tablo oluşturma kalitesini değerlendirmenize olanak tanıyan bir mekanizma ekleyin.

Üçüncüsü, nispeten yeni tip OLAP -araçları- masaüstü sorgulama ve raporlama araçları OLAP işlevleriyle desteklenmiş veya bu tür işlevleri gerçekleştiren harici araçlarla entegre edilmiştir. Bu son derece gelişmiş sistemler, verileri orijinal kaynaklardan alır, dönüştürür ve son kullanıcının PC'sinde çalışan dinamik çok boyutlu bir veritabanına yerleştirir. Hem pahalı çok boyutlu bir veritabanı sunucusuna hem de ROLAP araçları için gerekli olan karmaşık bir ara meta veri katmanına ihtiyaç duymadan yapmayı mümkün kılan bu yaklaşım, aynı zamanda yeterli analiz verimliliği sağlar. Bu masaüstü araçları, küçük, basit bir şekilde düzenlenmiş veritabanlarıyla çalışmak için çok uygundur. Bunlar için vasıflı bakım ihtiyacı, diğer OLAP sistemlerinden daha düşüktür ve yaklaşık olarak geleneksel sorgu işleme ortamlarının düzeyine karşılık gelir. Bu pazar sektöründeki ana oyuncular arasında Brio Query Enterprise sistemi ile Brio Technology, aynı isimli ürünü ile Business Objects ve PowerPlay ile Cognos bulunmaktadır.

Web uyumlu OLAP ürünlerinin sayısı şu anda artıyor.

Önemli bir konu, OLAP'ın yazılımın geri kalanına uyarlanmasıdır. OLAP sağlayıcıları, SQL DBMS ve diğer araçlarla etkileşim için bazı yollar sunmaya başlasa da, kullanıcılar ve analistler, entegrasyon düzeyinin değişiklik gösterdiği ve büyük olasılıkla SQL sorguları yazmak da dahil olmak üzere önemli miktarda kodlama gerektireceği konusunda uyarıyorlar. Ayrıca, OLAP'ı geri kalanıyla entegre etmek için yazılım işletmelerin endüstri standardı yoktur.

Bu sorunun çözümü aşağıdaki gibi olabilir. Örneğin, birçok şirket OLAP veritabanlarını veri ambarlarının ön ucu olarak konumlandırıyor. Bu yaklaşımla, havuzlar, çok boyutlu OLAP'ın çekirdeğini, kullanıcıların daha sonra karmaşık sorguları hızla yürütmek için erişebilecekleri veri örnekleriyle besler. Amaç, verilerin konumunu kullanıcıdan gizleyen bir sorgu ortamı oluşturmaktır. Bu ortam, çok boyutlu işleme motoruna karşı otomatik olarak karmaşık sorgular çalıştıracak veya ilişkisel sunucularda ayrıntılı bilgi ve basit sorgular arayacak. Bu yolu izleyemeyen şirketler için OLAP araçları ile diğer yazılımlar arasında bağlantıların kurulmasında danışmanlık firmaları önemli bir rol oynamaktadır.

OLTP sistemleri operasyonel işlemeyi gerçekleştirmenin oldukça verimli bir yolu olan , analitik işleme görevleri için pek kullanışlı olmadığı ortaya çıktı. Bu, aşağıdakilerden kaynaklanır:

1. Geleneksel OLTP sistemlerini kullanarak, herhangi bir karmaşıklığın analitik raporunu ve hatta tahminini oluşturabilirsiniz, ancak önceden düzenlenmiştir. Herhangi bir adım bir yana, son kullanıcının herhangi bir düzenlenmemiş gereksinimi, kural olarak, veri yapısı hakkında bilgi ve programcının oldukça yüksek bir niteliğini gerektirir;

2. Operasyonel sistemler için gerekli olan birçok işlevsellik, analitik görevler için gereksizdir ve aynı zamanda konu alanını yansıtmayabilir. Analitik görevlerin çoğu, analiz, tahmin ve modelleme için harici özel araçların kullanılmasını gerektirir. Katı veri tabanı yapısı, karmaşık seçimler ve sıralamalar durumunda kabul edilebilir performans elde edilmesine izin vermez ve bu nedenle ağ geçitlerini organize etmek için çok zaman gerektirir.

3. işlemsel sistemlerden farklı olarak, analitik sistemler verilerin bütünlüğünü, yedeklenmesini ve kurtarılmasını sağlamak için gelişmiş araçlar gerektirmez ve buna bağlı olarak bunları sağlamaz. Bu, yalnızca uygulama araçlarını basitleştirmekle kalmaz, aynı zamanda dahili ek yükü azaltır ve bu nedenle veri alınırken performansı artırır.

Her bir sistem tarafından etkin bir şekilde çözülen görevlerin aralığı, OLTP ve OLAP sistemlerinin karşılaştırmalı özelliklerine dayalı olarak belirlenecektir (Tablo 8).

 OLTP ve OLAP sistemleri Bir önceki alt bölümde, konu alanının yeterli bir şekilde temsil edilmesi, veri tabanının geliştirilmesi ve bakımının kolaylığı için ilişkilerin üçüncü normal forma indirilmesi gerektiği belirtilmişti (normalleştirme biçimleri ve daha yüksek dereceler vardır, ancak pratikte oldukça nadiren kullanılırlar), o zaman yüksek oranda normalleştirilmeleri gerekir. Bununla birlikte, zayıf şekilde normalleştirilmiş ilişkilerin de avantajları vardır; bunların en önemlisi, veritabanına esas olarak yalnızca sorgularla erişiliyorsa ve verilerde değişiklik ve eklemeler çok nadiren gerçekleştiriliyorsa, seçimleri çok daha hızlıdır. Bu, zayıf bir şekilde normalleştirilmiş ilişkilerde bağlantılarının zaten yapılmış olduğu ve işlemci süresinin buna harcanmadığı gerçeğiyle açıklanmaktadır. Güçlü ve zayıf normalleştirilmiş ilişkilerin daha uygun olduğu iki sistem sınıfı vardır. Yüksek düzeyde normalleştirilmiş veri modelleri, OLTP uygulamaları - Çevrimiçi İşlem İşleme (OLTP) - çevrimiçi işlem işleme uygulamaları için çok uygundur. OLTP uygulamalarının tipik örnekleri, envanter kontrol sistemleri, biletleme sistemleri, operasyonel bankacılık sistemleri ve diğerleridir. Bu tür sistemlerin ana işlevi, çok sayıda kısa işlem gerçekleştirmektir. İşlemlerin kendileri oldukça basit, ancak sorun şu ki, bu tür birçok işlem var, bunlar aynı anda yürütülüyor ve hatalar meydana gelirse, işlem geri alınmalı ve sistemi işlem başlamadan önceki durumuna geri döndürmelidir. OLTP uygulamalarındaki hemen hemen tüm veritabanı sorguları, ekleme, güncelleme ve silme komutlarından oluşur. Seçim istekleri, esas olarak kullanıcılara çeşitli dizin türlerinden bir veri seçimi sağlamayı amaçlar. Böylece sistem tasarımı aşamasında isteklerin çoğu önceden bilinmektedir. OLTP uygulamaları için kritik olan, kısa veri güncellemelerini gerçekleştirmenin hızı ve güvenilirliğidir. OLTP uygulamalarında veri normalleştirme düzeyi ne kadar yüksek olursa, o kadar hızlı ve güvenilir olur. Bu kuraldan sapmalar, zaten geliştirme aşamasında, ilişkilerin bağlantısını gerektiren ve yürütme hızının uygulamaların çalışmasını önemli ölçüde etkileyen bazı sık sık meydana gelen sorgular bilindiğinde ortaya çıkabilir. Başka bir uygulama türü, OLAP uygulamaları - Çevrimiçi Analitik İşleme (OLAP) - çevrimiçi analitik veri işleme uygulamalarıdır. Bu, karar destek sistemleri - Karar Destek Sistemi (DSS), veri ambarları - Veri Ambarı, veri madenciliği sistemleri - Veri Madenciliği oluşturma ilkelerini karakterize eden genelleştirilmiş bir terimdir. Bu tür sistemler, veriler arasındaki bağımlılıkları bulmak, "ya olursa ..." ilkesine göre dinamik analizler yapmak ve benzeri görevler için tasarlanmıştır. OLAP uygulamaları, kuruluşta birikmiş veya diğer kaynaklardan alınan büyük miktarda veri üzerinde çalışır. Bu tür sistemler aşağıdaki özelliklerle karakterize edilir: * yeni veriler sisteme nispeten nadiren büyük bloklar halinde eklenir, örneğin ayda veya üç ayda bir; * Sisteme eklenen veriler kural olarak asla silinmez; * yüklemeden önce veriler, belirli biçimlere getirilmesi ve benzerleriyle ilgili çeşitli hazırlık prosedürlerinden geçer; * sisteme yapılan istekler düzensiz ve oldukça karmaşıktır; * sorgu yürütme hızı önemlidir, ancak kritik değildir. OLAP uygulamalarındaki veritabanları, boyutları referans verisi olan bir veya daha fazla hiperküp olarak temsil edilir ve hiperküpün hücreleri, bu verilerin değerlerini depolar. Fiziksel olarak, bir hiperküp, özel bir çok boyutlu veri modeli - Çok boyutlu OLAP (MOLAP) temelinde inşa edilebilir veya ilişkisel bir veri modeli - İlişkisel OLAP (ROLAP) aracılığıyla temsil edilebilir. İlişkisel bir veri modeli kullanan OLAP sistemlerinde, verilerin önceden hesaplanmış temel özet verileri içeren zayıf normalleştirilmiş ilişkiler biçiminde depolanması tavsiye edilir. Veri fazlalığı ve bununla ilgili sorunlar, oldukça nadiren güncellendikleri için burada korkunç değildir ve veri güncellemesiyle birlikte toplamlar yeniden hesaplanır. Her teknolojinin etkili bir şekilde çözdüğü görevlerin özellikleri ve kapsamı aşağıdaki karşılaştırmalı tabloda açıklanmıştır: OLTPOLAP'ın özellikleri Sistemin amacı Kayıt, çevrimiçi arama ve işlemlerin işlenmesi, düzenlenmiş analiz Geçmiş verilerle çalışma, analitik işleme, tahmin, modelleme Depolanan veriler Operasyonel, ayrıntılı Geniş bir zaman dilimini kapsayan, toplu (birkaç ay) Geçmiş (yıl) ve tahmin edilen Veri güncelleme sıklığıYüksek, küçük "parçalar" halinde Küçük, büyük "parçalar" halinde Veri toplama düzeyi Ayrıntılı veriler Çoğunlukla toplu veriler Baskın işlemlerVeri girişi, arama, güncellemeVeri analiziVerilerin nasıl kullanıldığı ÖngörülebilirTahmin edilemezKullanıcı etkileşimi İşlem düzeyinde Tüm veritabanı verileri düzeyinde Etkinlik türüOperasyonel, taktikselAnalitik, stratejikÖnceliklerYüksek performans Yüksek kullanılabilirlikEsneklik Kullanıcı özerkliğiKullanıcı kategorisiYüksek sayıda yöneticiGörece az yönetici OLTP ve OLAP Karşılaştırması OLTP'nin özellikleri OLAPSorgu doğasıBirçok basit işlemKarmaşık işlemlerDepolanmış verilerOperasyonel , granüler Uzun vadeli, toplu Faaliyet türüOperasyonel , taktikAnalitik, strat -GicData türüStructuredFarklıtürSistem özelliğiHesap sistemi (OLTP)OLAPKullanıcı etkileşimi İşlem düzeyinde Veritabanı geneli düzeyde Kullanıcı sisteme eriştiğinde kullanılan verilerBireysel kayıtlarKayıt gruplarıYanıt süresiSaniyeSaniye ila dakikaDonanım kaynak kullanımı KararlıDinamikVeri doğası Çoğunlukla birincil (en düşük ayrıntı düzeyi)Çoğunlukla türetilmiş (özet değerler) Veritabanı erişim modelleri Önceden tanımlanmış veya statik erişim yolları ve veri ilişkileri Tanımsız veya dinamik erişim yolları ve veri ilişkileri Veri oynaklığı Yüksek (veriler her işlemle güncellenir) Düşük (veriler işlem sırasında nadiren güncellenir) a sorgu) Öncelikler Yüksek performans Yüksek kullanılabilirlik Esneklik Kullanıcı özerkliği