[ Pobierz całość w formacie PDF ]
Zaawansowane systemy baz danych - ZSBD
Hurtownie danych – 2
Zagadnienia implementacyjne i efektywność przetwarzania OLAP
Wykład przygotował:
Robert Wrembel
ZSBD – wykład 13 (1)
1
Zaawansowane systemy baz danych - ZSBD
Plan wykładu
•Odświeżanie hurtowni danych
• Perspektywy zmaterializowane
• Efektywność przetwarzania OLAP
– przepisywanie zapytań
– indeksowanie
– partycjonowanie
– kompresja
– przetwarzanie równoległe
• Metadane
ZSBD – wykład 13 (2)
Celem wykładu jest omówienie podstawowych zagadnień związanych z
implementacją hurtowni danych. W ramach wykładu zostanie przedstawiona
następująca problematyka:<br/>
-odświeżania hurtowni danych w czasie jej pracy,<br/>
- wykorzystanie perspektyw zmaterializowanych do implementowania
hurtowni,<br/>
- techniki zwiększające efektywność przetwarzania analitycznego, m.in.
przepisywanie zapytań w oparciu o perspektywy zmaterializowane, indeksowanie
danych przy użyciu różnych struktur, partycjonowanie danych i indeksów,
kompresja danych i indeksów, przetwarzanie równoległe,<br/>
- metadane opisujÄ…ce hurtowniÄ™.<br/>
2
Zaawansowane systemy baz danych - ZSBD
Odświeżanie hurtowni (1)
• Źródła danych nieprzerwanie zmieniają swoją zawartość
• Konieczność uaktualniania zawartości hurtowni danych
•Dosępność danych aktualnych
–jakość wyników analiz
– decyzje biznesowe
ZSBD – wykład 13 (3)
Hurtownia danych integruje dane ze źródeł, których zawartość podlega
nieustannym zmianom (np. systemy obsługi bieżącej banku rejestrują
nieprzerwanie nowe transakcje). Z tego względu, zachodzi konieczność
dostarczania do hurtowni danych aktualnych. Dostępność danych aktualnych ma
kluczowy wpływ na jakość wyników pracy aplikacji analitycznych, działających
na zawartości hurtowni. Złe analizy, nietrafione prognozy trendów, fałszywe
wzorce zachowań klientów mogą prowadzić decydentów do podjęcia złych
decyzji inwestycyjnych, skutkujących poważnymi stratami finansowymi
organizacji. Dlatego problem dostarczania aktualnych danych do hurtowni jest
problemem równie ważnym, co jej właściwe zaprojektowanie i implementacja.
<br/>
3
Zaawansowane systemy baz danych - ZSBD
Odświeżanie hurtowni (2)
• Rodzaje odświeżania
– pierwsze zasilenie pustej hurtowni
–odświeżanie w trakcie eksploatacji
• okresowo
• Realizowane przez procesy ETL
ZSBD – wykład 13 (4)
Po wdrożeniu hurtownia wymaga odświeżania jej zawartości. W praktyce,
wyróżnia się dwa rodzaje odświeżania hurtowni, tj. pierwsze zasilenie, gdy
hurtownia jest pusta bezpośrednio po jej zaprojektowaniu i okresowe
odświeżanie w trakcie eksploatacji hurtowni.<br/>
Odświeżanie pierwszego jak i drugiego rodzaju jest realizowane przez procesy
ETL.<br/>
4
Zaawansowane systemy baz danych - ZSBD
Odświeżanie hurtowni (2)
• Zagadnienia techniczne
• Jak odświeżać (sposób odświeżania)
–w pełni
– przyrostowo
• Kiedy odświeżać (moment odświeżania)
– okresowo
• automatycznie
• na żądanie
• Co przesyłać (rodzaj przesyłanych obiektów)
– dane
– polecenia
ZSBD – wykład 13 (5)
Z odświeżaniem w trakcie eksploatacji hurtowni wiążą się trzy podstawowe
zagadnienia techniczne, tj. sposób odświeżania, moment odświeżania, rodzaj
przesyłanych obiektów ze źródła do hurtowni.<br/>
Jeśli chodzi o pierwsze zagadnienie, to wyróżnia się odświeżanie pełne i
odświeżanie przyrostowe. W odświeżaniu pełnym, ze źródła do hurtowni są
przesyłane wszystkie dane wymagane do wypełnienia hurtowni. W odświeżaniu
przyrostowym, ze źródła do hurtowni są przesyłane tylko dane nowe lub
zmodyfikowane od czasu ostatniego odświeżenia.<br/>
Jeśli chodzi o moment odświeżania, to w praktyce wykorzystuje się odświeżanie
okresowe, albo inicjowane automatycznie przez procesy systemowe, albo
inicjowane na żądanie użytkownika.<br/>
Jeśli chodzi o rodzaj przesyłanych obiektów, to w praktyce przesyła się ze źródła
do hurtowni albo dane albo polecenia modyfikujące zawartość hurtowni.<br/>
5
[ Pobierz całość w formacie PDF ]