SQL server 2005/2008
Integration Services (SSIS)
Datový sklad není statické úložiště dat. Data do něho přicházejí z různých zdrojů, transformují a ukládají se. ETL (Extract Transform and Load) nástroje jsou hnacím motorem těchto procesů. Zajímavá a důležitá data ve firmě bývají uložena v různých formátech: v Excelu, textovém souboru, databázi, CRM, …. Efektivní integrace dat, která leží „všude možně“, je základem systémů pro podporu rozhodování. Schopnost získat z takto různorodého a rozsáhlého množství dat důležité informace, na které se dá spolehnout, je stále důležitější.
SQL Server 2005 Integration Services jsou nástrojem, který vám umožní tato heterogenní data napříč společností získat, transformovat je do potřebné podoby, zkontrolovat a nahrát do nějaké databáze (datového skladu).
SSIS obsahují komponenty pro čtení a čištění dat ze známých datových zdrojů (SQL Server, ORACLE,…), podporu vlastních datových zdrojů (pokud k nim existuje OLE DB, ADO.NET driver), komponenty text miningu. S takto různě získanými daty pak lze pracovat nezávisle na tom, odkud pochází, spojovat je a transformovat dle potřeby a ukládat do různých cílů. SSIS eliminují (nebo alespoň minimalizují) nutnost meziukládání dat (stagingu).
Datové zdroje a cíle
SSIS podporují veliké množství datových zdrojů, ze kterých jsou schopny čerpat data, a cílů, kam tato data umí nahrávat. SSIS podporují datové zdroje od textových souborů (CSV, konstantní délka sloupečků), souborů Excelu, XML až po libovolné OLE DB či .NET Framework datové zdroje.
Podpora datových zdrojů a cílů je tak široká, že se dá říci, že SSIS jsou schopny integrovat téměř všechna vaše data. Načtená data z různých datových zdrojů jsou převedena do stejného formátu okamžitě po načtení a je jedno, z jakého datového zdroje pochází.
Datové Transformace
Data tečou z datového zdroje, po cestě na nich mohou být vykonávány různé kontroly či transformace a na závěr jsou data uložena do datového cíle. SSIS se snaží tam, kde je to možné, provést v paměti všechny transformace a eliminovat tak potřebu meziukládání dat.
SSIS jsou vybaveny (oproti DTS) širokou paletou možných transformací dat. Například:
- Podmíněné rozdělení dat - na základě definované podmínky (podmínek) lze příchozí data rozdělovat na skupiny a každou z nich třeba ukládat do jiné tabulky
- Konverze dat - na datech lze provádět různé konverze. (řetězec -> číslo, změna kódové stránky řetězce, …)
- Třídění dat
- Spojování dat - data z různých zdrojů lze spojovat (JOIN, UNION)
- Odvozené sloupce - na základě hodnot některých sloupců lze vytvářet dopočítávané nové sloupce
- Agregace
- Lookup
- Fuzzy lookup, Fuzzy grouping - „Nepřesné“ vyhledávání nebo seskupování
Načítáním dat z datových zdrojů, jejich transformace a ukládání do cílů výčet možných úkonů SQL Server Integration Services zdaleka nekončí. Pomocí SSIS lze dále například:
- Spouštět ActiveX skripty
- Spouštět procesy systému
- Třídění dat
- Dotazovat se do data miningového modelu
- Stahovat a nahrávat soubory z FTP serveru
- Posílat emaily pomocí SMTP serveru
- Procesovat OLAP databáze
- Spouštět metody nějaké webové služby
- Přenášet objekty SQL serveru mezi SQL servery
- Kopírovat, přesunovat a mazat soubory a adresáře
Plán údržby - tzv. Maintenance plans
SSIS obsahují dále úlohy pro správu a údržbu databází SQL Serveru. Umožňují například:
- spouštění libovolného SQL kódu
- zálohování databází
- kontrola integrity databází
- znovuvytvoření nebo reorganizaci indexů
- shrink databází
- update statistik
Závěr
Microsoft poskytuje technologii zvanou Data Transformation Services (DTS); technologie je součástí instalace MS SQL Serveru 2000 a jedná se o ETL nástroj, který slouží především k výše jmenovaným úkolům. Technologie DTS umožňuje importovat, exportovat a transformovat data pomocí COM, OLE DB, a Microsoft ActiveX Scripts. Pomocí DTS může správce datového skladu vytvářet, spravovat a udržovat datová tržiště a datové sklady. DTS poskytuje:
SQL Server 2005 Integration Services (SSIS) jsou nástupcem služby SQL Server 2000 Data Transformation Services (DTS). Integration Services byly kompletně přepracovány a výrazně rozšířeny. SSIS jsou velmi silným nástrojem srovnatelným s ostatními ETL nástroji a jsou vhodné pro nasazení do téměř jakékoliv situace, kdy je třeba netriviálním způsobem pracovat s daty.
Ne všechny úkony starších DTS balíčků lze plnohodnotně převést do SSIS. Zpětná kompatibilita je zajištěna tím, že SSIS obsahují i starý engine pro DTS balíčky, a to, co nelze převést, lze spustit pomocí tohoto engine. Je tedy možné spouštět staré DTS balíčky, ale obecně se doporučuje jejich redesign.
Notification Services (NS)
Notification services je framework umožňující vytvářet aplikace, které generují a odesílají různá upozornění, a také je platformou pro hostování těchto aplikací. Rychle a jednoduše lze vytvořit aplikaci, která generuje hlášení na základě nějaké události, a tuto aplikaci poté zveřejnit na Notification Services server.
Aplikace generuje notifikace následujícím způsobem
1. Příjemce (uživatel nebo aplikace) se přihlásí k odběru zpráv generovaných konkrétní aplikací vytvořením subskripce (jaká informace ho zajímá, kam ji doručit)
2. Aplikace sbírá události
3. Notification Services hledají shodu události a subskripce
4. Při shodě Notification Services vygenerují upozornění
5. Notification Services zformátují upozornění a odešlou jej na uvedené zařízení
Dobrým příkladem je např. burzovní aplikace. Příjemce chce být informován v momentě, kdy cena určitých akcií překročí hranici 500 Kč. Vytvořená aplikace pak sbírá (sleduje) data o ceně akcií. Pokaždé, když je cena těchto akcií větší než 500 Kč, Notification Services odešlou patřičné upozornění.
NS obsahují mechanizmus bránící, v případě potřeby, vícenásobnému zasílání téže zprávy jednomu uživateli.
Notification Services umí přijímat data i odesílat data ostatním komponentám SQL Serveru a dalším technologiím Microsoft.
Doručování zpráv je možné pomocí několika doručovacích protokolů. Jde o ukládání zpráv do souborů a posílání emailu pomocí SMTP serveru. Notification Services podporují i HTTP protokol a dají se nastavit tak, aby podporovaly doručování pomocí protokolů založených na HTTP a SOAP.
Možnosti Notification Services se výrazně liší podle verze SQL Serveru. Především v podporovaném množství vláken, která se starají o zpracování událostí a doručování upozornění, a v počtu podporovaných procesorů. U Enterprise edice je navíc k dispozici možnost zvýšit velikost doručovaného upozornění a možnost adresovat upozornění více příjemcům (multicast).
Analysis Services (AS)
Analysis Services 2005
Od roku 2003 jsou Analysis Services 2000 nejrozšířenějším OLAP produktem na trhu. Spolu s SQL Serverem 2005 přichází na trh nová verze Analysis Services, jejíž mottem je „Redefine the Market“. Jak již motto napovídá, byly Analysis Services ve verzi 2005 výrazně vylepšeny a rozšířeny o mnoho nových prvků a vlastností.
Některé změny ve verzi 2005 proti 2000:
- UDM - Unified Dimension Model. Kombinuje „to nejlepší z relačního i OLAP přístupu“ k datům
- Agregations - Bylo přidáno mnoho dalších agregačních funkcí (například průměr)
- Proactive caching - Jedná se o MOLAP cache, která si hlídá uložená data v RDBMS a při změně je tato změna přenesena do cache a tedy dotazy do kostky jsou vždy nad aktuálními daty
- XML for Analysis (XML/A) - XML rozhranní k Analysis Services, díky kterému můžou AS fungovat jako webová služba
- Translations - OLAP kostky (včetně dimenzionálních popisů) mohou být vytvářeny ve vícejazyčných podobách a koncoví uživatelé si mohou vybrat svůj jazyk, v jakém budou procházet kostku
- Measure Groups - V jedné kostce mohou být kombinována data z různých faktových tabulek, dokonce i s odlišným zrnem
- Perspectives - Pojmenované podmnožiny dimenzí a ukazatelů v rámci jedné kostky. Umožňují pochopitelnější formou prezentovat velké kostky
- Dimension limitations - U dimenzí byly odstraněny limity na počty prvků
Nová verze SQL Serveru přinesla rozšíření funkčnosti i v oblastech:
- Security
- Data mining
- KPI framework
- MDX
Analysis Services 2008
Další technologická vylepšení přináší verze SQL Server 2008 Analysis Services. Patří k nim např.:
Vylepšení SQL Server Analysis Services
- Zrychlený návrh databáze z vylepšenými průvodci/návrháři
- Zlepšený výkon s návrhem agregací
- Personalizace s Analysis Experience
Zrychlený návrh databáze z vylepšenými průvodci/návrháři
- Vylepšený návrh v Analysis Services 2008
- Vylepšený průvodce pro návrh kostek a dimenzí
- Vylepšený editor dimenzí pro klíčové sloupce
- Best Practices Warnings
- Návrhář relací mezi atributy
Vylepšení návrhu v Analysis Services 2008
- Vylepšená jednoduchost použití
- Snížen čas na vývoj
- Vloženy ladící tipy pro optimální návrh
- Pozměněný UI pro přirozený návrh
- Attribute Relationship Designer
Vylepšený výkon s návrhem agregací
- Vylepšený Aggregation Design Wizard
- Nový Aggregation Designer
- Usage-Based Optimization Wizard