Table of Contents

Počítačové clustery, grid computing, cloud computing.

Počítačové clustery

Cluster je seskupení více obvykle homogenních počítačů, propojených lokální vysokorychlostní sítí, které mohou navenek pracovat jako jeden počítač. Obvykle se pak používají ke zvýšení výpočetní síly, nebo spolehlivosti. Používají se například pro výpočetně velmi náročné úlohy, jako je faktorizace, nebo řešení NP úplných problémů. Algoritmy běží paralelně na větším množství počítačů v clusteru. Většinou je potřeba navrhovat algoritmy speciálně pro běh na paralelních architekturách, jednou ze známých knihoven pro komunikaci paralelních programů, je knihovna MPI.

Typy clusterů

  • High aviability (Cluster s vysokou dostupností)
  • High performance computing (Výpočetní cluster)
  • Load balancing (Cluster s rozložením zátěže)
  • Storage cluster (Úložný cluster)

Grid computing

Grid computing je typickým představitelem distribuovaných výpočtů. Od custeru, nebo cloudu se liší především tím že nevyžaduje homogenitu výpočetních prvků, ani speciální vysokorychlostí propojení či jednotnou lokaci prvků. Grid computing je typ paralelní architektury, která využívá k výpočtům celé počítače libovolných platforem a umístěných libovolně ve světě. Ke komunikaci stačí klasické ethernetové připojení a middleware, který slouží k dělení a distribuci částí výpočetní domény mezi jednotlivé uzly. Grid computing tak umožňuje využití distribuovaných výpočetních kapacit.

Úvod do cloudu

Oblast informačních technologií vstupuje do nové éry. Po počátcích IT a mainframe serverch přišla technologie, jež sezdála být bezchybná, technologie klient-server. V poslední době se však stále častěji setkávám s pojmem cloud, cloud computing a cloudové technologie. Odborníci předpovídají této “nové” technologii velkou budoucnost, i když zatím nikdo nedokáže přesně specifikovat, kam vlastně cloud computing směřuje a jak se bude v následujícím období vyvíjet. V čem tkví tak velká atraktivnost této technologie, která je neustále skloňována v oblasti IT, se pokusím přiblížit následujícím článkem.

Velmi stručně řečeno, využívání cloudu firmám slibuje levnější, dynamičtější, jednodušší a hlavně efektivnější IT. A to je přesně to, co žádné IT oddělení (a hlavně vedocí pozice, které mají nastarosti rozpočet) nenechá klidnými, jsou to slova, na která v době maximalizace úspor každý slyší.

Co to vlastně je cloud computing?

  • Cloud Computing = počítání mraků? oveček?
  • Definice podle wikipedie: Cloud computing refers to the provision of computational resources on demand via a computer network.
  • Definice podle EMC: Metoda přístupu k využití výpočetní techniky, která je založena na poskytování sdílených výpočetních prostředků a jejich využívání formou služby. Existují nejrůznější modely služeb a možnosti jejich poskytování, ale všem typům cloud computingu je společná schopnost poskytovat prostředky na vyžádání, elasticky, samoobslužně a prostřednictvím přístupu z rozsáhlé sítě a také schopnost měřit spotřebované služby v rámci sdíleného fondu prostředků.
  • Cloud je standardizovaná IT kapacita (služby, software, nebo infrastruktura) dodávaná samoobslužným způsobem systémem „platby za využití“.

Cloud Computing podle Gartnerů

Gartneři každoročně vytvářejí řadu výstupů na základě svých výzkumů. Jedním z notoricky známých je “Technologies you cant affort”, kde se cloud computing dostal pro rok 2010 na první místo. Mají také vlastní definici cloud computingu a určují vlastnosti, které musí cloud computing splňovat.

Technologie, které si nemůžete dovolit opomíjet

Technologies you cant affort by gartner

Zdoj: Gartner

Základní vlastnosti Cloud Computingu

Attributes of cloud services by Gartner

Zdoj: Gartner

Orientace na služby
  • Cloud computing poskytuje službu/y (e-mail, výpočetní výkon, datová úložiště, …).
Škálovatelnost a elasticita
  • Poskytované služby se pružně přizpůsobují potřebám.
Sdílení (informací)

je jedním z efektů toho, že služba zpravidla pracuje s informacemi uloženými kdesi „v mraku“ a pak už je snadné zpřístupnit tyto informace pro více uživatelů současně – a umožnit jim vzájemnou spolupráci.

Zpoplatnění za užívání
  • Platí se za dobu užívání, případně za objem uložených dat.
Zaměření na výsledek
  • služby by měly fungovat, aby poskytovaly co nejlepší výsledek činnosti (efektivnost, snadnost používání apod).
Používání internetových technologií
  • Internet je jedinou globálně dostupnou službou pro datové přenosy.

Hype curve

  • A hype cycle is a graphic representation of the maturity, adoption and social application of specific technologies.

Zdoj: Gartner

  1. “Technology Trigger” — The first phase of a hype cycle is the “technology trigger” or breakthrough, product launch or other event that generates significant press and interest.
  2. “Peak of Inflated Expectations” — In the next phase, a frenzy of publicity typically generates over-enthusiasm and unrealistic expectations. There may be some successful applications of a technology, but there are typically more failures.
  3. “Trough of Disillusionment” — Technologies enter the “trough of disillusionment” because they fail to meet expectations and quickly become unfashionable. Consequently, the press usually abandons the topic and the technology.
  4. “Slope of Enlightenment” — Although the press may have stopped covering the technology, some businesses continue through the “slope of enlightenment” and experiment to understand the benefits and practical application of the technology.
  5. “Plateau of Productivity” — A technology reaches the “plateau of productivity” as the benefits of it become widely demonstrated and accepted. The technology becomes increasingly stable and evolves in second and third generations. The final height of the plateau varies according to whether the technology is broadly applicable or benefits only a niche market.

Ekonomická výhodnost používání cloudu

Mainframe, klient-server, cloud

Obavy z přechodu na cloudové řešení jsou veliké, ať už jde o technické otázky, či otázky zabezpeční dat stále vznikají bouřlivé diskuse na téma cloud. A je dobře že tyto diskuse a otázky vznikají, neboť právě to posouvá technologie blíž dál a přibližuje jejich závádění do praxe. Nicméně na změny v přístupu k technologiím vždy měla, má a nejspíš i bude mít ekonomická stránka věci. A ta hraje pro cloud.

Podobné to bylo i s příchodem technologie klient-server, nebo virtualizačními technologiemi, které zprvu nebyly z různých důvodů brány vážně. Přesto úspory, které přinášely (okolo 20-30%), byly nakonec pro všechny dostatečnou motivací, aby problémy překonali a dnes si bez nich IT málokdo dokáže představit.

Cloudové technologie přicházejí s opět revolučním pohledem na ekonomickou stránku IT.

Konsolidace datových center přecházi v standardizaci IT prostředků ve velkých datových centrech. To umožňuje mnoho procesů automatizovat. Velká datová centra pak mohou výrazně snižovat náklady na server a tím zlevňovat své služby. Narozdíl od současného stavu, kdy jsou v datových centrech servery servery s 5-10% využitím.

Porovnání technologií - možné výhody cloudu

Zdoj: Microsoft

Cloud computing není návrat do dob maiframe počítačů, i když s nimi má mnoho společného, ale je kombinací nejlepších vlastností mainframe s klient-server technologií. Nabízí úspory z rozsahu, efektivitu ze systému mainframe a modularitu, flexibilitu z technologie klient server.

Projekty velkých datových center v poslední době

Zdoj: Microsoft

Úspory z rozsahu

Úspory z hlediska poskytování cloudových služeb

  • Náklady na energie
    • v současné době 15-20% celkových nákladů na vlastnictví,
    • PUE vyšší ve větších DC,
    • lokace, sazba el. energie.
  • Mzdové náklady v rámci infrastruktury
    • automatizace procesů,
    • jeden správce v klasickém podniku může spravovat max 140 serverů, v DC s cloud technologií v řádech tisíců. (James Hamilton, Microsoft Research, 2006)
  • Zabezpečení a spolehlivost
    • největší překážka pro přijetí veřejné cloudů,
    • velcí komerční poskytovatelé jsou paradoxně schopni poskytnout větší bezpečnost a spolehlivost.
  • Kupní síla
    • provozovatelé velkých DC jsou schopni získat až o 30% levnější nákup HW.

Úspory z hlediska využívání cloudových služeb

Náklady na IT nejsou jen v zajištění dostatečného množství prostředků, ale také ve schopnosti této kapacity využít. Požadavky na prostředky jsou obecně velmi proměnlivé v čase, často je požadováno velké kapacity jen chvilkově. Pouhou virtualizací není možné docílit efektviního využití prostředků. Cloudy mají schopnost tyto požadavky agregovat a rozprostřít a tak náklady snížit.

  • Nahodilost požadavků
    • kontrola emailů,
    • je nutné mít rezervní kapacitu k zohlednění pravděpodobnosti přístupu většího množství uživatelů,
    • diverzifikace zátěže.
  • Trendy využívání v konkrétní denní době
    • chování lidí probíhá v cyklech, které se denně opakují,
      • spotřebitelské služby mají tendenci vrcholit ve večerních hodinách, služby na pracovišti během pracovního dne,
    • maximální kapacita musí zohledňovat špičky, ve zbytku dne nebude využita,
    • provozování stejných úloh pro více časových pásem,
    • provozování úloh s vzájemně se doplňujícími trendy využití.
  • Proměnlivé využití v jednotlivých oborech
    • maloobchodní firmy mají špičku během vánoc, daňové firmy duben…,
    • maximální kapacita musí odpovídat očekávané špičce,
  • Proměnlivé využití u více prostředků
    • úlohy s velkým využitím procesoru (vyhledávání) x úlohy s velkým množstvím I/O operací (email),
    • diverzifikace úloh se vzájemně se doplňujícími profily.
  • Nejisté trendy růstu
    • plánování kapacit dopředu, problém malých i velkých společností,
    • diverzifikace mezi více klientů.

Úspory z rozsahu v případě více klientů

Úspory z rozsahu v případě více klientů, je další důležitý zdroj úspor i když je použitelný jen v určitých případech. Úspory z rozsahu v případě více klientů lze využít pouze v případě, že je aplikace napsána pro více klientů, místo spouštění instance aplikace pro každého zákazníka, používají klienti pouze jednu instanci současně.

  • Pevné náklady na aplikaci amortizované velkým počtem klientů
    • aktualizace, incidenty, bugfix.
  • Pevná složka využití serveru amortizovaná velkým počtem klientů
    • serverová režie = režie aplikace, runtime.
Časové trendy vyhledávání během dne

Zdroj: Objem vyhledávání prostřednictvím Bing, Microsoft

Proměnlivé využití zdrojů v jednotlivých oborech

Zdroj: Microsoft

Proměnlivé využití u více prostředků

Zdroj: Microsoft

Celkové úspory

Cloudy dokáží efektivně využít varibility prostředků jejich diverzifikací a agregací a tak zízkávají klíčovou ekonomickou výhodu. S rostoucím fondem prostředků roste i jejich celková míra využití a tím efektivnější a levnější se stávají.

Průměrná míra využití serverů

Zdroj: Microsoft

Kombinace úspor z rozsahu popsaných výše vede k velkým úsporám v nákladech na vlastnictví serveru. Obrázek z výzkumu prováděného firmou microsoft ukazuje výstup pro pracovní zátěž, jež využívá 10% tradičního serveru. Model ukazuje, že datovéhé centrum se 100 000 servery má o 80% nižší náklady na vlastnictví serverů oproti centru s 1000 servery.

Úspory z rozsahu při využití cloudu

Zdroj: Microsoft

Možnost využití ekonomických výhod v podniku

Aplikace psané v dnešních technologiích nejsou připravené pro nasazení do cloudů a s využitím veškerého cloudového potenciálu. Návrh aplikací je potřeba změnint a přizpůsobit pro cloud, což může být pro některá IT oddělení velkým problém, ať už z kapacitních, nebo jiných důvodů. Přístup k využívání cloudů se také liší od druhu aplikace.

Balíčky aplikací
  • Přesun balíčků aplikací do cloudu (office, CAD) nemusí přinést očekávané úspory, pokud nejsou aplikace pro toto vnasazení navržené.
  • Blíčky SaaS jsou navrženy pro podporu škálování a víceklientský přístup.
Vlastní aplikace
  • Využití IaaS vyžaduje velké investice do inteligentní správy prostředků.
  • Výhodnější je využití PaaS, kde se vývojář nezabývá správou prostředků, ale pouze aplikační logikou navrhované aplikace.

Možnosti a překážky cloudů

Přínosy

V dnešní době připadá 80% rozpočtu IT oddělení na zachování stávajících služeb a infrastruktury. Ekonomické výhody cloudu dávají možnost přesunout více peněz do inovací a vývoje. Mnoho finančně náročných projektů, které si mnohé firmy vůbec nemohli dovolit, je dne možné řešit pomocí cloudů velmi levně.

Pružnost cen
  • cena 1 serveru na 1000 hodin je téměř ekvivalentní 1000 serverů na 1 hodinu,
  • obrovské urychlení spouštěných procesů,
  • nové možnosti experimentování a podnikání.
Odstranění kapitálových výdajů
  • nižší náklady na zahájení (ukončení provozu),
  • nižší rizika projektu.
Samoobslužné ovládání
  • manipulace se servery pomocí UI, škálování, migrace…
Snížení složitosti
  • Saas
  • PaaS, jednoduchý vývoj aplikací.

Překážky

V oblasti cloud computingu se dnes více než o jeho výhodách mluví o možných rizikách. Největší obavy vzbuzuje bezpečnost a ochrana osobních údajů, jak dokázalo již mnoho výzkumů. Velké obavy ze strany IT oddělení souvisí se zpětnou kompatibilitou aplikací a jejich možným přesunem na cloud.

Část těchto otázek cloud dokáže zodpovědět, mnoho z nich však zůstává nadále otevřených.

Obavy spojené s využíváním veřejných cloudů

Zdroj: Průzkum “Gartner CIO survey”

Kompatibilta a vhodnost aplikací
  • migrace stávajících aplikací,
  • ne všechny aplikace jde provozovat v cloudu.
Bezpečnost a ochrana osobních údajů
  • ochrana osobních údajů a zabezpečení firemních dat, ochrana procesů…
  • nejistota ze strany vedoucích IT oddělení.
Zralost a výkon
  • nedůvěra v dostupnost a kvalitu služeb,
  • nevyzrálost, změny v rozhranních (Paas).
Plnění předpisů a suverenita dat
  • interní, externí audity,
  • požadavky na zajištění suverenitu dat omezují, kde mohou firmy hostovat služby.

Privátní cloudy

Cloud, kde jsou IT prostředky vyhrazeny jen pro jednu organizaci, nazýváme privátním cloudem. Otázkou zůstává co přesně je cloud? Každá firma totiž cloud definuje trochu jinak, samozřejmě tak, aby právě jejich řešení nejlépe odpovídalo definici cloudu a zákazník byl spokojen, že využívá nejnovější technologie cloudu - jestli to tak opravdu je či není, musí zákazník poznat sám.

Mnoho firem si tak nechá vytvořit virtualizované prostředí s automatizačními nástroji pro správu a celá firma “žije v cloudu”, že mají privátní cloud.

Cesta k privátnímu cloudu

Do opravdového cloud computingu to však má ještě velmi daleko. Není to ale nic neočekávaného, cloud computing je nová technologie a k jejímu osvojení čeká firmy ještě dlouhá cesta a to je dobře! Podle průzkumů společnosti Forrester 95% IT firem nemá dostatečné zkušenosti pro vybudování cloudového řešení. Být připraven na cloud vyžaduje zkušenosti a znalost několika oblastí:

  • standardizace často opakovaných postupů,
  • plně automatizované nasazení a správa,
  • somoobslužný přístup k prostředkům,
  • sdílení infrastruktury mezi odděleními.

Virtualizace je prvním krokem ke cloudu. Mnoho firem dnes vyrtualizaci využívá a stala se pro ně nepostradatelnou součástí IT. Dle průzkumů firmy Forrester bylo na konci roku 2010 virtualizováno 65% x86 serverů. Z toho se dá usoudit, že firmy se učí fungovat ve virtuálním prostředí a zefektivňovat ho. Než ale budou připraveny na privátní cloud, musí posunout efektivitu na maximální úroveň. Podle firmy Forrester existují čtyři fáze virtualizační vyspělosti:

  1. Fáze aklimatizace
  2. Strategická konsolidace
  3. Zlepšování procesů
  4. Sdružování zdrojů a automatizace

Podle firmy Forrester se polovina firem nachází ve fázi strategické konsolidace. To ale znamená, že ještě nejsou schopny využít ekonomických výhod cloudu a musí projít několika fázemi, aby docílily ekonomických efektů. Bylo zjištěno, že průměrné firmě trvá 12 až 18 měsíců, než se dostane z fáze 1 do fáze 2, 18 až 48 měsíců než se dostane z fáze 2 do fáze 3, a tři až pět let, než se dostane z fáze 3. To je dlouhá cesta! Začít s cloudem se dá ale i dříve, vede k němu několik cest:

  • změnit testování a vývoj na samoobslužné centrum,
  • zřídit cloud pro nový projekt a otestovat jeho výhody, greenfield cloud,
  • využít IaaS cloud od subdodavatele.

HLAVNĚ: Připravit se na cloud dřív, než si vývojáři najdou vlastní cestu!

Bezpečnost

Privátní cloudy jsou odpovědí na otázky bezpečnosti a suverenity dat. Mohou být cestou, která umožní efektivní využití prostředků bez narušení bezpečností politiky firmy.

Efektivita privátních cloudů

Z podstaty privátního cloudu je jasné, že může jen těžko poskytnout stejně efektivní využití zdrojů jako cloud veřejný. Privátní cloud se dokáže vypořádat s proměnlivým využíváním prostředků jen omezeně. Například proměnlivost využití v závislosti na oboru se privátním cloudem řeší velmi těžce.

Výhody využívání veřejných cloudů z hlediska nákladů

Zdoj: Microsoft

Křivky ukazují náklady na cloudová řešení (privátní a veřejný). U veřejného cloudu můžeme počítat s velikostí 100 000 serverů (a může být i mnohem větší). Velikost privátního cloudu závisí na možnostech rozpočtu IT oddělení firmy. Z obrázku je vidět, že pro firmy do velikosti 100 serverů je privátní cloud extrémně drahým řešením a jediné výhody, které jim cloudové řešení může nabízet je v cloudu veřejném. Pro firmy od 1000 serverů může být privátní cloud řešením, avšak náklady oproti veřejnému cloudu mohou být až ve výši desetinásobku za stejnou servisní jednotku.

Závěrem

Všichni velcí hráči na poli IT předpovídají cloudovým technologiím velkou budoucnost. Dle mého názaoru můžeme postupně očekávat plynulý přechod od virtualizace ke cloudizaci. V následujících letech ekonomický přínos cloudů poroste a překážky s cloudem spojené začnou vlivem širšího použití mizet, v příštích pěti až deseti letech bude cloud coputing v IT standardem. Jak ukazuje i slavná Hype curve od Gartnerů, nyní je cloud computing na vrcholu očekávání, v blízké době nás čeká cloudové vystřízlivění a postupné usazení a standardizace. Garneři také tvrdí že do roku 2012 vynaloží firmy více peněz na investice do privátních cloudů, než za využití veřejných cloudů, což jim nakonec usnadní přechod.

Cloud prakticky

Windows Azure

Amazon AWS

Google AppEngine

Zdroje

school/fit/miric/semwork/clusterygridcloud.txt · Last modified: 2018-06-21 19:48 (external edit)
CC Attribution-Noncommercial-Share Alike 4.0 International
Driven by DokuWiki Recent changes RSS feed Valid CSS Valid XHTML 1.0