Ztracené procesory, požární poplach a další bojovky z instalace serverů

Vreco píše: Když nám do Opatovické dorazilo osmnáct nových našlapaných černo-modrých skříní od IBM v objemově cca 10x větších obalech, netušili jsme, že netrpělivě očekávaný okamžik se změní ve dvoudenní bojovku. Ačkoliv náklaďák přepravní společnosti se do Opatovické vměstnal, palety jasně naznačily, abychom nepočítali s tím, že by prošly dveřmi. Přemluvili jsme tedy notně přinasraného řidiče (po telefonu jsem ho mírně odbyl s tím, že nevím, proč by kvůli pár serverům byl potřeba vysokozdvižný vozík a ať vydrží minutu, že zrovna zatáčím do Opatovické), aby nám servery transportoval do TTC, které je naší první a do budoucna primární serverovou lokalitou. Přiznávám, faux pas s náklaďákem v centru Prahy byla naše chyba, předtím jsme servery kupovali po 1-2 kusech dle potřeby a z IBM nám je vozili Oktávkou, takže nás nenapadlo, že tentokrát toho budou rovnou dvě palety.

Řidič dorazil do TTC druhý den. Vyhnul se zaparkovaným autům, aniž by na to kterékoliv z nich pamatovalo hůře než poškrábaným lakem, a zacouval do zadního dvora. Marně hledal rampu, žádná nebyla. A protože nebylo ani čelo ani vysokozdvižný vozík, nezbylo nic jiného, než cca půl tuny serverů vyskládat ručně. Práce na půl hodinky pro řidiče a čtyři silné chlapy (tj. nás). Podepsali jsme převzetí zásilky, dostali dodací list a začali stěhovat servery a hromadu krabic s příslušenstvím do výtahu (servery chodí zvlášť, disky jsou zabaleny zvlášť, další „víceprocesory“ a „vícepaměti“ mají také každý svou vlastní krabičku). Ještě že nákladní výtah v TTC uveze 1 tunu, nafouknout jej ovšem nelze. Naplnili jsme ho po okraj, někteří se naložili s ním, méně šťastní museli budovu obíhat a schody vybíhat po svých.

Serverovna je v TTC ve druhém patře a zrovna ve středu tam technici prováděli kontrolu systémů. Když viděli plný výtah IBM serverů, zajiskřily jim oči a ochotně nám pomohli se stěhováním. Byť to na TTC není vzácnost, protože hned vedle nás jsou tři řady racků Seznamu, který staví také téměř výhradně na IBM. Dlouho jsme si ale neužívali, začalo totiž dohadování, jestli máme všechno. Nejprve přišly na řadu disky. IBM nám je dodalo pod různýma názvama a part-numberama a Franci se začal děsit, jestli je vše OK. Když se mi ho podařilo uklidnit a všechno nám vyšlo, zjistili jsme při prvním rychlém rozbalování krabic, že nám chybí cca 40 GB RAM a čtyři Xeon procesory. Zkontrolovali jsme vše s dodacím listem a volali do IBM.

V IBM začali zjišťovat, proč to k nám nedorazilo, my jsme zapózovali pro film (foto vyšlo na Marigoldu) a dohodli se s šéfem SuperHostingu, který nám poskytuje prostor a síťové zázemí, že servery přijdeme nainstalovat zítra a určitě nechceme, aby nám to dělali oni, protože se těšíme, až budeme moct na jeden den vypnout a manuálně si seskládat to modro-černé lego. V půl druhé v noci nám Zdeněk (Cendra, šéf SuperHostingu) poslal SMS s tím, že servery jsou vybalené a naskládané v racku. Tedy ve dvou, do jednoho se nevešly. Když jsem to ráno četl, napsal jsem mu, že je mrtvý muž. Franci už ho přede mnou stihl varovat v noci, takže mobil měl přesměrovaný na hot-line.

Ke hraní nám zbyl jediný počítač, do kterého Franci málem nenasytně nacpal 16 GB RAM

Druhý den ráno jsem nabral Bobyho (náš servisák), Franciho a krátce po osmé jsme dorazili do TTC. Servery byly, až na jeden, opravdu krásně vyskládané v racku, zapojené do IP zásuvek a hned ze startu jsme dostali varování, že byť nejsou v ostrém provozu, odebírá jeden rack (15 serverů) 16A a půlka druhého 10A. Uklidnili jsme Honzu, který se Zdeňkem absolvoval noční montáž, že část serverů budeme zhruba za měsíc přesouvat do druhé lokality (od začátku stavíme na n+1 nejen v rámci jedné serverovny, ale i co se lokalit týče) a holkám jsme nainstalovali dostatek pamětí. Holkám proto, že tak jako za starého Mobil serveru mají naše servery po určité logice ženská jména. A tak jako za Mobil.cz dýchala jako první Diana se Sarah, i v naší master serverovně bude srdcem systému Diana a Sarah.

Franci zapojuje do sítě databázi a webovku

Následovala drobná mravenčí práce se správným doskládáním serverů, síťováním, instalací atp. Do toho jsme zjistili, že nám někde chybí dva disky – servery byly osazeny přesně podle návrhu, ale náhradní disky nikde. Protože jsme předchozí den měli obsáhlou debatu o počtu disků a hádku, je-li jich dost, byli jsme si jisti, že disky dorazily. SuperHosting má naštěstí ve své části serverovny kamery, které monitorují a archivují veškeré dění v poměrně vysoké kvalitě obrazu, takže jsme po cca dvou hodinách studování záznamu přišli na to, že disky opravdu nedorazily. Opět jsem žhavil IBM, kde už z nás byli nešťastní. Naštěstí mezitím volali ze Servodat, což je distributor, který nám disky dodával, že spediční firma veškeré chybějící balíčky našla a jestli jí řeknu, co nám ještě chybí, má pro nás i dva další. Řekl jsem, že jsou to dva disky a překvapivě jsem měl pravdu. Na otázku, jak je možné, že zboží zafóliované na paletě se ocitne mimo ochrannou fólii se nám dostalo zajímavé odpovědi: protože ty krabice (paměti, disky, procesory) byly malé, složené nahoře na paletě a ta byla moc vysoká a nevešla se do náklaďáku (nějaká novější Avie s plachtou, co s ní jezdí „rychlejší bráchové blesku“), řidič fólii rozříznul a krabice tam naházel ručně, aby se mu to tam vešlo. Akorát nám je pak jaksi zapomněl předat.

Sotva jsme se uklidnili, rozezvučelo se serverovnou nepříjemné pískání. „To jsou jen UPS. Jó kdyby blikal ten červený maják, musíš utíkat pryč, po pěti vteřinách by všude začal stříkat tekutý dusík na hašení,“ informoval nás Honza ze SuperHostingu. „Za pět vteřin nemůžeš stihnout utéct,“ strachoval se Boby. „Stačí, když se nadechneš, to pak ke dveřím doběhneš,“ uklidnil ho Honza. Pískání skončilo, aby pár desítek vteřin na to začala řvát ohlušující siréna, kterou doprovázely blikající majáčky. Protože si Boby šel mezitím zakouřit na chodbu, aby nemusel to pískání poslouchat, mysleli jsme si, že si zapálil už dřív a alarm spustil on, naštěstí nás uklidnili technici TTC se slovy, že jen testují systém a hasící nádoby jsou odpojené.

Požární alarm v TTC a majáček blikající za zbylými krabicemi

Dvoudenní bojovka nakonec dobře dopadla. Půl tuny serverů jsme úspěšně složili v serverovně, disky, paměti a procesory nám doputovaly do kanceláří (to už se do dveří vešlo) a Francimu se poměrně bez problémů podařilo servery nainstalovat. Až na jeden, který nespolupracoval hned od startu, a proto jsme ho rovnou předali IBM on-site servisu. Snad to funguje tak dobře, jak nám jejich obchodníci slibovali. Teď už nás čeká jen nakrmit server daty dostatečně atraktivními na to, aby přilákaly statisíce návštěvníků – a my budeme moci v lednu k IBM znovu na nákup.

Update 9.10.2006: IBM servis funguje opravdu skvěle, všechny servery už fungují bezvadně. 🙂

Plný rack serverů (pohled zezadu)

Jak se vám líbil článek?
1 Star2 Stars3 Stars4 Stars5 Stars (hlasováno , průměr: 1,50)
Loading...

57 komentářů

  • Dobrý den, co to jsou prosím ty krabičky s čerenými, půl-kruhovými úchyty na fotce č.1 ??

  • [1] Naprosto perfektně promyšlený systém větráků. Jednak se dají oddělat jediným vycvaknutím, aby nepřekážely při instalaci druhého procesoru, další RAM atp., druhak usměrňují vzduch přesně tak, jak je potřeba pro optimální chlazení – nad procesory a RAM je navíc takový kryt z umělé hmoty, který koncentruje vzduch přímo mezi pasivní části chladiče od procesoru a tím pádem mnohem efektivněji chladí. Opravdu IBM, byť není nejlevnější, tak má vymyšlené takové detaily, že se do něj z dlouhodobého hlediska rozhodně vyplatí investovat.

  • STATISÍCE navštěvníků na naší minikotlině? Co to proboha bude?

  • [3] Vydržte do pondělí, to už se toho část dozvíte … 🙂

  • hmm, ale ten serverhosting od cendry, to jste si tedy nasrali do bot…

  • sakryš, mít peníze na jedinej takovej server pro Rádio Folk, to by se to vysílalo. Upřímně závidím!!

  • Tedy, jen tiše závidím. Mít alespoň jeden pro internetové rádio Folk, to bych si lebedil.

  • Ne, nechtěl jsem se opakovat. jen napoprvé se komentář neobjevil, tak jsem přemýšlel, co by mohlo Antispamu vadit… Takže se omlouvám.

  • pekny. docela by me zajimala celkova castka za ty servery, to bude peknejch par milionku. kdo a za co to zaplatil?

  • [9] Tipnul bych si, že investor za peníze. 😉

  • Uvidime, jak si se statisíci uživatelů poradí úplně plná linka Supernetworku do NIXu 🙂

  • [11] Kdybysme chtěli jet veškerý provoz jen přes NIX, strašně by mě zajímalo, jak by si s tím poradil NIX jako takový 🙂 Chceme servírovat víc dat, než je aktuální kapacita všech pražských NIX popů.

  • podle mně to bude nějaký ten český y.o.u.t.u.b.e, nebo něco podobného á la videopůjčovna… jsem ale moc zvědavý a držím palce 😉

  • [12] no v tom případě by mě zajímalo, jak to chcete udělat. To byste museli být přímo napojeni na každého isp, který má zákazníky a nesmělo by bý možné to tahat od jiného. Jinak vám na položení českého netu stačí tak 3-4 tisíce paralelních streamů o celkem mizerné kvalitě. Celkem dobré řešení tohoto problému (tedy jestli je to něco multicastového) měl michal – vytvoření struktury s velkými poskytovali, tuším na to dostal i bbf grant.
    Myslím ale, že vůbec všechny technické problémy mají relativně jednoduchá (i když někdy drahá) řešení. Zato takové obstrukce ze strany majitelů práv jsou větší průser.
    Já se taky těším, doufám že taky dostanu testovací přístup, i když nebudu na broadband monday. 😉

  • [5] To jsem take nepochopil, oni daji 20M za HW a potom ho daji na hosting za par korun. Tohle bych daval bud primo TTC a nebo jeste lepe do Nagana, kde bych to primo propojil s ADSL siti telekomu a gts.

  • Co na tom provozujete? AIX?

  • [6] server netrepa kupovat

    IBM ma sluzbu IBM global financing kde za menej ako 3% mesacne mas na 3 roky operativny leasing – tzn. platis mesacny pausal a mas kazde 3 roky nadupanu masinu a popritom ziadne starosti s odpismi lebo ide ti priamo faktura do nakladov

  • [16] [5] proč nasrali do bot. Superhosting byl jeden z mála, kdo byl ochoten poskytnout technické podmínky, jaké jsme požadovali. O ceně to vůbec nebylo. rozesmála mne odpověd jednoho velkého ISP, který nám napsal, že naše technické parametry není schopen splnit. a to nebyl jediný. Navíc architektura sítě je v tomto případě výrazně jinak postavená a nakontrahovaná, než aby nás trápilo, jak je ucpaný superhosting do nixu. propojovací trasy k jiným isp řešíme jinak.

    mimochodem, servery jsou v TTC, budou i v Naganu, Sitelu a dalších lokalitách.

  • [14] máme podobné řešení, jako michal. Odlišnosti jsou hlavně v tom, že my poskytujeme přeci jen jiný typ služby, než on. Více bude vidět na presentaci na Broadband monday.

  • [12] Nemusis mit strach, z hlediska prepinaci kapacity pouzitych boxu jsou rezervy NIXu dostatecne 🙂 A ty rezervy jsou mnohem vetsi nez v prepinacich/smerovacich, ktery aktualne pouziva na hranici sve site SuperHosting…

  • [19] A o jake parametry jde? Kdyz svou sitovou infrastrukturu resite jinak (naprimo k ISP), tak o nejake dimenzovanosti site daneho konkretniho operatora to asi nebude…
    Jediny, co me napada je footprint pro racky, elektrika, chlazeni – ale nic z toho SuperHosting primo negarantuje a je odkazan na moznosti a ochotu telehousu, kde je sam nastehovan… a ktere jen zprostredkovava.

  • [22] racky je jedna věc, asi ledaskde řešitelná. Ale především o schopnost a ochotu řešit specifické nároky na propojování přímo na jednotlivé ISP a propustnost vlastní infrastruktury. Zejména to první byl ledaskde problém, málokomu se chtělo řešit nadstandardní věci.

  • [23] Propojeni v ramci telehouse (kde ti jednotlivi ISP stejne neco take maji, oni jsou stejne vsichni skoro vsude) prece neni nic narocneho – mam svuj rack, vim kde je partner – objednam propoj (v normalnim telehouse si clovek kabely tahat pres pul baraku ani nemuze), zaplatim… v lepsim pripade si ti partnersti operatori natahnou kabel do Vaseho racku sami a jeste treba radi, a pak se neresi vlastne nic krome podpisu na propojovaku… nejak v tom nevidim zadnou neovladatelnou magii 🙂

    Pokud jde o propustnost vlastni infrastruktury zvoleneho operatora – nezbyva nez Vam poprat hodne stesti a doufam, ze se moje soukrome zde vyrcene obavy nenaplni. Vicemene chapu, ze nekteri radsi priznali, ze na nejakou vec proste nemaji, prijde mi to lepsi nez o sobe lhat a bit se v prsa – ono adekvatni infrastruktura taky nejaky (nemaly) peniz stoji, pokud ma realne splnovat to co se od ni zada. Nejak se mi nechce verit, ze by zrovna ten zvoleny operator (najednou) investoval do poradne technologie (kterou nemival a vzdycky to "nejak" zpytlikoval stylem co-dum-dal) – osobne mam spis dost realne duvody proto, abych pochyboval o tom, ze jeho sit bude v pohode, zatimco z NIXu by se melo kourit, jak tu naznacil Vreco.

  • [19] A to je presne ono, jeden z mala byl ochoten udelat to co velci nechteji. Jenze problem je v tom, ze on preprodava sluzby tech velkych, co to nebyli ochotni resit a spoleha pri tom na to, ze slibit muze cokoliv a ono pak nejak dopadne. On ten jeho hosting neni v zasade spatny, ale sokujici je vzdycky ten obrovsky nesoulad mezi tim, co je slibeno a "garantovano" a skutecnosti, kdyz zacne o neco jit.

    Jen tak na okraj, IP zasuvky pro vas ziskal tak, ze je sebral stavajicim zakaznikum. Takze sice kazdy ma IP zasuvku, ale kdyz zjistis, ze ti neodpovida, tak zavolas na podporu, tam ti reknou, ze je asi porouchana a ze to technik jede restartovat rucne, takze hodinu cekas, pak tam vyrazis osobne a zjistis, ze tvuj server na zadne IP zasuvce neni. Holt je dodavatel IP zasuvek dodal pozde a nemohl riskovat, ze se otocite mezi dvermi a odejdete, po stavajicich zakaznich se vozi lepe. A takle je to tam se vsim.

  • [25] Musis na to koukat tak, ze jim slo proste o cenu (v relaci se sliby) 🙂 At uz to dopadne jakkoliv, SuperNetwork / SuperHosting ziskal dobryho hejla, kterej ma nejaky penize.

    Mozna to bude primarni hejl (jemu nic brat nebude), mozna ne … V kazdym pripade, SH jede do NIXu 2×1 Gb/s a ted uz zadna rezerva nezbyva. Pokud se mu slozi jedna optika do NIXu, zkolabuje mu to vsecho.

    Jak psal Danny, ona infrastruktura neco stoji, i jeta sestapule neni zadarmo.

    Na druhou stranu, jestli si chteji hrat na CDN, pak chapu, ze se snazej nakupovat za nejmensi penize. Ale pak nechapu, proc argumentujou tim, ze chteli nejaky nadstandard. Ten v Cendrove siti proste nedostanou 🙂

    Pokud chteli slusnou outgoing kapacitu, jsou tu jenom ctyri site, ktere maji dost pasma (1 Gb/s+) v outgoing smeru: CESNET (kterej komerci neobsluhuje), O2 (Telecom), GTS, Net4Net a mozna UPC.

  • [26] Neni nahodou pres CESNET Stream ocka v PAL (1,5Mbit/s)? To je prece komerni projekt…

  • [27] Nebyl to komercni projekt. Slo o pilotni vysilani, ktere melo overit chovani PAL streamu v beznem Internetu a v IPv6 infrastrukture.

    Jako takove trvalo jeden rok a letos v zari bylo ukonceno.

    Klidne se zeptejte kolegu v idnes 🙂

  • [28] Diky za objasneni, to jsem nevedel….
    Ad kolegove idnes: Ja jsem byl drive externista, mail mi zustal… ten se venuji vyvoji netovych aplikaci… 🙂

  • [26] Otazkou je co Patrik chysta, prece jen je to veteran a jak vypada CDN vi 😉 Tohle ale vypada presne obracene. Zatimco CDN zapojuju do site, kde mam zakazniky, on to zapojuje do site, ve ktere vubec zadni zakaznici nejsou. Ledaze by nam opomel sdelit, ze takovy server dal i do kazde ustredny s plusovym DSLAMem.

  • [30] Ano, jsou chvíle, kdy mne napadne, že obsah by měl mít blízko k zákazníkům. Proto máme v telehousu servery, od těch kabely k jednotlivým ISP a jen ty, kteří nemají připojení do jednoho ze tří pražských telehousů, obsloužíme přes přípojku Superhostingu do nixu. Tolik jich to snad zvládne a když ne, tak to ještě před zahájením provozu přepojíme.

    I na DSLAMy se myslí 🙂

    Však proto je těch serverů tolik.

  • No já jen lituju, že se Patrick neobrátil na nás

  • [15] Tak toto by u nas v serverovni neslo. U nas v serverovni sa koli kameram neda vypnut svetlo, aby bolo vidno vzdy vsetko. Dalej, rozbalovanie krabic vnutri serverovne, to hadam nie. Krabice sa rozbaluju vo vedlajsej sale na to urcenej, tam sa aj kompletizuju, do serverovne sa nosia uz poskladane stroje. A co tie instalacie OS priamo v serverovni? To tam nieje konzolovna? A este nieco, v nasej serverovni by ste v tricku nevydrzali. Odmrzli by ste. Ale inak dobra kamera.

  • Popravdě, technické řešení celého projektu je pro mě druhořadá věc, neboť věřím v tangerovy organizační schopnosti. 😉

    Důležitý bude obsah a přístup "dodavatelů uživatelů" – otázka je tedy nasnadě: Jak moc bylo(je?) těžké vytlouct FUP z hlavy O2 a Karnevalu/UPC ?

  • [33] Konzolovna u Cendry, LOL.

    U tehle stroju se ale instalace dela klidne v racku, jedine co je potreba nastavit predem je IP adresa management konzole, pokud na management serveru nebezi DHCP. CDROM a pripadne FDD si to mountuje po siti, instalace je automaticka, jinak byste u 20 serveru stravil mladi.

  • Když vidím tu hromadu serverů nakoupených naráz, napadá mě jediné: proč ne 2 BladeCentera a k nim 2 lepší SANová pole ? Nižší spotřeba, méně místa, méně peněz, stejný nebo lepší výkon, super management … (a žiletky unese i malé děcko 🙂

  • prave jsem delal nabidku pro zakaznika, kde byla jako jedna z variant bladecenter+san (8 bladu) a ve srovnani s dalsimi variantami mi to neprislo jako mene penez, mozna o neco mene prostoru a bizsi spotreba..

  • jeste mam v zive pameti napis zevnitr na dverich serverovny v nejmenovane bance, kde stalo neco o tom, ze byste meli mit s sebou klice, protoze jinak vam hrozi akutni nebezpeci umrznuti.. a je fakt, ze tam bylo hodne zima..

  • [15] tak video se asi nekomu nelibilo, protoze na kamery dnes, resp. vcera (sobota) v 17:18 nekdo zakazal pristup – proto se do serverovny superhostingu ted nepodivate..

  • [39] No my jsme to nebyli 🙂 Nám se líbilo …. 🙂

  • [39] No my jsme to nebyli 🙂 Nám se líbilo …. 🙂

  • [36]Celkem logicke vysvetleni je v komentari 25 predchoziho clanku…

    [39] To vis, asi se chtel dotycny s videi pochlubit na svem "PR" blogu a tys mu to prekazil 😀

  • [34] Ano, duvera je jedine, co zbyva 🙂

    Patrik me nedavno trosku vystasil tim, ze jejich CDN bude hotova nekdy na zacatku zari. Tak jsme zabrali a nase CDN uz bezi (od zacatku zari) – prece jen, technicky (na stole) to bylo hotove uz pomerne dlouho.

    Napriklad minuly tyden byla spicka nekde na 1,6 Gb/s (duvera vlade). Uvidime, co zitra Vaclav Moravec, velky generator odchozich toku.

  • [43] Ale ona je hotová od začátku září, to se neboj 🙂 a taky od září běží. Jen jsme teď zavezli serverovnu větší dávkou serverů najednou 🙂

  • [44] Nojo cece, je "hotova" a hotova.

    V kazdem pripade, zatimco v pondeli naberes nejakou varku betatesteru, tak uz mesic ta druha vec bezi v ostrem provozu 🙂

    Ale pravda je, ze jsme nebyli tak marketingove sikovni, abychom vyuzili dodavku nejakych kramu (byt v hezky pokreslenych krabicich) jako marketing. Mozna je to chyba, mozna nikolivek, zalezi na okruhu zakazniku.

  • [45] Neboj, várku betatesterů už máme od září a jedeme a testujeme. Jen podepsat smlouvu s výpalňáky ještě chybí, aby tam mohla širší veřejnost.

    Marketingová šikovnost? Nazval bych to spíš na druhou stranu leností, ooku 🙂

  • Hmmm…, Marigold čtu celkem pravidelně (skoro všechny články), ale opravdu nemám moc velké tušení, o čem se tady bavíte. Nechtěli byste to vysvětlit?!

  • [42] Správcujeme pár desítek serverů od IBM, historicky jsou 2-3 roky staré (345,346), poslední rok jsme přešli na Blady a jak jsme se s kolegou tuhle shodli – ten rozdíl prostě nejde vysvětlit – musí se to zkusit nebo alespoň vidět.
    Rozdhodně už není cesty zpět 🙂
    Momentálně vymýšlíme, jak se těch zánovních a nadupaných 346 zbavit a nakoupit nové jednoprocesorové dual-cory, kvůli úspoře za licence per patice 🙂

  • [46] Ja jsem liny, ale mam za to, ze ten nas projekt neni one_man_show 🙂

    A ja nejsem nositelem toho projektu.

  • [49] Nojo, ale to pláčeš na špatném hrobě 🙂 Zkus někoho jiného, já na to asi nejsem ten nejlepší, i když soucítím 🙂

  • [50] Ale ja neplacu 🙂

    Je mi to celkem fuk, jen mi prijde, ze jses znalec v produkce marketingovyho cmoudu 🙂

  • [22] Drzim Vam hosi palce a verim ze to nejsou ty servery co jsem klasifikoval LLOYDS bance jako neupgradeovatelne ;-)…

  • "pěti vteřinách by všude začal stříkat tekutý dusík na hašení" – je vidět že páni jsou odborníci…

  • [46] pláču já, pročpak nejsem betatester. Béééé

  • [53] Spise asi FM-200, nez nejakej dusik :o)

  • Uplne stejna situace. Hafo "nabusenych" 345 a SAN s FC switchema. Uz mame o Blady pozadano, zase IBM, jak jinak. Pokud se to podari, tak z 345 budou stroje na testy (na prodej to neni, to se sakra nevyplati), protoze ty Blady jsou o necem trochu jinem :o).