Apropå KTHs superdator

Betydligt mindre än vad man får med Dell-maskinerna. Apple har inga maskiner som använder sig av samma bussar/överföringsteknik som det som Dell har.

Man kan inte bara se på teoretiskt framräknad bearbetningskapacitet för processorerna (fast även där skulle jag tippa att en 3,4 GHz 64-bitars Xeon är snabbare än den snabbaste G5:an).

Men racken hade nog varit snyggare med Xserve i dem än med Dellservrar. Vilket inte alltid räcker som säljargument.

Nu är du ute och cyklar lite De använder sig av InfiniBand-teknik för att sammanknyta Dell-klustret. Detta är samma teknik som körs i VT-klustret (BigMac, 3:a på top 500), så det hade gått alldeles utmärkt att bygga ett liknande Xserve-kluster.

Priset för ett Xserve-cluster med samma prestanda hade blivit ungefär detsamma.

Nej jag cyklar inte. De nya Dellservrarna använder PCI-Express för de interna bussarna (alltså i maskinerna, inte mellan dem). Xserve använder PCI-X. Och PCI-Express är betydligt snabbare än PCI-X.

Dellservrarnas och Xserves verkliga prestanda, vilket ju som bekant är summan av alla de tekniska bitarna, är alltså inte jämförbar. Och som vanligt är det de interna bussarna som Apple faller på.

Kolla in http://www.processor.com/Editorial/article.asp?article=articles/p2606/30p06/30p06.asp&guid=

På ett annat ställe anger dom det så här

PCI 33 MHz 32-bit .. 133 MB/sec
PCI 33 MHz 64-bit .. 266 MB/sec
PCI 66 MHz 64-bit .. 533 MB/sec
PCI-X 66 Mhz ....... 533 MB/sec
PCI-X 100 Mhz ...... 800 MB/sec
PCI-X 133 MHz ...... 1060 MB/sec
PCI-X 266 MHz ...... 2130 MB/sec
PCI-X 533 Mhz ...... 4260 MB/sec
PCI-Express X1 ..... 500 MB/sec
PCI-Express X4 ..... 2000 MB/sec
PCI-Express X8 ..... 4000 MB/sec
PCI-Express X16 .... 8000 MB/sec

http://forums.devhardware.com/archive/t-29081

Verkar som PCI-E X1 är långsammare än PCI-X 66 MHz

X-Serve har PCI-X 133MHz så kräver det att det ska vara PCI-E X4 för att dell ska ha snabbare buss. Har Kth dell det?

Dessutom är ju inte PCI-bussen det viktigaste. G5'an har dual frontside buss som ger en hastighet på totalt 16 GBps. Det är inte dåligt alls.

Ciryon

Vad hjälper det att en liten del är snabb om helheten stryps av att det som håller ihop alltihop (i det här fallet PCI-X vs PCI-Express) är långsammare?

Enligt Dells produktspec så har Poweredge PCI-Express 8-lane (8x), vilket är fyra gånger snabbare än PCI-X 133 MHz i Xserve. Dessutom så är PCI-Express effektivare genom att kunna köra full fart åt båda hållen samtidigt, så skilnaden i verkliga livet är större än vad siffrorna i den här tråden visar.

Dells produktblad för Poweredge 1850: http://www.dell.com/downloads/global/products/pedge/en/1850_specs.pdf

"Next Generation Server Technologies":
http://www1.us.dell.com/content/topics/topic.aspx/global/products/pedge/topics/en/8g_technologies?c=us&cs=555&l=en&s=biz

Vad jag egentligen försökte säga var att folket på KTH inte är hälften så dumma som vad vissa här tycks tro. De har givetvis jämfört de olika alternativen på marknaden, och deras för- och nackdelar (och verkliga till skillnad från teoretiska prestanda) innan de beställde Dellmaskinerna. Inse att Apple inte är bäst på allt.

Och efter det glider jag ut ur den här tråden. Jag reggade mig inte här för att diskutera religion med fanatiker.

Sista tilläget:
En jämförelse mellan Dell Poweredge 1850 (med 2x3,4GHz 64bit Xeon) och Apple Xserve 2x2GHz G5 via respektive webshop visar att man får snabbare processorer, snabbare minne och snabbare interna bussar i Dellservrarna för nästan exakt samma pris som Xserve (båda maskinerna med 8GB RAM). Och det här sista tillägget var, erkänner jag villigt, på rent jävelskap. Fanatiker står mig upp i halsen.

Nu undrar alla. Vad för kort har Dell stoppat i dessa PCI-Express bussar som gör att maskinerna räknar snabbare på det dom ska räkna på? Att bara ha en buss som man inte använder gör ingen maskin snabbare.

Och sen vill alla veta hur mycket mer ström Dell maskinerna drar på full fart och hur mycket det kostar att kyla bort den värme som alstras och sen vill vi veta motsvarande för Xserve. Du kan ju räkna det på 3 år. Är Xserve fortfarande dyrast efter detta? Hur många fler Xserver kan man köpa för mellanskillnanden och hur skulle den totala prestandan då bli jämfört med Dellmaskinerna och Xserve?

När man bygger ett kluster eller en "superdator" så är kommunikationen mellan noderna av särskilt stor vikt eftersom långsam kommunikation gör klustret/"superdatorn" långsammare som helhet. Eftersom alla CPU:er ska arbeta som en så sker en otroligt stor mängd kommunikation mellan noderna. Blir det fördröjningar så blir alltså hela klustret/"superdatorn" lidande av det.

Cray och senare SGI har lagt ner över 20 års forskning på detta så det är inte ett helt enkelt problem om man så säger.

APPLE själva räknar ju med att Xserve 2x2GHz är snabbare än Dell 2x3,2Xeon men långsammare än IBM 2x3,2Xeon. Så antagligen är Dell 2x3,4Xeon lite snabbare än Xserve 2x2GHz. Men APPLE kan ju tydligen leverera 2x2,3GHz (i alla fall till Virginia), så burkarna torde kunna hamna på jämförbar nivå. Sedan är det lagring. Hur mycket HD-kapacitet, mm behövs? APPLE har en relativt billig lösning i Xraid. Kanske kan göra att lite mer pengar kan sättas i burkar och bryggor?

Verkar som att klustren som NSC kör ofta är Linux-baserade. Då är det väl YDL (Yellow Dog Linux) i 64bitarsversionen som skulle ligga bra till? Kanske är programmen som SMHI kör specialskrivna, så att kostnaden för hårdvaran inte kan brytas ut? De kanske anpassat dem för x86-världen? I så fall är det ju i praktiken inte aktuellt med Xserve-lösning ... Skulle ändå varit kul att se hur upphandlingsunderlaget såg ut. Det är kanske offentligt?

Så vilket PCI-Expresskort för kommunikationen med de andra noderna använder KTH? Har det kommit och finns att köpa något Infinibandkort? Det verkar tokigt att hävda att Dell var så mycket bättre för att den har PCI-Express när det troligen inte används i det här fallet.

Mellanox har ett Infinibandkort för PCI-Express, men det ger precis samma bandbredd (2 x 10 Gbps) som deras motsvarande produkt för PCI-X. Flaskhalsen är alltså inte kortets bandbredd ut mot datorn utan Infinibands maxhastighet på 10 Gbps, så det verkar mycket långsökt att just PCI-Express skulle vara en avgörande faktor.

Nu är inte 10 Gbps så värst intressant, utan Latency'n. Myrinet har en peak latency på 4.3mi, vilket anses vara mycket bra. Dock finns det teknologier runt hörnet från ett svenskt företag som är betydligt lägre.

Men kort och gott, det är latency'n som är intressant. Inte max hastigheten i Gb/ps.

Mycket intressant inlägg från Allan som inte lyssnar längre och som satte sig själv i halsen. För fanatiker kännetecknas väl av att inte rubbas av att notera att de själva är illvilliga? Tag det här med BUSSEN: När Allan får genmälen som påpekar att det går med än en buss (processorbuss och buss till kort, t ex) ja då dyker HELHETEN upp. och sedan DELEN igen, där Dellen är snabbare. Och sedan ägnar Allan sig åt spekulation. Initiativet till frågan (vad får man i form av ÄPPLEN för samma pris som PÄRON?) var kanske nyfikenhet, Allan? Men du kanske inte bara heter Allan, utan spelar det? Glädjande i ditt inlägg var för mig att du kunde förmå dig till en munnens bekännelse om at det är det praktiska och inte det teoretiska resultatet som räknas. Jag undrar om KTH har ett underlag som jämför olika alternativ utifrån REAL LIFE USE? Kan vi få se dom? (de två sista frågorna går förstås inte till Allan, utan till KTH)

Det där var ju ett ganska smidigt sätt att slippa argumentera :rolleyes:

Går det inte att jämföra detta kluster med nåt liknande kluster byggt på Xserve, så att vi får se i klartext istället vad som är bäst? Jämförelser av tekniska specifikationer ger ingenting har jag lärt mig med åren

Ingen har påstått att de är dumma, men om det faktum att KTH har valt den här lösningen skulle bevisa att Dells lösning är mer kostnadseffektiv, så kunde lika gärna Virginia Techs kluster eller COLSAs dito bevisa att Apples lösning är den billigaste. Frågan är kanske inte så enkelt avgjord som du tror. Jag antar att Virginia Polytechnic Institute & State University eller COLSA/amerikanska armen inte är mindre kompetenta än folk på KTH.

Men det kan ju fortfarande vara så att ett kluster i den storlek som KTH behöver, när det utför de typer av beräkningar som det är tänkt att användas mest för, är bättre att bygga med Dells datorer. Kanske har de gjort en fördelaktig deal med Dell som vi inte vet någonting om? Det är väldigt många faktorer vi inte känner till, som kan ha bidragit till valet. Du har nog rätt i att de inte är dumma på KTH men om man har lite kännedom om folks attityder mot Apple, så är det inte heller omöjligt att de inte ens har undersökt alternativet.

Man bör nog i vilket fall understryka att det var just priset som fällde avgörandet när Virginia Tech valde Apple, och det samma borde ha varit avgörande för COLSA. Angående COLSAs kluster:

(Citerat från ovan länkad artikel.)

COLSAs kluster var alltså ordentligt mycket dyrare, (kostade ca 43,5 miljoner kr omräknat rakt av med dagens valuta - jag vet inte om en sådan omräkning är rättvisande, men moms borde väl inte direkt vara med i beräkningen när de här institutionerna köper sin utrustning?) men det levererar även ca 4,2 ggr så mycket beräkningskapacitet. Med de siffrorna blir det kanske inte så enkelt att avfärda inläggen som religion. Det kanske är den tron på wintel-plattformen som förblindar istället?

Och angående trådens ursprungliga frågeställning så tror jag inte att man så enkelt kan göra en kalkyl på vad samma pengar hade gett med Xserve. Om jag minns rätt så viste inte ens Virginia Tech vad de skulle få för beräkningskapacitet på sitt kluster innan de hade provkört det ett tag.

Det visar på verkliga, inte teoretiska, prestanda som Allan talar om. Jag tror inte att KTH har lånat in maskinerna och provkört dem direkt.

...och fortfarande har ingen plockat fram räknaren och räknat på pris/prestanda, utan de flesta ägnar sig åt lös spekulation. Ännu en trist tråd.

Om du läser mitt inlägg så kan du med enkel huvudräkning jämföra siffrorna med priset för KTHs kluster, och se att Apple ger fler terraflops per krona. Men jag försöker även förklara varför sådana beräkningar inte rakt av visar om KTH har gjort ett dåligt val eller inte. Om du tror dig veta hur man gör en riktig beräkning så är du välkommen!

(Colsas kluster ger 4,2 ggr så många terraflops, om du multiplicerar priset för KTHs kluster med 4,2 så blir det över 10 miljoner dyrare än Colsas. Men någon kommer säkert med rätta att idiotförklara mig för den beräkningen. )

Ditt inlägg var ett av de få vettiga, tyckte mest att det var trist att datorkrigandet tog över sakligheten i en annars intressant diskussion. Jag ligger inte heller inne med svaret, det gör nog bara KTH.

Vi kan inte räkna på det eftersom vi inte vet vad KTH betalar för Dell-servrarna. Det totala priset kan mycket väl innehålla saker som ombyggnad av lokaler och annat. Listpriset på Apples respektive Dells webshop för en styck 2x2GHz Xserve med 8GB DDR-minne, och på en styck 2x3,4GHz Poweredge 1850 med 8GB DDR-II-minne är nästan identiskt. Så mycket vet vi. Och jag hävdar bestämt att med de specifikationer Dell-servrarna har (se deras techspec som jag länkat till tidigare i den här tråden) så är en styck sådan snabbare än en styck Xserve. Alltså bör pris/prestanda vara bättre för Dell-lösningen. Sedan kan rabatter (för reklamvärdet) också spela in, och de rabatterna har vi ingen aning om.

(De som byggde BigMac har knappast betalat listpris för sina Macar. Det har i alla fall jag svårt att tro).

Det var just det dom gjorde med sina orginala G5 PowerMacar innan Xserve kom ut

Citerat: "Och efter det glider jag ut ur den här tråden. Jag reggade mig inte här för att diskutera religion med fanatiker."
"Och det här sista tillägget var, erkänner jag villigt, på rent jävelskap. Fanatiker står mig upp i halsen."

Vilken trist tonart du anslår, Allan. Jag som är oteknisk och läser den här tråden av en tillfällighet tycker att diskussionen präglades av en teknisk nyfikenhet (och kunnande). Även dina inlägg initialt.
Inse att omgivningen slutar lyssna när du börjar skrika. Det är väl inget krig, eller...?

Ett litet inhopp till. OK, en del av det jag skrev var mindre diplomatiskt, det erkännes. Men jag är trött på alla känslor som kommer in så fort det ens antyds att en Peze kan vara snabbare än en Mac. Det är så trist att en diskussion aldrig kan hållas på en saklig, och neutral, nivå.

Och nu en liten teknisk kommentar: stirra er inte bara blinda på PCI-Express, det är mer som skiljer de Poweredge-servrar som KTH köpt från Xserve G5 (följ länkarna jag postade). Poweredge-maskinerna har till exempel DDR-II-minne som är betydligt snabbare än det minne som används i Xserve. Dessutom så används PCI-Express inte bara för kommunikationen mellan de olika servrarna i klustret, utan det används även för den interna kommunikationen mellan komponenter inne i datorn, vilket bidrar till bättre prestanda. De flesta här kommer väl ihåg de problem som lite äldre Macar har nämligen att man inte hade glädje av de snabba processorer som Apple satte in i burkarna för att alla interna bussar (till och från de olika komponenterna inne i datorn inklusive hårddiskarna) var mycket långsammare än på Pezemaskiner från samma tid. Datorernas verkliga prestanda är summan av samtliga komponenter (inklusive interna bussar) i dem. Vilket var, och är, anledningen till att Apple ytterst sällan, och ytterst ogärna, publicerar andra prestandasiffror än bara teoretiskt framräknad beräkningskapacitet på processorerna, och enbart processorerna. Till skillnad från i princip alla andra tillverkare som gärna publicerar prestandatester typ SPEC* som visar verklig systemprestanda, i kompletta datorer.

Edit:stafvel.

Tack för snabbt svar; nu är vi på banan igen. Jag uppfattade att diskussionen gällde "value for money" när KTH gjorde sin investering, och om det nu finns Mac-system som är lika snabba totalt sett, så vore det intressant att höra om tester som styrker det. Det borde KTH ha testat.
Som påtvingad "tvestjärt" (pc på jobbet; Mac hemma) inser jag ju att pc har vissa finesser som Mac ej har (tex. röststyrd "inpratning" direkt tex Philips FreeSpeech), men givetvis är snabbhet ett viktigt kriterium för storanvändare.
Dum fråga: kan man inte skicka ett "datorpaket" samtidigt både till KTH och till Virginia, och se vilket som snabbast kommer tillbaka? Skratta inte, svara istället om det ger svaret.

Det är knappast troligt att något av de kluster vi pratar om här skulle vara uppkopplat mot Internet. De är rena beräkningsdatorer och kör specialprogramvaror för forskning.

Tja, nu är det ju inte så att det är "PC" (där de flesta macanvändare tänker på windows) mot "MAC" det handlar om här, det handlar om två hårdvaruplattformar mot varandra. KTH kör ju faktiskt Linuxkärnan med GNU-systemet som operativsystem i sitt kluster, som man kan göra på i princip alla moderna datorer eller nåtlunda hyfsat avancerade elektroniska prylar

<trollning>Att använda windows eller mac os x server har de nog aldrig ens övervägt
</trollning>

Diskussionen gäller hårdvaruplattformen "PC" (dvs x86, x86-64 o likn) respektive Apples hårdvaruplattform. MS Windows respektive MacOS har vad jag sett överhuvudtaget inte nämnts i den här tråden innan du gjorde det.

Själv skulle jag inte köra ett kluster med varken Windows eller MacOS eftersom de båda har för mycket overhead att dra runt. Linux med flera är bättre för det här ändamålet, oavsett hårdvaruplattform. Iofs ryktas det om ett kommande rent teckenbaserat NT-OS (dvs helt utan grafiskt skal), med minimal overhead, från Microsoft, avsett bland annat för kluster, men något konkret har jag ännu inte sett komma ur det projektet.

Edit:stafvel. Jag har ett nytt tangentbord och jag har inte fått in känslan för studsen riktigt än, så jag får bara en konsonant istället för två när det skall vara två likadana efter varann.

Jag gillar höjden på kunskapen i det här forumet, och återgår i lyssnarläge. Keep on!

Det har du säkert rätt i, men det betyder inte att OS X behöver vara ett dåligt val i sådana här sammanhang. Om du inte stött på Virginia Techs kluster som jag talade om ovan, så hittar du säkert lite intressant läsning om du söker efter lite mer info om det.

Här finns en film om Virginia Tech. Det känns kanske lite som om Apples marknadsföringsavdelning skulle ha varit inblandad i vissa av filmens repliker, och den är inte heller helt aktuell. Nu håller VT på att byta ut PowerMac G5:orna mot Xserve cluster node på 2,3 Ghz. En annan sak som gör den lite mindre aktuell, är att x86-baserad hårdvara borde ha betydligt bättre chanser idag att konkurrera i sammanhanget. (Jag tror inte PCI-express fanns som ett alternativ när filmen gjordes.)

Det förefaller ganska märkligt att du menar att Apple faller på de interna bussarna i och med att den 133 Mhz PCI-X bussen verkar räcka gott och väl för den InfiniBand-arkitektur de kör med på VT-klustret. Ska vi gå in ännu närmre på bussar så tål det ju också i såna fall att nämnas att Intel-processorerna i dessa Dell-noderna inte har mer än 800 Mhz Frontside Bus medan XServe G5 har dubbla 1 Ghz -bussar.