Forum » Znanost in tehnologija » ISC '24
ISC '24
pegasus ::
ISC se za razliko od minulih let letos dogaja že sredi maja. Trailer je zunaj že več kot pol leta:
Agenda je nabito polna z izjemno zanimivimi predavanji. Spet bi se moral klonirat na dva ali tri kose, da bi lahko obdelal vse, ki me zanimajo. Moram pa pohvalit domačo sceno, ker spet vidim slovenska imena med predavatelji :)
Medtem pa se ta teden dogaja Easybuild user meeting, predavanja so tu:
https://www.youtube.com/playlist?list=P...
Agenda je nabito polna z izjemno zanimivimi predavanji. Spet bi se moral klonirat na dva ali tri kose, da bi lahko obdelal vse, ki me zanimajo. Moram pa pohvalit domačo sceno, ker spet vidim slovenska imena med predavatelji :)
Medtem pa se ta teden dogaja Easybuild user meeting, predavanja so tu:
https://www.youtube.com/playlist?list=P...
pegasus ::
ISC 24 se je začel. Včeraj sem sedel na tutorialih, kjer sem se naučil, da je pytorch v resnici še veliko večje sranje, kot izgleda. In to je #1 ai toolkit ... živa groza. Pa pustimo to, danes se je dan začel kot ponavadi z nagradami. Hans Meuer nagradi sta šla v roke eni bioinžinerki, ki gradi digital twin človeškega telesa in se trenutno ukvarja s CFDjem žil in celic v krvi; trenutno zmore simulirati četrt kubičnega milimetra žile na celi Summit mašini, ki je še pred kratkim bila na vrhu top500. Kar impresivno, do celega telesa je še daleč ... več kot desetletje daleč. Drugi prejemnik je en matematik, ki je nekaj zrihtal neke tensor metode, ni nihče zares dojel kaj počne :D
Na top500 nič hudo novega. Aurora z 1.016EF na 87% cele inštalacije ni uspela izpodriniti Frontierja, ki so ga do zdaj še malo speglali in je trenutno na rahlo več kot 1.2EF. Je pa Aurora #1 na HPL-MxP, mixed precision linpack, še pred kratkim znan kot HPL-AI, tako da se lahko Intel vsaj z nečim hvali. Jasno so se pohvalili, da so zrihtali best PR event z aurorami po celem svetu :D Fugaku še vedno raztura HPCG, na green500 pa hara nvidia z GF200. Več o tem izvemo v sredo.
EuroHPC folk še vedno deluje zgubljeno ... ravno so se dobro navadili na pre-exascale mašine in zastavili prve exascale plane, pa se morajo zdaj z AI ukvarjat. Zanimivo, v UK so postavili Isambard-AI partition "čez noč" (=v 14 mesecih) in zdaj ugotavljajo, da jim je kljub "na horuk" akciji zadeva kar dobro uspela. Tako da ni treba bit nevemkako akademski tukaj, se da dost dobro z obstoječimi izkušnjami streči tudi AI zahtevam.
Z zanimanjem sem poslušal, kakšne so fantazije o dinamičnem prilagajanju HPC sistemov na zunanje faktorje ala trenutna cena elektrike ali pa njen ogljični odtis. Izvedeli smo, kako to počne google, izvedeli smo, kako o tem razmišljajo razni scheduling akademiki, jaz pa butam z glavo ob zid, ker to na zelo primitiven način počnem že več kot tri leta in dosegam "good enough" rezultate. Priznam, niso absolutno najboljši možni, ampak v tem scenariju je bolje imeti vrabca v roki kot goloba na strehi.
Zabaven je bil tudi CXL BoF z vsegaskupaj 6 udeleženci. Zadeva je očitno popolnoma izgubila zagon, kljub temu da jo poskušajo pozicionirati kot neko "bridging the AI memory barrier" rešitev z cxl v4 in v5, ni videti nekega interesa. A mi bi rabili zgolj cxl 1.1 piksno, pa se niti tega ne da še kaufnit ...
Sejmišče mi ne deluje tako polno kot lani, zjutraj so rekli da je sicer 3200 ljudi na eventu, vendar neke gužve ni videti. Se pa pozna napihnjena vrednost Nvidie, zvečer sem doživel najboljšo večerjo, odkar hodim na ISC :)~~~ In jutri se obeta še ena ...
Na top500 nič hudo novega. Aurora z 1.016EF na 87% cele inštalacije ni uspela izpodriniti Frontierja, ki so ga do zdaj še malo speglali in je trenutno na rahlo več kot 1.2EF. Je pa Aurora #1 na HPL-MxP, mixed precision linpack, še pred kratkim znan kot HPL-AI, tako da se lahko Intel vsaj z nečim hvali. Jasno so se pohvalili, da so zrihtali best PR event z aurorami po celem svetu :D Fugaku še vedno raztura HPCG, na green500 pa hara nvidia z GF200. Več o tem izvemo v sredo.
EuroHPC folk še vedno deluje zgubljeno ... ravno so se dobro navadili na pre-exascale mašine in zastavili prve exascale plane, pa se morajo zdaj z AI ukvarjat. Zanimivo, v UK so postavili Isambard-AI partition "čez noč" (=v 14 mesecih) in zdaj ugotavljajo, da jim je kljub "na horuk" akciji zadeva kar dobro uspela. Tako da ni treba bit nevemkako akademski tukaj, se da dost dobro z obstoječimi izkušnjami streči tudi AI zahtevam.
Z zanimanjem sem poslušal, kakšne so fantazije o dinamičnem prilagajanju HPC sistemov na zunanje faktorje ala trenutna cena elektrike ali pa njen ogljični odtis. Izvedeli smo, kako to počne google, izvedeli smo, kako o tem razmišljajo razni scheduling akademiki, jaz pa butam z glavo ob zid, ker to na zelo primitiven način počnem že več kot tri leta in dosegam "good enough" rezultate. Priznam, niso absolutno najboljši možni, ampak v tem scenariju je bolje imeti vrabca v roki kot goloba na strehi.
Zabaven je bil tudi CXL BoF z vsegaskupaj 6 udeleženci. Zadeva je očitno popolnoma izgubila zagon, kljub temu da jo poskušajo pozicionirati kot neko "bridging the AI memory barrier" rešitev z cxl v4 in v5, ni videti nekega interesa. A mi bi rabili zgolj cxl 1.1 piksno, pa se niti tega ne da še kaufnit ...
Sejmišče mi ne deluje tako polno kot lani, zjutraj so rekli da je sicer 3200 ljudi na eventu, vendar neke gužve ni videti. Se pa pozna napihnjena vrednost Nvidie, zvečer sem doživel najboljšo večerjo, odkar hodim na ISC :)~~~ In jutri se obeta še ena ...
pegasus ::
Aja, Nvidia je mnenja, da je AMD dobra konkurenca, Intel pa da ni omembe vreden. Gaudi je baje še ok, Ponte Vecchio je pa meh ;)
pegasus ::
Drugi dan sem začel z eessi BoFom, ki je bil skoraj popolnoma poln. Lepo videti, da se dober glas širi v vse HPC vasi v tej okolici ;) Projekt ima res ogromen potencial in več ko bo uporabnikov, več bo kontributorjev in lepši bo svet za vse nas.
Nadaljeval sem z io500 BoFom, kjer se počasi pobirajo po razdelitvi liste na research in production sisteme, single node / 10 nodes / full system številke in na dodatne zahteve po opisu sistemov pri oddaji rezultatov. Trenutno kraljuje SuperFS (ex MadFS) kot research stunt in Intlov DAOS kot production tehnologija. Zanimivo, da se razne weke in vasti niso uspeli uvrstiti višje.
Potem sem se pustil poučiti o nemških mreži centrov za njihov kunstlih inteligenc. Zelo resno so se lotili lokalizirat llamo na nemščino in to zdaj prodajajo kot success story. Pravtako je ministrstvo sponzoriralo nakup uporabnega števila GPUjev (več tisoč), da lahko na njih tudi kaj streniraš v doglednem času. In to for free, samo dobro moraš razložit, kako bo tvoj projekt izboljšal svet. Vemo kaj, kakšno je stanje na tem področju doma?
Po kosilu sem poslušal modrovanja po potencialnih sodelovanjih med eurohpc in industrijo. Tema, ki se vleče že desetletja in debate so ves čas približno iste. Na trenutke kar tragikomično ...
Sledil je en BoF o bolj eksotičnih acceleratorjih. Različni centri se že igrajo z cerebrasom, sambanovo, graphcore in takimi zadevami. Lepo videti, da so v evropi že vsaj 3 cerebras inštalacije. Zadeva je impresivna, zmore 3 bytes na flop, kar je primerljivo s starimi vektorskimi crayi iz začetka hpc zgodovine, z dodatnim bombončkom, da to zmore v enem urinem ciklu. Mindblown.gif ... Sploh ker gpuji zmorejo nekje 0.005 bajta na flop. Je pa fajn če svojo kodo prepišeš s tem v mislih, da polno izkoristiš zmožnosti, ki ti jih ta wafer scale engine ponuja.
Neuromorphic talk je bil relativno impresiven. Glede na to, kaj vse že počnejo s temi čipki in ob kakšni porabi energije, je prihodnost svetla. Najbolj me je navdušil f1tenth.org avtonomni dirkalni avtoček, kjer so fliknili ven nvidia jetsona in ga nadomestili z enim micenim čipkom ter zmanjšali porabo iz ranga nekaj 10W na rang nekaj 10mW ob enakih sposobnostih vožnje. To hočem imeti v Apteri čez 10 let :D
Airbus keynote je bil rahlo zmeden, teta imela mal preveč treme. Je pa airbus že globoko v razvoju quantum algoritmov in z BMWjem šibajo zdaj en nagradni natečaj do konca leta za najboljšo uporabo quantum computinga v transportnem sektorju. Decembra bomo več vedeli o rezultatih in kaj vse je folk submittal. Prva quantum aplikacija pri airbusu bo optimiziranje vodikovih gorivnih celic, ki so sedaj polne platine in kobalta (sami nesporni elementi), da sploh delajo. Btw, tudi naš pipistrel je tu zraven.
Tradicionalni torkov intel keynote pa je bil tokrat izjemno zanimiv, predvsem "med vrsticami". Intlovci so se čisto poskrili in na oder poslali codeplay, nekako v stilu onega "developers developers developers" skakanja. Tokrat pač sycl oneapi this and that and open this and that, kot da so pa ostali non-cuda stacki closed in top secret ... No, lepo je videti, da je game on in da bomo upam da še v tem desetletju videli, kaj se bo iz tega izluščilo.
Današnji aws&nvidia dinner je bil v veliki lokalni pivnici, kamor so uspeli zvabiti vsaj pol folka. Obupno neuporaben večer, ker zaradi količine popitega piva glasnost v prostoru tako naraste, da ne slišiš več niti sebe. Nikoli nisem razumel zakaj večina folka potrebuje take šundre, sam sem se ekspresno odstranil.
Jutri je še en dan.
Nadaljeval sem z io500 BoFom, kjer se počasi pobirajo po razdelitvi liste na research in production sisteme, single node / 10 nodes / full system številke in na dodatne zahteve po opisu sistemov pri oddaji rezultatov. Trenutno kraljuje SuperFS (ex MadFS) kot research stunt in Intlov DAOS kot production tehnologija. Zanimivo, da se razne weke in vasti niso uspeli uvrstiti višje.
Potem sem se pustil poučiti o nemških mreži centrov za njihov kunstlih inteligenc. Zelo resno so se lotili lokalizirat llamo na nemščino in to zdaj prodajajo kot success story. Pravtako je ministrstvo sponzoriralo nakup uporabnega števila GPUjev (več tisoč), da lahko na njih tudi kaj streniraš v doglednem času. In to for free, samo dobro moraš razložit, kako bo tvoj projekt izboljšal svet. Vemo kaj, kakšno je stanje na tem področju doma?
Po kosilu sem poslušal modrovanja po potencialnih sodelovanjih med eurohpc in industrijo. Tema, ki se vleče že desetletja in debate so ves čas približno iste. Na trenutke kar tragikomično ...
Sledil je en BoF o bolj eksotičnih acceleratorjih. Različni centri se že igrajo z cerebrasom, sambanovo, graphcore in takimi zadevami. Lepo videti, da so v evropi že vsaj 3 cerebras inštalacije. Zadeva je impresivna, zmore 3 bytes na flop, kar je primerljivo s starimi vektorskimi crayi iz začetka hpc zgodovine, z dodatnim bombončkom, da to zmore v enem urinem ciklu. Mindblown.gif ... Sploh ker gpuji zmorejo nekje 0.005 bajta na flop. Je pa fajn če svojo kodo prepišeš s tem v mislih, da polno izkoristiš zmožnosti, ki ti jih ta wafer scale engine ponuja.
Neuromorphic talk je bil relativno impresiven. Glede na to, kaj vse že počnejo s temi čipki in ob kakšni porabi energije, je prihodnost svetla. Najbolj me je navdušil f1tenth.org avtonomni dirkalni avtoček, kjer so fliknili ven nvidia jetsona in ga nadomestili z enim micenim čipkom ter zmanjšali porabo iz ranga nekaj 10W na rang nekaj 10mW ob enakih sposobnostih vožnje. To hočem imeti v Apteri čez 10 let :D
Airbus keynote je bil rahlo zmeden, teta imela mal preveč treme. Je pa airbus že globoko v razvoju quantum algoritmov in z BMWjem šibajo zdaj en nagradni natečaj do konca leta za najboljšo uporabo quantum computinga v transportnem sektorju. Decembra bomo več vedeli o rezultatih in kaj vse je folk submittal. Prva quantum aplikacija pri airbusu bo optimiziranje vodikovih gorivnih celic, ki so sedaj polne platine in kobalta (sami nesporni elementi), da sploh delajo. Btw, tudi naš pipistrel je tu zraven.
Tradicionalni torkov intel keynote pa je bil tokrat izjemno zanimiv, predvsem "med vrsticami". Intlovci so se čisto poskrili in na oder poslali codeplay, nekako v stilu onega "developers developers developers" skakanja. Tokrat pač sycl oneapi this and that and open this and that, kot da so pa ostali non-cuda stacki closed in top secret ... No, lepo je videti, da je game on in da bomo upam da še v tem desetletju videli, kaj se bo iz tega izluščilo.
Današnji aws&nvidia dinner je bil v veliki lokalni pivnici, kamor so uspeli zvabiti vsaj pol folka. Obupno neuporaben večer, ker zaradi količine popitega piva glasnost v prostoru tako naraste, da ne slišiš več niti sebe. Nikoli nisem razumel zakaj večina folka potrebuje take šundre, sam sem se ekspresno odstranil.
Jutri je še en dan.
pegasus ::
Risc-v je nekje tam kjer je bil arm pred nekako 15 leti. Več izdelkov na raznih koncih je že na voljo, recimo evropski procesor dela čisto ok na 22nm in 300mhz, dovolj da se da gor poganjat cel linux z razvojnim okoljem. Sw stacki se že buildajo, med drugim tudi v eessi, tako da ko bo nekdo deployal te zadeve v produkcijo, bo ves hpc stack takoj na voljo. Pri evropskem procesorju je bilo malo negodovanja ob opazki, da so ubrali isto strategijo kot Intel s KNL - šibka general purpose jedra in velika vektorska enota. In vemo, kako se je KNL štorija končala za Intel ...
Green500 se spopada s krizo identitete. Posredno zato, ker linpack izgublja smisel kot merodajen benchmark in je samo še zgodovinska zanimivost, posredno pa zato, ker praktično nihče ne meri porabe na najbolj natančen način - z namensko in kalibrirano opremo na dovodih štroma v cluster. Precej indikacij je, da je node level data iz bmc vmesnikov natančen samo nekje na 5% ...
Na sustainability BoFu sem izvedel, da je EU sprejela uredbo o učinkovitosti datacentrov, kar je nekako šlo mimo mene. Moram preštudirat, ampak baje da če pelješ v server room več kot 500KW, moraš biti sposoben pokazat, da jih kuriš gospodarno in učinkovito in se z njimi ne afnaš. Lepo.
Košček quantum razprav, ki sem ga ujel, mi je dal vedeti, da so eksperimentalci zdaj precej prepričani, da bodo v petih letih sposobni spraviti skupaj en praktično uporaben quantum computing thingie. Živi bili pa videli :)
Študentarija je po novem omejena na 6KW in kitajci so iz tega že sposobni iztisniti 337TF na linpacku, kar je impresivna številka. No, ko drugo leto dobijo v roke grace hopperje, bo še višja. Tudi sicer so kitajske ekipe pobrale največ nagrad, me je pa letos presenetila odsotnost "public favourite team" nagrade ... mogoče zato, ker so študentarijo potisnili v en kot daleč stran od vseh tokov ljudi po eventu, z izgovorom, da so mašine preglasne. Meh ... a smo HPCjaši ali ne ...
Na zaključku se je poznala odsotnost Sterlinga. Nihče si ne upa trolat cele scene na kreativen način tako kot je bil sposoben on ... Kot zaključni talk bi tudi sicer pričakoval kaj bolj vizionarskega, izpadel pa je kot še eno od mnogih poročil "mi delamo to in to in mislimo da je kul". Ok ...
Event je gostil 3409 ljudi, naslednje leto bo 25. po vrsti in obljubljajo nekaj več. Bo pa spet v juniju in spet v Hamburgu. FYI, če si še študent in te mika HPC scena, se eventa lahko udeležiš zastonj kot "student volunteer". Malo pomagaš zraven pri organizaciji in lahko sediš pri vseh talkih, ki te zanimajo, povprašaš ljudi tam kar te zanima, navežeš kake stike in zveš, kdo zaposluje. Najboljši možen skok v to sceno :)
Btw, tudi sam se začenjam razgledovati po novih delovnih mestih, tako da če kdo kaj ponuja, se z veseljem kaj pogovorim.
Green500 se spopada s krizo identitete. Posredno zato, ker linpack izgublja smisel kot merodajen benchmark in je samo še zgodovinska zanimivost, posredno pa zato, ker praktično nihče ne meri porabe na najbolj natančen način - z namensko in kalibrirano opremo na dovodih štroma v cluster. Precej indikacij je, da je node level data iz bmc vmesnikov natančen samo nekje na 5% ...
Na sustainability BoFu sem izvedel, da je EU sprejela uredbo o učinkovitosti datacentrov, kar je nekako šlo mimo mene. Moram preštudirat, ampak baje da če pelješ v server room več kot 500KW, moraš biti sposoben pokazat, da jih kuriš gospodarno in učinkovito in se z njimi ne afnaš. Lepo.
Košček quantum razprav, ki sem ga ujel, mi je dal vedeti, da so eksperimentalci zdaj precej prepričani, da bodo v petih letih sposobni spraviti skupaj en praktično uporaben quantum computing thingie. Živi bili pa videli :)
Študentarija je po novem omejena na 6KW in kitajci so iz tega že sposobni iztisniti 337TF na linpacku, kar je impresivna številka. No, ko drugo leto dobijo v roke grace hopperje, bo še višja. Tudi sicer so kitajske ekipe pobrale največ nagrad, me je pa letos presenetila odsotnost "public favourite team" nagrade ... mogoče zato, ker so študentarijo potisnili v en kot daleč stran od vseh tokov ljudi po eventu, z izgovorom, da so mašine preglasne. Meh ... a smo HPCjaši ali ne ...
Na zaključku se je poznala odsotnost Sterlinga. Nihče si ne upa trolat cele scene na kreativen način tako kot je bil sposoben on ... Kot zaključni talk bi tudi sicer pričakoval kaj bolj vizionarskega, izpadel pa je kot še eno od mnogih poročil "mi delamo to in to in mislimo da je kul". Ok ...
Event je gostil 3409 ljudi, naslednje leto bo 25. po vrsti in obljubljajo nekaj več. Bo pa spet v juniju in spet v Hamburgu. FYI, če si še študent in te mika HPC scena, se eventa lahko udeležiš zastonj kot "student volunteer". Malo pomagaš zraven pri organizaciji in lahko sediš pri vseh talkih, ki te zanimajo, povprašaš ljudi tam kar te zanima, navežeš kake stike in zveš, kdo zaposluje. Najboljši možen skok v to sceno :)
Btw, tudi sam se začenjam razgledovati po novih delovnih mestih, tako da če kdo kaj ponuja, se z veseljem kaj pogovorim.
pegasus ::
Nekaj vtisov z razstavišča ...
Letos sem imel za razstavišče v treh dneh na voljo le eno uro, vključno s kosili tam. Tako da nisem imel nekega časa fehtat gadgete, sem pa videl ljudi, ki so jih nosili ven polne vreče. Cele racke so imeli razstavljene zgolj ponudniki hlajenja, tako vodnega kot zračnega. Ponudniki hardvera so razkazovali zgolj posamezne rezine ter nekaj celih serverjev tu in tam, največji pa sploh niso imeli svojih štantov (Intel, Amd, Nvidia), so pa bili razpršeni po vseh ostalih štantih. Tudi npr. Cerebras ni imel svojega štanta, a so bili prisotni in se aktivno udeleževali na vseh dev bofih.
Iz takih rezin se sedaj sestavlja El Capitan. Na eni rezni je 8 nodeov. Niso povedali, kater točni Mi3xx bo uporabljen, a ponudba gre gor do 1200W, tako da lahko tako rezino komot uporabite namesto kuhalne plošče.
Pod ventilatorčkom na levi se skriva prototip evropskega procesorja. Zaenkrat še v 22nm in na 300MHz, 4-jedrni risc-v že komot poganja normalen linux desktop in ga lahko uprobljate kot razvojno okolje za software stack.
Zbirka aktivnosti, ki jih financira EU. Malo pogooglajte posamezne kratice, gotovo najdete kaj zanimivega tudi za vas.
Retro computing is new again. Večji del scene se sprašuje, kako razviti app-specific ASICe, NEC to počne že več desetletij. Zadnji krik njihove vektorske mode je zapakiran v PCIe kartice, ki jih ljubijo vsi uporabniki starih fortran kod, npr. vremenarji. Zadeva je super zanimiva, če so vaši algoritmi omejeni z memory bandwidthom in se jih da učinkovito vektorizirati.
Tole je razvilo nekaj profesorjev in študentov in ponuja boljše performanse kot H100 na starejši litografiji in četrtini moči, a samo za stencil algoritme (cfd, fea). Prikaz, da je razvoj app-specific ASICov mogoč, realen in smiseln. Imeli so tudi štant in demo, a ga nisem slikal.
Videli smo tudi nemški optični procesor, ki že deluje in zna narest matrix-matrix množenje. Zdaj delajo na skaliranju te zadeve. Držim pesti, da jim uspe. Nekaj takega je v današnji AI noriji krvavo potrebno.
Vtis z zaključka ...
... Ne preostane kaj dosti drugega kot skomigniti z rameni in se vdati v usodo. Follow the money pa to ... Očitno bomo primorani zganjat znanost z ostanki hyperscaler opreme. Ali pa se bodo investicije v znanost, namenjene razvoju dedicated hardvera, morale precej povečati ...
Lokalno prisotne študentske ekipe
Letos sem imel za razstavišče v treh dneh na voljo le eno uro, vključno s kosili tam. Tako da nisem imel nekega časa fehtat gadgete, sem pa videl ljudi, ki so jih nosili ven polne vreče. Cele racke so imeli razstavljene zgolj ponudniki hlajenja, tako vodnega kot zračnega. Ponudniki hardvera so razkazovali zgolj posamezne rezine ter nekaj celih serverjev tu in tam, največji pa sploh niso imeli svojih štantov (Intel, Amd, Nvidia), so pa bili razpršeni po vseh ostalih štantih. Tudi npr. Cerebras ni imel svojega štanta, a so bili prisotni in se aktivno udeleževali na vseh dev bofih.
El Capitan blade
EPI prototip
EU projekti
NEC Aurora Tsubasa
GPU alternativa
prihodnost
Vtis z zaključka ...
finančna realnost
študentarija
pegasus ::
Search je trenutno broken ... sicer bi lahko tu našel moje zapise vse nazaj do ISC'12. So zanimivi že iz stališča razvoja v tem dobrem desetletju ... In ja, zagotovo bom tu kaj napisal tudi iz ISC'25, ki bo 10-13. junija naslednje leto.
zee ::
Hvala za porocilo. Naslednje leto se potrudim, da pridem na ISC. Letos smo sestavljali Alps v Svici (6. na TOP500).
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.
pegasus ::
Novo letos: precej predavanj je na voljo prek zastonjske registracije. Očitno hočejo izmeriti, za koliko ljudi so predragi ;) Meni je pa fajn, da lahko pogledam še vse zanimive stvari, ki so se dogajale vzporedno s tistimi, na katerih sem sedel.
Zgodovina sprememb…
- spremenil: pegasus ()
pegasus ::
zee ::
Alps je fina masina, precej sem se naucil o CSM-u. Ne za Archer 3 ne za Vego 2 ne vem (se) nic. Bi bilo pa fajn imet sluzben razlog za letet do Slovenije. 
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.