Sehen sie heute - Jana spielt Hardwareschlacht und schaut, wieviel Systeme zuhause in ein Proxmox cluster passen.
*Ziehe 2,5mm² Kabeltrommel vom Sicherungskasten zum Rack, um die Last auf verschiedene Sicherungen zu Verteilen*

So, die vier Nodes vom c6320 sind drin, mal sehen was ich noch so finde...

Show thread

Ok, anscheinend ist die Hardware doch nicht so Premium wie es zuerst schien - "CPU 1 machine check error detected."
Random Abstürze / Reboots auf 2/4 Knoten

Show thread

Ahh, dieser Mist mit diesem quorum macht mich noch Wahnsinnig...
Ja du bist halt gerade Host 1 von 7, du bist halt jetzt Master und entscheidest alleine. Merk dir halt das ich quorum 1 haben will.

Show thread
Follow

Heute sehen sie "Clusterfahrer Klaus" - kopf-tisch-kopf-tisch-bett

Falls sich jemand fragt, wieviel da so durchgeht - etwa 15kwh in ~12 Stunden basteln, also etwa 10€ am Tag bzw. 1,25kw dauerdröhnen.

Show thread

Ok, ich glaube mehr geht nicht durch bei 24x SAS 7200rpm 1TB Platten, also durch einen SAS 12G Port Dual Channel.
Stecke ich noch meine 960 Evo rein? Ach nee, ich bekomme ja durch den 10G Link sowieso nicht mehr durch... oh da liegt ja noch eine 40G Karte...

Show thread

Hmm, seltsam... so langsam glaube ich, dass die random reboots von Provmox kommen. Selbst auf dem durchgetesteten Testsystem (P9D-WS, E3-1231v3, 32gb ecc) kommt es zu diesen Reboots. Dieses System hält sonst 72+x Stunden Dauerstresstest/Memtest/Videos rendern aus.
Eben alles nochmal mit ESXi aufgesetzt und bis auf, "nee, mit dieser Customer NIC Installiere ich nicht" geht alles. cpuburn heizt nun seit ~20min gut den Raum ohne fehler.

Show thread

Es scheint, dass wenn ich z.B. einen neuen Host einbinde und $Host nicht schnell genug reagiert, wird er vom Cluster rebootet / stürzt halt ab.
Zu erkennen an p9d, der frisch dazugekommen ist und c2q & i3 quasi gleichzeitig abgestürzt sind.

Show thread

Werfe Gebäudelüfter an, Server werden etwa 30% leiser.
Von 31°c auf 20°c bei ~9°c Außenthemperatur.

Show thread

So 100% oversubscribe funktioniert, nur beim einbinden neuer Notes muss man dann ggf. vorher die Last verringern...

Show thread

Proxmox Cluster funktioniert nur richtig gut, wenn mindestens 3 Hosts laufen.
Jetzt überlege ich wie ich ein möglichst neues & sparsames Clustercontroler Dreigestirn bauen könnte...
a) 3x NUC6CAYH á 130€ / NUC7PJYH2 á 170€ mit 8gb RAM auf SD Karte
b) 1x NUC8i3BEK2 bzw. NUC8i3BEH2 á 300€ + 32gb RAM + als hyperconverged System & die Controller selbst Virtualisieren als VM und ggf. noch 10g per Thunderbolt dran
c) 3x SYS-5019D-4C-FN8TP á ~1000€, dafür mit 10g drin, also Fullscale wie immer...

Show thread

@schenklklopfer Hatte bei zwei VM's HA aktiv, jetzt läuft es im leerlauf seit ~90min stabil.
Aber ich bewerfe die Nodes jetzt mal mit Last, mal schauen, ob es stabil bleibt.
forum.proxmox.com/threads/rand

@zenja das kann passieren. Das ist das fancing. Wenn ein host nicht mehr reagiert wird er automatisch rebooted damit er keine Scheiße mehr macht und garantiert failed.

@leah oh, super danke. Soweit bin ich noch nicht bei dem Setup.
Dies könnte aber zum Problem werden, da ich die CPU mäßig normal 2x-4x oversubscribe bzw. Partner dies zu 100% auslasten.
Schaue mir gerade einfach an, was VM Platform mäßig so geht. Bis jetzt ist nämlich meine erste Reaktion immer ESXi dagegen werfen, was aber je nach Version, bei den Partnern die Space wollen immer mal zu Problemem für. VM Version nicht supportet etc.

@zenja also ich betreibe ja nen Proxmox produktiv. Wenn du fragen hast melde dich :)

@jakob Um genau zu sein, 30kwh * 0,30€ + 0,36€ Anschlussgebühr pro Tag = 9,36€

@zenja ok ich wusste, dass Strom in DE teuer ist aber nicht, dass der so teuer ist o.o

@jakob Kommt halt auch auf den Anbieter an.
Auf der anderen Seite, zahle ich an der Arbeit etwa die Hälfte und da ist schon USV/Notstrom mit dabei. Sind neben Datacenter, halt auch Stromhändler und Netzbetreiber...
Das gillt allerdings nicht für Einzelracks, sondern nur für Flächenkunden die mehr als 30kw +x abnehmen.

@zenja Gibt’s einen spezifischen Grund, warum du das zuhause betreibst?

@morre Normal steht das an der Arbeit und verstaubt, wenn ich nicht damit herumspiele. Jetzt mit Homeoffice war es einfacher die Hardware mitzunehmen und die Stromkosten auf Reisekosten abzurechnen. Vor allem, da ich hier direkt daran komme und mein Storage ebenfalls hier steht. Dazu kommt das ich "nur" mehrfach 100mbit bekomme, wovon ich viele Leitungen direkt an Partner durchreich. NOC so "das müssen wir intern verrechnen1!!1111!!!"
Auch wenn der Uplink quasi durchgehend herumidelt.

@kunsi ja, sollte aber die Parallele zu Gabelstaplerfahrer Klaus sein.
Clusterfahrerin Jana klang irgendwie nicht so offensichtlich.

@zenja @kunsi Staplerfahrer Klaus bester Film zum einschlafen :D

Sign in to participate in the conversation
chaos.social

chaos.social – a Fediverse instance for & by the Chaos community