Topic: Mein zweites BTC Mining Projekt: Auslegung Immersionskühlung (Read 173 times)

Soo.. Weiter geht's, der Plan für das Winterprojekt steht...

Was das Dilemma zwischen Elektrischer Isolierung und guter Wärmeleitfähigkeit angeht habe ich mich jetzt doch dazu entschieden es im ersten Anlauf einfach zu halten und auf Epoxi + Wasser zu gehen. Getaucht werden absehbar dann erstmal nur die Hashboards (PSU ist mir vorerst zu heikel), welche elektrisch durch das Vergießen in Epoxi isoliert werden (ca. 1-3mm Schicht, sodass Kühlkörper rausschauen). Epoxi ist zwar ein schlechter thermischer Leiter, aber andererseits reduziert man den Wärmewiderstand beim konvektiven Wärmeübergang zum Wasser auf 1-2% des Widerstandes bei Luft. Dort wo die Kühlkörper aufsitzen (Punktlasten -> Chips) sollte sich der gesamte Wärmewiderstand also deutlich reduzieren, über die restliche Fläche (Flächenlast -> Kleinteilen) moderat verbessern bis geringfügig verschlechtern. Da das in der Fläche jetzt aber nicht die großen Wärmequellen sein sollten, sollte man das im Zweifel auch noch über den Durchfluss der Wasserpumpe austarieren können.

Um das Vergießen mal zu testen muss nen alter (ohnehin nicht mehr rund laufender) S9 dran glauben die es inkl. Netzteil ab 50€ bei Kleinanzeigen gibt. Wichtig war bei mir darauf zu achten, dass ein APW3++ Netzteil mit 1.600W oder gar 1.800W verbaut ist, denn das brauchen wir im nächsten Schritt noch...

---

Was die elektrische Auslegung angeht dürfte die größte Hürde sein, dass wir für höhere Taktfrequenzen auch höhere Versorgungsspannungen >12V brauchen. Deshalb auch das APW3++ Netzteil, weil hier der Umbau zu einem Loki-Rig inkl. Netzteil-Mod bis <15V sehr gut dokumentiert ist. Auf der Pivotal PleBTC Tech Seite sind das "Loki Kit User Manual" und "APW3++ Voltage Mod Guide" zu finden. Nimmt man AC Infinity Cloudline Lüfter ist vielleicht noch das Njord Board interessant, ich bleibe aufgrund geringerer Lautstärke aber bei Soler & Palau Ventilatoren.
Dazu kommt dann ein Hashboard vom S19 95TH mit "nur" 76 Chips (günstiger, mehr elektrischen Leistung pro Chip). Bei 1.600W und einer idealisierten Effizienz von ~30W/TH sollte man das Board auf jeden Fall nicht höher als ~50TH/s bzw. 700GH/s je Chip bekommen dürfen. Ein 1.5x bei der Hashrate könnte also durchaus realistisch sein, mehr nur wenn sich bestätigt, dass eine niedrigere Chiptemperatur selbst auch bei höheren Versorgungsspannungen noch zu mehr Effizienz führt.

Kurze Verständnisfrage dazu: Wie hängen Taktfrequenz der Chips und deren Hashrate zusammen. Mir ist nämlich gerade aufgefallen, dass die Taktfrequenz dann wohl auch bei maximal so um die 700MHz liegen dürfte.... ~700MHz bei ~700GH/s ist aber nur Zufall oder?

---

Hier ist zum reinlesen auch nochmal ein anderer Baubericht für ein Loki-Rig bzw. S19 Single Board Projekt.

Und ansonsten würde ich gerne weiter die Schwarmintelligenz des Forums nutzen, also falls euch in Sachen Elektrik oder Mining-Grundlagen irgendein Denkfehler auffällt, dann immer raus mit euren Verbesserungsvorschlägen (mein Steckenpferd ist ja eher das Thema Kühlung).... Bisher ist die Beteiligung ja eher gering... 
 

   

Aktuell soll das am ehesten noch eine "Machbarkeitsstudie" werden, um zu schauen was in Sachen Effizienz und Wirtschaftlichkeit geht. Dabei sollen folgende 3 Punkte erörtert werden.

1.
Schaut man sich den BitAxe Gamma Faden an dann bringt ein bm1370 chip im default mode rund 600 GH/s und in Spitze ~1,2-1,3 TH/s. Übertragen auf einen S21 200 TH/s mit 324 Chips hieße das im Grunde, dass sich die Hashrate noch verdoppeln ließe, wenn man Stromversorgung und Kühlung in den Griff bekommt. Hier schlummert m.M.n. noch einiges Einsparpotential in Sachen Anschaffungskosten pro TH/s.

2.
In Sachen Effizienz habe ich die These in den Raum gestellt, dass diese letztlich nur von der Temperatur der Chips abhängt und die bisherigen Limits an die vorhandenen Kühlverfahren (Luft- bzw. Wasserkühlung) gebunden sind. Ein Kühlverfahren mit Phasenübergang direkt am Chip könnte diesen Flaschenhals um den Faktor 5-10x weiten. Wunschvorstellung wäre, dass man bei entsprechender Kühlung vielleicht sogar die 15 J/TH im oc mode halten könnte.

3.
Eher nachgeordnet ist die Frage inwiefern sich ein miner lastabhängig regeln ließe und welche spanne er abdecken könnte. Meinen S19j pro konnte ich ja ohne weiteres um Faktor 2.0-2.5 also auf unter 1,5kW drosseln. Wenn vom default mode das gleiche potential nach oben auch nochmal erschlossen werden kann, dann wäre das schonmal ein vorteil für den Einsatz von Minern als sekundäre Regellast.

---

Peltiers draufkleben, Chiller dranhängen oder auch 1-Phasen-Tauchkühlung mit Öl halte ich für Sackgassen.
PV-Hydro-Mining mit Abwärmenutzung übrigens auch. Einerseits weil PV-Strom und Heizbedarf beides an der solaren Einstrahlung hängt und ich damit i.d.R. Strom/Wärme erzeuge wenn ich wenig davon brauche. Andererseits weil ich aus Effizienzgründen versuchen würde das Temperaturniveau der Abwärme beim Miner so niedrig wie möglich zu halten, während man heizungsseitig ja eigentlich höhere Temperaturen anstrebt (Brauchwasser 55-60°C für Keimfreiheit, Flächenheizkörper zumindest mal noch ~40°C).

---

Aktuell bin ich am überlegen ob nicht ein Hybrid aus Wasser- und Immersionskühlung eine Idee wäre. Sprich das Hashboard mit Mibenco Flüssiggummi oder Wärmeleit-Epoxy elektrisch zu isolieren und einen einseitig offenen Wasserkühler zu verwenden, bei dem das Hashboard die zweite Außenwand bildet und das Kühlmedium direkt über die Chips auf dem Hashboard fließt und dort bei etwas Unterdruck auch verdampfen könnte.
Bin aber noch unschlüssig was Wasser angeht. Thermisch betrachtet wäre das mein favorisiertes Kältemittel, mit den elektrischen Leistungen die da mit im Spiel sind und auch einigen größeren Kondensatoren (Stromfreiheit nicht sofort nach Abschalten) ist das aber vielleicht nicht ganz ungefährlich. Naja, vielleicht hole ich mir mal einen billigen S9 um das auszuprobieren....  

Viele Wege führen nach Rom... Was willst Du eigentlich genau mit dem System machen ?  
Mein Ziel war es den Miner dauerhaft effizient zu betreiben und die Abwärme sinnvoll nutzen zu können.Und das habe ich für mich und meine Örtlichen Gegebenheiten umgesetzt.
Meine Wasser/Wasser Kühlung verbraucht dabei ca.2x 20W-35W für die Pumpen und 10W für die Steuerung .
Klar kannst Du auch alle möglichen kleinen / großen Kühler und Lüfter benutzen, nen Chiller dranhängen oder die Kiste in Öl legen aber ob das der richtige Weg ist ?

Ich versuch mal mir daraus einen Reim zu machen. Meines Wissens ist die Lamellendichte beim Autokühler höher als bei PC-Radiatoren, was bedeutet dass der luftseitige Strömungswiderstand entsprechend größer ist. Bei Verwendung als Passivkühler oder in Kombination mit schwachen PC-Lüftern kommt die Luftströmung also nicht in Gang, sodass die Lüfter "ineffizienter" sind, eben weil die Strömung blockiert und die Auslegung für höheren Luftdurchsatz (genau genommen höhere Druckdifferenz) ausgelegt ist. Meinst du das so?
Ineffizienter in Bezug auf die benetzte Fläche wären sie dann im Grunde auch noch, weil alles kompakter gebaut ist...

Ich bin aber trotzdem noch der Meinung, dass man die Autokühler dann einfach nur im Betriebspunkt betreiben muss (also mit stärkerem Lüfter) und die dann bei gleicher Stirnfläche ein höheres Abwärmepotential haben, also ein kleinerer Lüfter ausreichen würde.... Falls du da anderer Meinung bist führe das gerne mal etwas detaillierter aus....

---

Flaschenhals für den Wärmetausche Kältemittel <-> Luft ist der Lüfter. Flaschenhals im System ist die Wärmeübertragung am Hashboard/Chip. Beides widerspricht sich nicht.
Letzteres ist ja im Grunde auch der Grund warum Tauchkühlung überhaupt interessant ist. Tauchsiedekühlung wäre noch interessanter, dann könnte man den Wärmeübergang am Chip nämlich um Faktor >10x erhöhen, das ist ja letztlich der Anreiz die Optionen hier überhaupt zu analysieren.

Nein ,da die "Autokühler" nicht so effektiv sind und auf großen Durchfluss & Luftdurchsatz ausgelegt wurden  


Nein , der Flaschenhals bei Deinem System sind die Wärmetauscher der Hashboards   Das Problem ist das Du dort die Durchflussmenge zwar deutlich erhöhen könntest aber Du durch den bescheidenen Wärmeübergang nicht wirklich viel zusätzliche Wärme mehr abgeführt bekommst ....

Bei mir hängt ein  30 Platten Swep Wärmetauscher an der Wand der die Wärme Systemgetrennt an das Heizungssystem abgiebt. Pumpe ist eine Wilo Varios Pico-STG , Kühlmedium ist destilliertes Wasser mit nem Zusatzmittel auf Benzotriazol Basis von meinem Solarteur.

So, gestern hab ich mich dann auch mal mit dem Thema Kühlmittel auseinandergesetzt und hab so einiges herausfinden können. Leider haben sich im wesentlichen aber auch die Erkenntnisse aus dem OP verfestigt.

Ich gehe mal der Reihe nach durch:

- hochreines Wasser bekommt man nicht so rein gehalten, dass es dauerhaft keine elektrische Leitfähigkeit hätte. Selbst bei destilliertem/entionisiertem Wasser würde Staub und Schmutz für eine gewisse Leitfähigkeit sorgen, die mindestens mal Störungen verursachen würde. Selbst bei steriler hochreiner Umgebung würde Wasser Ionen aus den Bauteilen lösen die selbigen Effekt hätten. Man müsste das Wasser also kontinuierlich entionisieren und der Aufwand lohnt sich einfach nicht.

- 3M Novec Kühlmittel für Zwei-Phasen-Immersionskühlung sind klimaschädliche flourierte Kohlenwasserstoffe, die aufgrund ihrer Klimaschädlichkeit in Europa durch die F-Gas-Verordnung reguliert und mindestens für Endkunden nicht mehr verfügbar sind.

- Wer bei klimafreundlichen Kältemitteln tiefer einsteigen will für den habe ich hier einen Link zu einer Studie zu klimafreundlicher Kühlung beigefügt. Neben Wasser was bereits erwähnt wurde, sind die "besten" Kältemittel in Sachen Klimaschutz Ammoniak und Propan. Ammoniak entfällt weil es mit Buntmetallen (z.B. Alu oder Kupfer) reagiert. Propan kommt erst bei Überdruck um die ~10 Bar in einen Bereich wo man den Phasenwechsel sinnvoll nutzen könnte. Außerdem ist es leicht entzündlich und kann mit Luft ein explosives Gemisch bilden, ist also auch Nichts für ein DIY-Projekt.  

- Kühlmittel auf Öl-Basis sind verfügbar (gibt es z.B. hier zu kaufen) und zumindest für Tauchkühlung ohne Phasenwechsel geeignet. Mit Ihrem Mix aus leichter Toxizität (-> Sicherheitsbestimmungen bedeuten komplizierte Handhabung), begrenzter Umweltschädlichkeit und höherem Preis (beginnend ab ~8€/L) haben sie mich jetzt aber trotzdem nicht unbedingt vom Hocker gehauen... Eine solche Lösung würde wohl funktionieren, allerdings würde ich mir eher einen wassergekühlten Hydro miner holen als das so umzusetzen, zumal das große Kühlpotential eines Phasenwechsels hier nicht genutzt wird.

Insgesamt weckt keines der genannten Kühlmittel bei mir die Lust auf Umsetzung eines solchen Projektes!
Ein bisschen Hoffnung setze ich noch in wärmeleitende aber elektrisch isolierende Lacke / Beschichtungen (sowas Ähnliches wie das hier), sodass man dann doch wieder in wasser tauchen kann. Fündig geworden bin ich da bislang allerdings noch nicht wirklich....

---

Ansonsten sind Beiträge und Input zum Thema immer gerne gesehen, bisher ist das ja hier noch sehr überschaubar...  

Millionminer scheint mir grundsätzlich sehr teuer zu sein, deshalb hab ich die 410$ (sind ja dann mit Zoll ~500€) extra mit aufgeführt.

Was PKW-Kühler angeht sind die einfach auf Funktionalität und Kosten optimiert und werden in deutlich höherer Stückzahl produziert. Für einen Lian Li (der übrigens auch aus Alu ist) spräche für mich eigentlich nur die Optik. Was die Kühlergröße angeht verstehe ich deine Aussage nicht. Wenn die Auto-Kühler eh für größeren Durchfluss und Luftdurchsatz (=mehr Abwärmekapazität) ausgelegt sind, warum sollte man dann noch ne Nummer größer wählen? Im Gegenteil müsste bei einem reinen Auto-Setting (mit deutlich stärkerem Lüfter) dann doch locker ne Nummer kleiner reichen?!

Flaschenhals für die Leistungsfähigkeit des Wärmetauschers ist übrigens der Lüfter, weil der konvektive Wärmeübergang vom Kühler zur Luft den größten Wärmewiderstand ausmacht. Alleine schon deshalb (und wegen der Lautstärke) würde ich einem großen Lüfter immer den Vorzug vor vielen kleinen geben. Eine große Kühlfläche spart im Grunde nur Stromkosten beim Lüfter, weil der langsamer drehen kann, aber falls man zu wenig Abwärme abführt kann man das i.d.R. einfach über die Lüfter Drehzahl korrigieren.

Was hast du genau für ein setting? Einen direkten Vergleich fände ich da schon spannend....

---

Was die Wasserpumpe angeht hab ich zwischenzeitlich noch das hier gefunden: 80W, max. 2300L/h, max. 16m Head (~1,6 Bar Druckdifferenz) als Austausch für die Originalpumpe ("to replace the failed water pump of Lian Li 12KW water cooling kit").

Die Auslegung der Pumpe würde ich übrigens anhand des Miners und nicht des Radiators machen. Die Logik wäre hier die Pumpe / den Durchfluss so auszulegen, dass die Wärme im Miner abgeführt werden kann. Die Wärmetauscherauslegung muss sich dann danach richten.

Wie hier schonmal berechnet brauche ich für ~3kW Abwärme einen Volumenstrom von ~600m³/h (Luft). Für Immersionskühlung wären die Geometrien ja quasi identisch sodass man direkt die Wärmeübergangskoeffizienten von Luft und Kühlmittel vergleichen kann.
Hier vergleiche ich Gase -> erzwungende Strömung -> Mittelwert 50 mit Wasser -> bei erzwungener Konvektion -> Mittelwert 1.000 und komme auf Faktor 200x Unterschied. Statt 600m³/h Luft käme ich dann auf 3m³/h = 3.000L/h Kühlmittel. Auch wenn die Immersionskühlung wie schon erörtert nicht in Wasser laufen wird, kann ich die Daten trotzdem hernehmen weil die dielektrischen Kühlmittel meist einen besseren Wärmeübergangskoeffizienten haben. Zugegebenermaßen habe ich die Werte auch ein Stück weit deshalb ausgewählt, weil man dann auf eine sehr schöne Daumenregel kommt:
Pro 1kW Abwärme benötigt man 1.000L/h Kühlmitteldurchfluss. Für mein setting habe ich bereits mit der EHEIM compactON 5000 geliebäugelt (=5000L/h), die würde auch gut in die Auslegung passen.

Nabend, der Kühler für 800€ ist aber ganz schön teuer  , ich habe für meinen (mit L7 Anschlusskit) letztes Jahr 500€ mit Zoll bezahlt und habe dazu noch die Luxus Variante mit der aktiven Temperaturreglung ...
Klar geht auch die "Billig Variante Autokühler" aber da diese meist aus Alu, für mehr Durchfluss und größeren Luftdurchsatz ausgelegt sind sollte man dort von Haus aus ne Nummer größer wählen.
Noch ne Empfehlung , Schnellverschlüsse sind ne TOP Sache aber neben den positiven Eigenschaften muss man auch sagen das sie den Strömungswiderstand deutlich vergrößern und man dieses bei der Pumpenwahl mit beachten sollte.

Heute geht es weiter mit der Auslegung des Wasserkühlers.

Als Referenz für das Reverse Engineering nehme ich den LianLi 12kW Wasserkühler ($410) der bei millionminer mal eben 800€ kostet. Der Name und die Darstellung auf der LianLi Website zeigt, dass der Radiator wohl für 2x Hydro Asics ausgelegt war. Dem Warnhinweis bei millionminer (Achtung! Nur Betrieb mit 1x Miner) ist zu entnehmen, dass er die 12kW Abwärme nicht schafft. Als Annahme schätze ich daher hier mal 10kW Abwärme.

Außerdem lassen sich der Website unter anderem folgende Technische Daten entnehmen:
- Maße: 80*15*50 cm
- Leistungsaufnahme: 420 Watt
- Lautstärke: 20-75 dB
- Drehzahlbereich 0-6000 rpm
- Volumenstrom Wasser: 11 L/min

Anhand der Bilder lässt sich daraus schließen



- dass der Radiator grob 400x600mm groß ist
- dass 15x 120mm Lüfter mit 28W, 6000rpm und ~70dB Verbaut wurden (wieviel Leistung noch für die Pumpe abgeht hab ich nicht gefunden und daher konservativ gerechnet)

Vergleichbare Lüfter wären etwa der 4112NH4 oder der 4112NH3 mit ~320 m³/h Volumenstrom max bzw. ~50-75% davon bei 150-200Pa Druckwiderstand. In Summe also ca. 3000 m³/h.

---

Da ich hier, hier und hier ja schonmal für PKW-Kühler geworben hatte (Gründe siehe links), hab ich diesen Ansatz natürlich auch für mich verfolgt.

Auf der Suche nach gebrauchten Teilen hab ich einen Wasserkühler mit 438x440mm Kühlfläche inkl. Ausgleichsbehälter für 25€ bekommen. Kühlfläche ist also ~20% weniger als beim LianLi, sollte aber gut ausreichen.

Was den Ventilator angeht bin ich aktuell noch unschlüssig, tendiere aber aufgrund der angenehmen Lautstärke aber zum Soler Palau s&p TD 2000/315 (~300€). Bei 150-200Pa landet der bei 1400-1500 m³/h, was für 5-6kW Kühlleistung ausreichen sollte, genug für 1x S19j Pro, auch übertaktet. Bei einem übertakteten S19/S21 Hydro wäre es wahrscheinlich grenzwertig.

Alternativ könnte man auch die diversen Windmaschinen (z.B. Fotoatelier, Hallenbelüftung, Stalllüfter, etc.) nehmen, die bei Kleinanzeigen deutlich günstiger für 50-100€ zu haben sind, die billigen schon ab 25€. Oftmals kommen die schon mit 230V Anschluss und integrierter Drehzahlsteuerung, sind aber eben auch deutlich mehr lauter. Die PKW Teile sind zwar verhältnismäßig auch sehr günstig bei guter Verfügbarkeit, allerdings hab ich mich dagegen entschieden, um mir den Umbau bei der Elektrik zu sparen.

Wie hier im Bereich bereits oft diskutiert ist BTC Mining, gerade in Kombination mit erneuerbaren Energien ein super spannendes Thema, aber leider oft wirtschaftlich nicht sinnvoll.
Die wesentlichen Kenngrößen sind für mich dabei die Anschaffungskosten und die Effizienz.
 
In meinem ersten Projekt schaue ich ja parallel wie sich die Effizienz durch Underclocking steigern lässt. Zwischenzeitlich bin ich auf den Artikel Impact of Temperature on Efficiency of Antminer S19 Models wonach vereinfacht alle 1,5°C mehr die Effizienz um 1% abnimmt, wohlgemerkt bei gleichbleibender Taktfrequenz bzw. Spannung.

Das hat bei mir die Frage aufgeworfen ob der Ansatz zu mehr Wirtschaftlichkeit nicht eine stark verbesserte Kühlung sein müsste, weil diese bei gleichbleibender Hashrate die Temperatur senkt und damit die Effizienz erhöht, bzw. bei gleichbleibender Temperatur die Hashrate erhöht und damit die Anschaffungskosten pro TH/s senkt?!
Dazu käme dann ja noch, dass ein erweiterter Bereich von Under-/Overclocking ja auch für BTC Mining als sekundäre Regellast sehr interessant wäre und eine überdimensionierte Kühlung bei normaler Belastung auch als Passivkühler ihren Charm hätte.

---

Nachdem ich mich nochmal tiefer gehend mit dem Aufbau und den Vor-/Nachteilen befasst habe, sind mir dann aber doch noch einige grundlegende Fragen gekommen, auf die ich hier ja vielleicht eine Antwort finde:

1. Overclocking ist ja bekanntermaßen schädlich für die Lebensdauer. Ich meine dazu irgendwann mal was gelesen zu haben dass es an "Elektronenwanderung" im Chip oder sowas liegt. Ich frage mich nun ob die schädlichen Einflüsse durch die Temperaturerhöhung kommen, die ja i.d.R. mit overclocking einher geht oder ob bereits höhere Spannungen/Stromstärken auf Dauer schädlich sind auch wenn sich die Temperatur nicht erhöht?  

2. Aquarium+Pumpe und Kfz-Kühler bekommt man gebraucht ja sehr günstig. Sorgen bereitet mir aktuell das dielektrische Kühlmittel für die Tauchkühlung. Das was man so an Kühlmitteln für tauchgekühlte Asic-Miner findet kostet so 6-10$ je Liter. Bei solchen Preisen wäre das dann wohl nur noch bei Asics der neuesten Generation wirtschaftlich sinnvoll. Hier wurde das Silikonöl "STO-50 SILICONE TRANSFORMER OIL" (~1.5$/L) als mögliches Kühlmittel angesprochen. Mir persönlich wäre ja eigentlich destilliertes Wasser (<1$/L) am liebsten, allerdings hab ich nicht wirklich was gefunden ob das als elektrischer Isolator "gut genug" ist, bzw. worauf man zu achten hat wenn man das einsetzt. EDIT: Anwort findet man hier. Hat da jemand bereits Erfahrungen und/oder kann eine gute Lösung empfehlen?

3. Sehr spannend in dem Zusammenhang fand ich auch die Zwei-Phasen Immersionskühlung wie z.B. hier beschrieben. Abgesehen davon, dass das verwendetet Kühlmittel Novec 7100 aufgrund des Preises (>100$/L) eh nicht in Frage kommt hab ich mich dann gefragt ob man bei sowas nicht eigentlich die Kühlkörper abmachen müsste, damit das Sieden direkt an den chips erfolgen kann?! Und dann hab ich mich noch gefragt welche Bauteile bei den Hashboards genau gekühlt werden (Chips sind ja nur auch einer Seite, Kühlkörper aber auf beiden Seiten der Hashboards)?!

Fragen über Fragen... Vielleicht gibt es ja hier auch ein paar Antworten oder Hinweise dazu...

---

EDIT 2: Hab noch ein Handbuch für Immersionskühlung auf Englisch gefunden was vielleicht interessant ist: Design Guidelines for immersion cooled IT-Equipment.