Praxisbericht ④: Ein alter Mining-PC wird in 2 Tagen zum „internen privaten ChatGPT“

KI-Fallbeispiele

„Wir möchten ChatGPT im Arbeitsalltag nutzen. Aber wir dürfen keine Kundendaten oder eigenen Code an einen externen KI-Dienst senden“ – diese Sorge hören wir in vielen Unternehmen. Diesmal berichten wir, wie ein im Lager schlummerndereinzelner gebrauchter PC aus der Krypto-Mining-Zeitin einen von allen Mitarbeitenden nutzbaren „internen privaten ChatGPT“ verwandelt wurde. Zusätzliche Hardware-Investitionen: nahezu null. Die Aufbauarbeit leitete ein KI-Agent (Claude),in 2 Arbeitstagen.

Das Ausgangsmaterial: „4 gebrauchte GPUs, ein Modell von gestern“.

Genutzt wurde ein PC, der im Mining-Boom vor einigen Jahren ausgedient hatte. Die verbauten GPUs: 4 Stück AMD Radeon Vega 56/64 – keine aktuellen KI-GPUs, nicht einmal von NVIDIA. Ein Ausgangsmaterial, das dem gängigen Verständnis eines „KI-Servers“ zuwiderläuft.

Doch der Videospeicher der 4 Karten summiert sich auf 32 GB. Daran anknüpfend entwarf der KI-Agent einen Aufbau, der die Einschränkung, dass sich das Standardmittel für KI (CUDA) nicht nutzen lässt, über die offene Grafik- und Rechen-API „Vulkan“ umgeht.vergleichbar mit GPT-4o aus dem Jahr 2024: Es gelang, drei anwendungsspezifische KI-Modelle gleichzeitig zu betreiben, darunter ein als solches geltendes offenes Modell (in der Klasse von 30 Milliarden Parametern).

• Für den täglichen Chat (7B): 43 Tokens pro Sekunde – eine gefühlte Geschwindigkeit auf ChatGPT-Niveau
• Für anspruchsvolle Codegenerierung und Design-Beratung (30B-Klasse): 30 Tokens pro Sekunde – eine Intelligenz auf dem Niveau von GPT-4o (2024)
• Für die Code-Vervollständigung im Editor (1.5B): 127 Tokens pro Sekunde – eine Eingabevervollständigung wie GitHub Copilot

Die Oberfläche ist eine ChatGPT-ähnliche Web-UI. Die Mitarbeitenden öffnen einfach den Browser und können zwischen den Modellen wechseln. Für die Ingenieure ist in VS Code zudem eine Copilot-artige automatische Vervollständigung eingerichtet.Sämtliche Verarbeitung bleibt im Haus, und kein einziges Byte an Daten verlässt es.

Hauptakteur des Aufbaus war der KI-Agent. Der Mensch beschränkte sich auf Entscheidungen.

Dieser Aufbau war die von uns praktizierte „KI-gesteuerte Entwicklung“ in Reinform. OS-Einrichtung, Build der Inferenz-Engine, Entwurf der Netzwerksegmentierung, Störungsanalyse – Hand angelegt hat der KI-Agent. Der Mensch übernahm nur die Entscheidungen an den entscheidenden Stellen und die physische Arbeit (etwa das erneute Einstecken von Kabeln).

Besonders hervorzuheben ist die Störungsbehebung. Während des Aufbaus verursachte eine der alten GPUs wiederholt Verbindungsabbrüche. Der KI-Agent ermittelte aus dem Kernel-Log den Fehlerort und leitete den Austausch an, indem er „die Karte in welchem physischen Slot“ über die Lüfterdrehung anzeigte. Darüber hinaus baute ereinen Aufbau, bei dem das Netzwerk selbst bei künftigen GPU-Ausfällen nicht abreißt (feste MAC-Adresse) sowie eineÜberwachung, die Anomalien alle 5 Minuten erkennt und automatisch wiederherstellt mit ein. Inzwischen ist dieser Server in einem „wartungsfreien“ Zustand, in dem allein durch das Einschalten alle Dienste automatisch starten.

Sicherheit unter der Annahme „es wird eingebrochen“.

Damit er auch von außerhalb nutzbar ist, haben wir ihn zwar ins Internet freigegeben, doch der Entwurf geht von „selbst bei einem Einbruch den Schaden nicht ausweiten“ aus. Der Server ist in einem eigenen Netzwerk (DMZ) isoliert und so aufgebaut, dass er andere interne Systeme in keiner Weise erreichen kann. Konten unterliegen der Genehmigung durch einen Administrator, die gesamte Kommunikation ist verschlüsselt.ein Server, bei dem für einen Angreifer gilt: „drin, aber nichts zu holen“.

Die entstandenen Kosten und das Erreichte.

• Zusätzliche Hardware-Investition:nahezu null (Wiederverwendung eines vorhandenen, ungenutzten Mining-PCs)
• Aufbaudauer:in 2 Arbeitstagen (inkl. Störungsbehebung und Sicherheitsdesign)
• Laufende Kosten: nur Stromkosten (durch GPU-Leistungsbegrenzung bereits energiesparend).Nutzungsgebühren für APIs: pauschal null Yen, unbegrenzt
• Erreichtes: ein von allen Mitarbeitenden nutzbarer interner KI-Chat plus eine Plattform zur Code-Vervollständigung für Entwickler

Auch ohne die neuesten GPUs und ohne NVIDIA lässt sich je nach Vorgehen eine „interne KI-Plattform auf praxistauglichem Niveau“ bauen. Das Wesentliche ist vielmehr,angesichts durch und durch beschränkter Hardware rasch den richtigen Aufbau zu finden und bis hin zu Mechanismen, die nach einem Sturz wieder aufstehen, auszuarbeiten – und genau das war die Aufgabe, die dem KI-Agenten am meisten liegt.

Auch „unsere ungenutzte Maschine“ könnte zur KI-Plattform werden.

„Wir geben KI auf, weil wir keine Daten nach außen geben dürfen“, „die API-Kosten der Cloud-KI sind nicht kalkulierbar“, „wir haben übrige Server oder Gaming-PCs“ – trifft auch nur eines davon zu, ist eine interne KI-Plattform näher, als Sie denken.

Serie „Legacy to AI – Praxisberichte“

• Gesamtüberblick: 22 Systeme und 246.000 Zeilen auf einem einzigen PC – ein messbarer Bericht über 3,5 Monate KI-Entwicklung
• Praxisbericht ①: Ein 20 Jahre altes Java-System in rund einer Woche vollständig erneuert
• Praxisbericht ②: Einen neuen Zugang zum Kernsystem schaffen, ohne eine einzige Zeile bestehenden Codes zu ändern
• Praxisbericht ③: Eine einmonatige Architekturprüfung mit einem Prototyp in 2 Tagen + echten Messungen
• Praxisbericht ④: Ein alter Mining-PC wird in 2 Tagen zum „internen privaten ChatGPT“ (dieser Beitrag)

* Die Zahlen in diesem Beitrag sind Messwerte mit Stand August 2026. Die Aufbauergebnisse variieren je nach Zustand und Anforderungen der Hardware.