{"id":28263,"date":"2026-02-07T20:40:12","date_gmt":"2026-02-07T19:40:12","guid":{"rendered":"https:\/\/blog.mi.hdm-stuttgart.de\/?p=28263"},"modified":"2026-02-07T20:40:12","modified_gmt":"2026-02-07T19:40:12","slug":"hosting-my-own-models-wie-quantisierung-die-ki-aus-der-cloud-in-den-eigenen-keller-holt","status":"publish","type":"post","link":"https:\/\/blog.mi.hdm-stuttgart.de\/index.php\/2026\/02\/07\/hosting-my-own-models-wie-quantisierung-die-ki-aus-der-cloud-in-den-eigenen-keller-holt\/","title":{"rendered":"Hosting My Own Models: Wie Quantisierung die KI aus der Cloud in den eigenen Keller holt"},"content":{"rendered":"\n
\n

Dieser Blogpost wurde f\u00fcr das Modul Enterprise IT (113601a) verfasst.<\/p>\n<\/blockquote>\n\n\n\n

1. Einleitung: Raus aus der Abh\u00e4ngigkeit<\/h3>\n\n\n\n

Wer heute von KI spricht, meint oft die Dienste von OpenAI. Die Abh\u00e4ngigkeit von propriet\u00e4ren APIs wie GPT-4 entwickelt sich jedoch zunehmend zu einem Risiko f\u00fcr Unternehmen und Entwickler. Die Suche nach Alternativen wird durch Datenschutzbedenken, unvorhersehbare Kosten und das \u201eVendor Lock-in\u201c vorangetrieben.<\/p>\n\n\n\n

Die L\u00f6sung besteht im Self-Hosting: Eigene Large Language Models (LLMs) auf eigener Hardware zu betreiben. Aber wie kann ein Modell mit 70 Milliarden Parametern, das normalerweise 140 GB VRAM ben\u00f6tigt, auf einen normalen Server oder sogar auf einen Laptop passen?<\/p>\n\n\n\n

Das Zauberwort hei\u00dft Quantisierung<\/strong>.<\/p>\n\n\n\n

1.1 Die Geburtsstunde von llama.cpp<\/h3>\n\n\n\n

Der Entwickler Georgi Gerganov hat einen gro\u00dfen Anteil daran, dass lokale KI heute \u00fcberhaupt praktikabel ist. Er war kein Vertreter eines gro\u00dfen Forschungslabors, sondern arbeitete damals als unabh\u00e4ngiger Entwickler an Projekten im Bereich der effizienten KI-Inferenz.<\/p>\n\n\n\n

Im Jahr 2023 begann Gerganov, mit dem von Meta ver\u00f6ffentlichten LLaMA-Modell zu experimentieren. Sein Ziel war vergleichsweise unspektakul\u00e4r: Er wollte testen, ob sich ein solches Large Language Model nicht auch au\u00dferhalb von Rechenzentren sinnvoll ausf\u00fchren l\u00e4sst, konkret auf einem normalen Laptop. Aus diesem Experiment entstand das Projekt llama.cpp<\/strong> [8].<\/p>\n\n\n\n

Der Ansatz unterschied sich deutlich von vielen bestehenden Frameworks. Statt Python und GPU-Abh\u00e4ngigkeiten setzte Gerganov konsequent auf C++ und CPU-basierte Optimierungen. Innerhalb kurzer Zeit zeigte sich, dass sich selbst sehr gro\u00dfe Modelle mit reduzierter Pr\u00e4zision lokal ausf\u00fchren lassen. Das Repository verbreitete sich schnell in der Entwickler-Community und bildete die Grundlage f\u00fcr viele heutige Self-Hosting-L\u00f6sungen.<\/p>\n\n\n\n

2. Das Vorbild: Fraunhofer und \u201eFhGenie\u201c<\/h3>\n\n\n\n

Eine der f\u00fchrenden Forschungseinrichtungen in Europa beweist, dass Souver\u00e4nit\u00e4t im Umgang mit LLMs kein Nischenthema f\u00fcr Hobby-Bastler ist. Die Fraunhofer-Gesellschaft stellte fr\u00fch fest, dass \u00f6ffentliche Dienste wie ChatGPT aus Gr\u00fcnden des Datenschutzes f\u00fcr sensible Forschungsdaten tabu sind. Die Antwort lautete FhGenie: ein KI-Chatbot, der intern genutzt wird und im Juni 2023 gestartet ist. FhGenie beruht technisch auf dem Azure OpenAI Service, wird jedoch in einer isolierten \u201ePrivate Cloud\u201c-Instanz innerhalb eines eigens f\u00fcr Fraunhofer eingerichteten Tenants betrieben. Dies gew\u00e4hrleistet, dass Anfragen nicht f\u00fcr das Training der Modelle verwendet werden und innerhalb der kontrollierten Infrastruktur verbleiben. \u00dcber 12.000 Mitarbeitende nutzen mittlerweile das System. [1, 2].<\/p>\n\n\n\n

Welche Bedeutung hat das f\u00fcr uns? Nicht jedes Unternehmen kann sich eine spezielle Azure-Instanz wie die von Fraunhofer leisten. Aber dank Tools wie Llama. Mit cpp und Self-Hosted Quantized Models ist es m\u00f6glich, auf einem Gaming-Laptop oder einem kosteng\u00fcnstigen On-Premise-Server exakt dieses Niveau an Datensicherheit zu erreichen.<\/p>\n\n\n\n

3. Das technische Fundament: Was ist Quantisierung?<\/h3>\n\n\n\n

LLMs werden standardm\u00e4\u00dfig mit einer Genauigkeit von 16-Bit-Gleitkommazahlen (FP16) trainiert. Das bedeutet, jedes \u201eGewicht\u201c im neuronalen Netz belegt 2 Byte Speicher. Quantisierung ist der Prozess, diese Pr\u00e4zision zu reduzieren, vergleichbar mit der Komprimierung eines MP3s. Ziel ist es, die Gewichte mit weniger Bits darzustellen (z. B. 4-Bit), ohne dass das Modell \u201edumm\u201c wird [3].<\/p>\n\n\n\n

3.1 Die Mathematik dahinter (INT4 vs. FP16)<\/h4>\n\n\n\n

Durch die Reduktion auf 4-Bit-Integer (INT4) schrumpft der Speicherbedarf massiv:<\/p>\n\n\n\n