Ich habe mir einen eigenen Online-KI-Server eingerichtet. Was das ist, warum ich das sinnvoll finde, wie ich vorgegangen bin und wie du es für dich mit 2-3 Stunden Zeit nachmachen kannst, steht ausführlich im folgenden Blogbeitrag. Eine direkt weiternutzbare Anleitung mit kopierbaren Befehlen in einer Kurzfassung ist hier als Hackpad veröffentlicht.

Disclaimer: Ich bin bei der Konfiguration von Servern keine Expertin, habe deshalb bei der Einrichtung viel mit Internetrecherche und KI-Interaktion gearbeitet – und messe den Erfolg jetzt vor allem daran, dass am Ende genau das rausgekommen ist, was ich haben wollte. Wer schlauere Wege kennt und/ oder in meinem Weg potentielle Schwierigkeiten sieht, möge mir das sehr gerne mitteilen!

Was ist ein eigener KI-Server?

Der Begriff „Server“ erinnert dich vielleicht an das Wort „servieren“, also etwas bereitstellen oder zur Verfügung stellen. Diese Assoziation ist genau richtig. Tatsächlich steckt darin die englische Bedeutung von to serve (bereitstellen, bedienen), aus der das Wort „Server“ abgeleitet ist. Vereinfacht ausgedrückt handelt es sich bei einem Server um ein spezielles Gerät (oft ein leistungsstarker Computer), das Inhalte und Dienste für andere Geräte bereitstellt. Wenn du beispielsweise im Internet Inhalte abrufst, liegen diese Inhalte auf Servern, von denen dein Gerät sie gezielt anfragt und empfängt.

Vor meiner Einrichtung eines eigenen KI-Servers habe ich noch keinen eigenen Server betrieben, sondern z.B. meine Website bei einem Hosting-Anbieter liegen gehabt. Auch solch eine Website liegt dann natürlich auf einem Server, aber mit diesem Server habe ich eigentlich nichts zu tun und habe auch nur einen Teil der Server-Ressourcen gemietet, also Speicherplatz und Rechenleistung. Den Server an sich kann ich nicht selbst konfigurieren, darum kümmert sich der Anbieter.

Weil ich nun aber unterschiedliche KI-Modelle so betreiben und konfigurieren wollte, wie ich das brauche, reichte mir diese Option einer ‚Einmietung auf einen Server‘ nicht mehr. Ich benötigte einen Server, über den ich mehr Kontrolle habe und bei dem ich etwa Software selbstständig installieren und konfigurieren kann. Dieser Server musste ausreichend leistungsfähig sein, um KI-Modelle ohne Probleme auszuführen.

Im Ergebnis habe ich jetzt eine Internetadresse, die ich im Browser eingeben kann. Dort gelange ich zu einem Login. Dann kann ich mich anmelden, um unterschiedliche KI-Modelle (offene und proprietäre) zu nutzen. Zugleich ist auch die Option von RAG (= Retrieval Augmented Generation, also Nutzung von bestimmten Inhalten als Grundlage bei der Generierung) gegeben. Das ist mein eigener KI-Server!

Warum ein eigener KI-Server?

Einen eigenen KI-Server einzurichten und zu betreiben, ist deutlich aufwendiger, als sich einfach bei ChatGPT oder einem anderen KI-Anbieter zu registrieren. Diesen Aufwand finde ich aber aus mehreren Gründen sehr lohnend!

1. Dezentralität: Ich möchte mich nicht in ein KI-Silo begeben!

Wenn ich mich bei ChatGPT oder einem anderen KI-Anbieter registriere, begebe ich mich in eine Plattform, die mir zahlreiche, miteinander verschränkte Funktionen bietet. Beispielsweise werden meine Chats gespeichert und ich kann auch später wieder darauf zugreifen. Ich habe direkt in der gleichen Oberfläche die Möglichkeit, mir eigene GPT’s anzulegen oder auch Projekte. Welche Funktionen es genau gibt, ist von Anbieter zu Anbieter natürlich unterschiedlich.

Die Folge solcher verschränkten Funktionen ist, dass ich, je länger ich mit einer bestimmten Plattform arbeite, immer höhere Opportunitätskosten habe, diese Plattform zu verlassen. Denn dann müsste ich auf einer anderen Plattform wieder ganz von vorne anfangen! Allerdings kann es ja gut sein, dass sich zum Beispiel die Kosten des Anbieters verändern und ich deshalb ein anderes Modell wählen möchte. Oder mir gefällt es nicht, welche politische Ausrichtung ein bestimmtes Modell nimmt … Es kann sehr viele gute Gründe geben, eine Plattform verlassen zu wollen. Wenn das dann nur geht, indem man ziemlich viel zurücklässt, finde ich das blöd. Darum will ich meine KI-Arbeit von vornherein nicht so anlegen.

Bei einem eigenen KI-Server widersetze ich mich solch einer Plattformlogik. Grundlage ist hier nicht eine Plattform. Stattdessen nutze ich zahlreiche Schnittstellen.

2. Vielfalt und Offenheit: Ich möchte mich nicht auf ein KI-Modell festlegen und offenen Modellen den Vorzug gegenüber proprietären Modellen geben

Die beschriebene Dezentralität führt mich direkt zum zweiten Argument für einen eigenen KI-Server: Offenheit und Vielfalt!

Es liegt nicht nur an einem grundsätzlichen Misstrauen gegenüber Plattformlogiken, dass ich meine KI-Umgebung dezentral aufbauen will, sondern auch, weil mir dieser Ansatz mehr Vielfalt verspricht. Dahinter steht die Überlegung, dass es aus meiner Sicht nicht ein passendes KI-Modell für alles gibt. Bei mir ist es z.B. so, dass ich die GPT-Modelle von ChatGPT besonders gut für Interaktion im Sinne von Sparring-Partner-Chats finde. Für eine längere Textproduktion oder auch für Coding nutze ich gerne Claude. Perplexity benötige ich, wenn es mir mehr um eine erste Recherche, als um Generierung geht. Und Gemini finde ich besonders für überblicksartige Darstellungen hilfreich. Hinzu kommen zahlreiche Open Source Modelle, die oft erstaunlich leistungsstark sind, aber die ich durch einen Fokus auf eine bestimmte Plattform dann gar nicht im Blick habe.

Mein eigener KI-Server ermöglicht es hier, beliebig viele KI-Modelle über die jeweiligen Schnittstellen einzubinden. Ich kann dann in einer Oberfläche je nach Bedarf zwischen unterschiedlichen Modellen wechseln. Insbesondere kann ich dabei auch Open Source Modellen, wo immer möglich, den Vorzug geben.

3. Funktionalität: Ich möchte mit generativer KI produktiv arbeiten können

Mein erster Versuch einer eigenen KI-Umgebung war lokal auf meinem schon etwas älteren Lenovo Laptop ohne Grafik-Karte. Das war ganz nett zum grundsätzlichen Experimentieren und ich konnte damit zeigen, dass das grundsätzlich funktioniert. Für einen produktiven Einsatz war es aber nicht geeignet. Dazu war die Kapazität meines Laptops schlichtweg nicht ausreichend. Auf eine einfache Anfrage musste ich oft mehrere Minuten warten.

Hinzu kommt, dass ich sehr häufig auch mobil über mein Smartphone arbeite, was über diverse Apps der proprietären Anbieter ganz wunderbar funktioniert. Oder ich arbeite auf unterschiedlichen Geräten, weil ich bei einer Fortbildung einer Person etwas zeigen will und mich dafür auf ihrem Rechner in meine KI-Umgebung einloggen will.

Drittens finde ich es grundsätzlich eine gute Idee, gemeinsam in einer KI-Umgebung zusammenzuarbeiten.

Mit einem Online-KI-Server ist all das – im Gegensatz zu einer lokalen Installation, zumindest wenn man nicht nur im eigenen Netzwerk bleiben kann/ will – realisierbar. Von Open Web UI gibt es zudem auch eine App. Ich kann meinen Server also auch sehr komfortabel auf meinem Smartphone nutzen.

Da ich einen leistungsfähigen Server gewählt habe, sind die Möglichkeiten nicht schlechter zu denen, wie ich sie bei ChatGPT und Co kennen gelernt habe – aber ich habe die Hoheit, was uns zum nächsten Grund führt.

4. Mündigkeit: Ich möchte verstehen, was ich nutze und bewusste Entscheidungen treffen

Wenn ich KI-Modelle in einer Cloud nutze, über die ich selbst nicht die Hoheit habe, dann weiß ich nicht, was im Hintergrund passiert. Die meisten Menschen werden auch nicht mit unterschiedlichen Modellen experimentieren, sondern sich einmal irgendwo einen Account kaufen und da dann erst einmal dabei bleiben.

Mit meinem eigenen KI-Server bin ich herausgefordert und habe gleichzeitig die Möglichkeit dazu, mir immer gezielt das Modell zu wählen, das mir für meine Anfrage passend erscheint. Ich kann auch sehr bewusst abwägen, ob ich lokale Modelle ansteuere, d.h. alles auf meinem Server bleibt oder ob ich die Verbindung zu proprietären Modellen herstellen will.

Insbesondere bietet ein eigener KI-Server unter Nutzung von Ollama und Open WebUI auch großartige Optionen, um sich eine eigene Wissensdatenbank hochzuladen – und darauf dann je nach Bedarf zurückgreifen zu können – und zwar unabhängig davon, welches Modell ich gerade konkret nutze.

5. Kosten: Ich möchte die Kosten in einem überschaubaren Rahmen halten

Ich habe in den letzten Monaten damit begonnen, mir immer mehr kostenpflichtige Accounts bei diversen KI-Anbietern zu buchen. Den Start machte ChatGPT, es folgte Claude und danach Gemini. Nun war ich am Überlegen, mir auch die kostenpflichtige Version von Perplexity zu buchen. Der Hintergrund ist hier natürlich, dass ich diese Tools nicht nur für mich selbst nutze, sondern vor allem auch in pädagogischen Angeboten dazu auskunftsfähig sein will, welches Modell, was, wie gut kann. Immer mehr kam ich mir dann aber wie eine Vertreiberin von KI-Modellen vor – und das ist definitiv nicht das, was ich machen will! Außerdem kam mit der Zeit dann doch einiges an Kosten zusammen. Denn alle Anbieter wollen ungefähr rund 20 Euro von einem haben.

Mein KI-Server hat nun überschaubare Kosten und vor allem keine Kosten für eine Plattform, die ich eigentlich gar nicht haben will. Sie setzen sich wie folgt zusammen:

• Serverkosten: ca. 600 Euro pro Jahr
• Domain-Kosten: ca. 8 Euro pro Jahr
• Schnittstellen-Kosten zu proprietären Modellen: ca. 100 Euro pro Jahr (geschätzt, bei hoher Nutzung)

Pro Monat ergibt das rund 60 Euro, was ungefähr den Kosten entspricht, die ich vorher angesichts mehrerer Pro-Accounts auch bezahlt habe. Da der größte Posten die Servermiete ist, kann man Geld sparen, wenn man sich mit einer Handvoll Leute zusammen tut und sich gemeinsam einen KI-Server einrichtet. Ich stelle mir das z.B. so vor, dass ein Team von Lehrkräften mit ca. 6 Personen dann nur noch 10 Euro monatlich pro Person zahlen würde. Ähnliches könnte man sich für eine kleine Agentur oder Ähnliches vorstellen.

Wie lässt sich ein eigener KI-Server einrichten?

Wenn man technisch nicht viel Ahnung von Server-Konfiguration und Co hat, kann es ein guter Weg sein, sich bei dieser Herausforderung Schritt-für-Schritt durch ein KI-Sprachmodell begleiten zu lassen. Das gilt vor allem auch deshalb, weil Terminal-Output, den man nicht versteht, dort eingegeben und erklärt werden kann. Dieser Weg wird aber – wie immer bei KI-Sprachmodellen – nur dann funktionieren, wenn man grundsätzlich versteht, was man tut.

Hilfreich finde ich auch, sich bewusst zu machen, dass man ja erstmal nichts kaputt machen kann. Selbst wenn du den Server komplett falsch konfigurierst und nichts funktioniert, dann kündigst du ihn eben danach und hast nur eine einmalige monatliche Gebühr für ein bisschen Experimentieren im Rahmen digitaler Mündigkeit ausgegeben. Du gehst also kein Risiko ein, denn verlieren wirst du in keinem Fall.

Damit am Ende möglichst ein funktionsfähiger KI-Server bei dir rauskommt, hilft es, wenn du die Schritte verstehst, die nacheinander anstehen. Ich beschreibe hier einen von sicherlich vielen möglichen Wegen, der für mich gut funktioniert hat und den ich auch vom Ergebnis her sinnvoll finde. Du kannst dir damit einen Überblick verschaffen, um das grundsätzliche Prinzip zu verstehen. Wenn Du eine direkt nachbaubare Schritt-für-Schritt Anleitung inklusive kopierbarer Terminal-Befehle suchst, dann findest du diese hier als Hackpad.

Also, diese Schritte sind erforderlich:

Schritt 1: Server mieten und einrichten

Du benötigst im ersten Schritt einen Server, den du anschließend konfigurieren kannst. Da KI-Modelle darauf laufen sollen, muss der Server leistungsfähig sein. Ich habe mich für einen Server von Hetzner entschieden. Du meldest dich über die Console an (wenn du schon einen Account bei Hetzner hast) oder registrierst dich neu. Dann kannst du den Server zur Miete buchen. Er steht dir in wenigen Minuten zur Verfügung und die Zugangsdaten werden dir zugeschickt.

Mit dem Server kommunizierst du dann über dein Terminal auf deinem digitalen Endgerät. Ich nutze Linux Mint, wo ich schon früher immer mal wieder mit dem Terminal zu tun hatte. Du kannst die Einrichtung aber auch vornehmen, wenn du bisher noch nie mit einem Terminal gearbeitet hast. Das ist kein Hexenwerk.

Schritt 2: Docker installieren und einrichten

Im zweiten Schritt installierst du dir auf deinem Server über das Terminal das Hilfswerkzeug ‚Docker‘. Mithilfe von Docker kannst du anschließend relativ einfach deine KI-Umgebung installieren.

Schritt 3: KI-Umgebung einrichten

Mithilfe von Docker kannst du dann – wieder nur mit ein paar Befehlen über das Terminal – Ollama und Open WebUI installieren.

• Ollama kannst du dir wie eine Art Netz vorstellen, an das du unterschiedliche KI-Modelle andocken und für dich nutzbar machen kannst.
• Open Web UI stellt dir eine Benutzeroberfläche zur Verfügung, so dass du mit deinen KI-Modellen anschließend so chatten kannst, wie du es auch von KI-Plattformen gewohnt bist.

Nachdem du alles eingerichtet hast, kannst du deinen Server im Browser öffnen – und dich darüber dann bei Ollama registrieren, d.h. Mailadresse, Benutzernamen und Passwort festlegen.

Bei Ollama sind keine KI-Modelle vorinstalliert. Das bedeutet: Am Anfang ist deine Umgebung noch ganz leer und du kannst noch nicht chatten. Du musst als erstes eines oder mehrere der angebotenen Open Source Modelle installieren. Das funktioniert direkt in der Oberfläche. Damit ist dann schon ein erster Chat möglich.

Schritt 4: Server mit Firewall und automatischen Updates absichern

Dieser Schritt ist wichtig, damit dein Server nicht ungeschützt im Netz steht. Im Kern richtest du eine Firewall ein (= du schließt den ganzen Server zu und erlaubst nur über wenige Türen, so genannte Ports, den Zugriff). Außerdem kannst du deinen Server so konfigurieren, dass automatische Updates installiert werden, wenn sie verfügbar sind – und du kannst deinen Server gegen Angriffe schützen.

(Profis machen diesen Schritt wahrscheinlich gleich zu Beginn. Ich fing erst an, mir Gedanken um die Sicherheit zu machen, als ich etwas konfiguriert hatte, dass ich schützen wollte.)

Schritt 5: Verbindung zu proprietären Modellen ermöglichen

Wie oben beschrieben, möchte ich grundsätzlich mit Open Source Modellen arbeiten, aber auch die Option zur Nutzung proprietärer Modelle innerhalb meiner Oberfläche haben. Das wäre zum einen so möglich, dass ich mich mit den Schnittstellen der unterschiedlichen Modelle einzeln verbinde, was aber ziemlich aufwendig wäre. Die einfachere Möglichkeit ist es, den Dienst von Openrouter.ai zu nutzen. Hier kann ich mich einmal registrieren und ein paar Euros einzahlen, die mir als Budget zur Verfügung stehen – und mich darüber dann mit praktisch allen KI-Modellen verbinden. Die Kosten für solch eine Schnittstellenverbindung sind dabei sehr überschaubar. Ich kann auch Obergrenzen festlegen, wenn ich das möchte.

Bei Openrouter erhalte ich API-Verbindungsdaten, die ich bei OpenWebUI und Ollama eingeben kann. Für diesen Schritt arbeiten wir also wieder im Browser, nicht im Terminal.

Wenn du diesen Schritt erledigt hast, kannst du nicht nur die bisherigen Ollama-Modelle ausprobieren, sondern es stehen dir auch viele weitere zur Verfügung, die du auch über die Suche finden kannst. (Mit Suche GPT werden dir z.B. alle GPT-Modelle angezeigt, mehr noch als es direkt bei ChatGPT zur Auswahl gibt)

Schritt 6: Domain wählen und SSL einrichten

Ich möchte meinen KI-Server gerne von unterschiedlichen Geräten aus erreichen können und perspektivisch auch mit anderen gemeinsam nutzen. Deshalb ist es sinnvoll, ihm eine Adresse im Internet zuzuweisen. Ich habe mich für myzel-mind.de entschieden. Du bist bei der Wahl des Namens (vorbehaltlich die Domain ist noch nicht vergeben) völlig frei.

Ich habe meine Domain bei namecheap.com registriert, wo es mich nur wenige Euro im Jahr kostet. SSL und sonstige Zusatz-Angebote habe ich nicht dazugebucht. Danach musste ich einrichten, dass die Domain zu meinem Server weist, wozu ich die Software nginx nutze und ich wollte eine Verschlüsselung (https statt http) einrichten. Dazu waren wieder Befehle im Terminal nötig.

Schritt 7: Wissensdatenbank starten

Dieser Schritt gehört eigentlich gar nicht mehr zur eigentlichen Einrichtung, aber ich finde ihn in Hinblick auf Funktionalität eines solchen KI-Servers ganz wunderbar. Du gehst dabei so vor, dass du den ‚Arbeitsbereich‘ in deiner Online-Umgebung öffnest und dort unter wissen spezifische Bereiche einrichten kannst. In jedem Bereich kannst du dann ein oder mehrere Dateien hochladen. Wenn du dann einen Prompt eingibst und einen Hashtag eingibst, werden dir die Wissensbereiche und auch die einzelnen Dateien angezeigt. Du kannst also immer gezielt überlegen, auf was du jeweils Bezug nehmen willst bei deinem Prompt.

Fazit: Nachmachen!

Ich bin sehr begeistert von dem Ergebnis und fange – insbesondere bei der Prompt-, Wissens- und Funktionsdatenbank erst langsam an, alle Möglichkeiten zu entdecken. An die Umsetzung des Projekts habe ich mich lange Zeit nicht wirklich heran getraut. Im Nachklapp bin ich jetzt aber positiv überrascht, wie vergleichsweise einfach die Einrichtung doch war. Ich kann es zum Nachmachen sehr empfehlen!

Ich habe mir meinen Server auf der diesjährigen LernOS Convention eingerichtet. Danke für wertvolle Hinweise der beteiligten Personen und vor allem für den Anstupser und die Ermutigung, diese Wissenslücke endlich zu schließen!

---

Beitrag weiternutzen und teilen

Dieser Beitrag steht unter der Lizenz CC BY 4.0 und kann somit gerne offen weitergenutzt und geteilt werden. Hier kannst du dir den Beitragslink und/oder den Lizenzhinweis kopieren. Wenn du den Beitragslink in das Suchfeld im Fediverse (z.B. bei Mastodon) eingibst, wird er dir dort angezeigt und du kannst ihn kommentieren.

---