Gestern habe ich Ollama entdeckt und bei mir auf dem Laptop installiert. Es ist eine Möglichkeit, um auf Open Source KI-Sprachmodelle zugreifen und mit diesen lokal auf dem eigenen Gerät zu chatten. Das fand ich schon ziemlich cool, allerdings lief das Ganze im Terminal, was nicht sehr zielführend ist, um z.B. Chats immer parat zu haben und immer wieder darauf zugreifen zu können.
In den Kommentaren erhielt ich den Tipp, Ollama mit Open Web UI zu koppeln. Ich habe es bei mir (auf Linux Mint) mit Docker installiert, was nur einen Befehl im Terminal erfordert, den man sich im Github-Repository des Tools kopieren kann. Danach öffnet man das Ganze lokal im Browser und legt als erstes einen Benutzer an. Dieser erste Benutzer hat Administrationsrechte.
Eigentlich soll Ollama dann direkt mit Open Web UI verbunden sein. Bei mir hat das nicht direkt geklappt. Ich habe es noch einmal deinstalliert und neu versucht. Dann war die Verbindung hergestellt.
Durch die Verbindung mit Ollama kann ich nun bei Ollama suchen, welche Modelle dort angeboten werden und diese dann über Open Web UI herunterladen und nutzen. Ich habe für den Anfang Mistral und Open Chat installiert. Dazu habe ich einfach den Modellnamen in die Suche eingegeben und ausgewählt, dass ich es von ollama.com beziehen will. Dann wird es von dort heruntergeladen.
Damit steht mir nun eine ChatGPT-ähnliche Benutzeroberfläche zur Verfügung, über die ich gezielt bestimmte KI-Sprachmodelle auswählen und dann mit ihnen chatten kann. Das funktioniert alles bei mir auf dem Rechner, d.h. ich brauche keine Verbindung zum WLAN – bis auf die Installation zu Beginn natürlich. Diese Möglichkeit fand ich schon ziemlich cool!
Richtig begeistert war ich dann, als ich die Integration von ‚Wissen‘ im Interface entdeckt habe. Hier kann ich Ordner anlegen und Dokumente hochladen. Wenn ich dann einen Chat beginne, kann ich einen Hashtag ‚#‘ setzen und kann dann auswählen, ob ein bestimmtes Dokument oder ein ganzer Ordner Grundlage zur Beantwortung meiner Frage sein soll. Ich habe es mit einigen Blogbeiträgen von mir versucht und fand die Antworten zufriedenstellend. Auch hier bleibt alles auf meinem eigenen Rechner.
Fazit: Ziemlich gute Sache – und deutlich weniger voraussetzungsreich zur Installation, als ich dachte!
Zum Nachmachen:
- Ollama installieren – von hier!
- Open Web UI installieren – hier in der ReadMe Datei beschrieben. (Wenn Du Docker installiert hast, dann ist es nur ein Befehl im Terminal. Sonst könntest du das zunächst nachholen)
- Das Interface lokal im Browser öffnen via http://localhost:3000/
- Beim ersten Öffnen wird man nach Name, Email und Passwort gefragt. Darüber kann man sich später wieder anmelden. Die erste Anmeldung ist Admin. (Wenn es dir wie mir geht und du ohnehin dein Gerät nur selbst nutzt, ist das egal)
- Zu Beginn ist noch kein Modell installiert, d.h. du kannst nicht chatten. Du musst also zunächst in der Suche den Namen eines via Ollama verfügbaren Modells auswählen und dann auf ‚via ollama.com‘ beziehen klicken. Wichtig: Der Name muss exakt so sein, wie bei Ollama in der Modell-Übersicht geschrieben. (Wenn du nur llama eingibst, wird nichts installiert, bei llama3.3 aber schon)
- Sobald du ein Modell installiert hast, kannst du deinen ersten Chat starten. Über ’neue Unterhaltung‘ kannst du jederzeit einen neuen Chat beginnen. Je nach Kapazität deines Rechners, kann es etwas dauern, bis deine Antwort da ist.
- Um Dokumente zu nutzen, klickst du auf Arbeitsbereich -> Wissen und legst da einen ersten Ordner an. Du kannst ihn z.B. einfach ‚Test‘ benennen. Darin lädst du gewünschte Dokumente hoch.
- Wenn du nun wieder ein Chatfenster öffnest und dort das Raute-Zeichen eingibst, siehst du sowohl deinen ‚Test-Ordner‘ als ‚Collection‘, als auch die einzelnen hochgeladenen ‚Files‘. Du kannst auswählen, was du im Chat verwenden möchtest – und dann deine Frage dazu schreiben.
Beitrag merken & teilen
Hier kannst Du dir den Link zum Beitrag kopieren - beispielsweise um ihn für Dich zu speichern oder mit anderen zu teilen. Wenn Du den Link in den Suchschlitz im Fediverse einfügst, kannst Du den Beitrag von dort aus kommentieren. Die Kommentare erscheinen dann nach Freigabe hier auf der Website.
Beitrag weiternutzen
Der Beitrag steht unter der Lizenz CC BY 4.0. Du kannst ihn gerne unter Angabe des Lizenzhinweises offen weiternutzen.
