Ich habe heute Ollama entdeckt – eine wirklich super einfache Möglichkeit, sich ein LLM lokal auf dem eigenen Rechner zu installieren. Ich habe es mit Mixtral und dem neuen EU-Modell Teuken-7B versucht. Beides klappte problemlos. (Mein Laptop ist nicht super leistungsstark, darum sind Chats etwas langsam.)
So bin ich vorgegangen:
- Ollama installieren
- Terminal aufrufen und das gewünschte Sprachmodell installieren.
- Sprachmodell aufrufen und nutzen
Eine genaue Anleitung werde ich im Rahmen meiner ‚Kalte Dusche‘-Lernreise veröffentlichen – und bis dahin sicherlich noch einige Erkundungen mehr machen.
Beitrag merken & teilen
Hier kannst Du dir den Link zum Beitrag kopieren - beispielsweise um ihn für Dich zu speichern oder mit anderen zu teilen. Wenn Du den Link in den Suchschlitz im Fediverse einfügst, kannst Du den Beitrag von dort aus kommentieren. Die Kommentare erscheinen dann nach Freigabe hier auf der Website.
Beitrag weiternutzen
Der Beitrag steht unter der Lizenz CC BY 4.0. Du kannst ihn gerne unter Angabe des Lizenzhinweises offen weiternutzen.
6 Kommentare
@nele Eine tolle Ergänzung ist OpenWebUI. Damit kommt eine Web Oberfläche für die Interaktion.
@pintman @nele noch besser ist https://github.com/lobehub/lobe-chat
@koppi Kannst du noch erklären, warum das Projekt besser findest? 400 offene Issues lassen mich etwas zurückschrecken. 🤔
@nele
Danke dir. Das habe ich gerade zum Laufen gebracht und finde es auch sehr cool!
@nele was macht EU-Teuken, was andere Modelle wie zB Llama3.1 nicht können?
Ich war einfach neugierig darauf, wie dieses EU-finanzierte Modell so ist und fand es interessant, dass bewusst insbesondere auch auf nicht-englischsprachige Texte gesetzt wurde als Datenbasis. Ich habe bis jetzt noch zu wenig getestet, um eine Einschätzung angeben zu können, wie gut das Modell auch im Vergleich zu anderen ist.