Ollama

Bei Ollama handelt es um ein Programm, mittels dessen man LLMs betreiben und lokal oder auch im LAN nutzen kann.

Installieren kannst Du Ollama mit dem folgenden Skript:

curl -fsSL https://ollama.com/install.sh | sh

Unter Linux musst Du den Systemd-Service-Descriptor bearbeiten, um ihm Umgebungsvariablen mitzugeben:

sudo nano /etc/systemd/system/ollama.service

Füge die folgenden Zeilen ein:

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_MODELS=/media/kilo/ki/data/models/text/ollama/models"
Environment="OLLAMA_CONTEXT_LENGTH=131072"

Anschließend muss die Datei neu eingelesen und der Dienst neu gestartet werden:

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Mit der ersten Zeile machst Du Ollama im lokalen Netzwerk erreichbar. Mit der zweiten und dritten Zeile aktivierst Du flash attention und setzt den Cache-Typ für den Kontext. Mit der vierten Zeile legst Du das Verzeichnis fest, in dem Ollama seine Modelle liest und schreibt. Auf diese Art und Weise kannst Du die Modelle z.B. sowohl von Linux als auch von Windows aus nutzen (bei einem Dual-Boot-System).

Unter Windows setzt Du einfach direkt die entsprechenden Umgebungsvariablen, einige Einstellungen kannst Du auch über das Tray-Icon von Ollama vornehmen.

Quelle: