LM-Studio
Ich benutze mittlerweile hauptsächlich LM-Studio, um LLM zu betreiben. Was dafür spricht:
- stets die aktuellsten llama.cpp-Runtimes
- eine REST-Api, mit der sich alles „fernsteuern“ lässt
- Downloadmanager für Huggingface
- Für Linux und MacOS verfügbar (und Windows...)