Welches KI-Modell läuft auf meinem Rechner? Dieses Tool findet es heraus

Wer lokale KI-Modelle ausprobieren möchte, steht schnell vor der Frage, welches Modell auf der eigenen Hardware überhaupt sinnvoll läuft. Genau dabei soll das Terminal-Tool llmfit helfen, das Arbeitsspeicher, CPU und GPU des Systems erkennt und anschließend passende LLMs ermittelt. Die Modelle werden unter anderem nach Qualität, Geschwindigkeit, Hardware-Kompatibilität und Kontextgröße bewertet.

Das Tool bringt standardmäßig eine interaktive Terminal-Oberfläche mit, lässt sich aber auch klassisch über die Kommandozeile bedienen. Unterstützt werden unter anderem Systeme mit mehreren GPUs, MoE-Modelle und eine dynamische Auswahl der Quantisierung. Außerdem kann das Tool die zu erwartende Geschwindigkeit abschätzen.

Als lokale Laufzeitumgebungen werden unter anderem Ollama, llama.cpp, MLX, Docker Model Runner und LM Studio unterstützt. Wer häufiger mit lokalen LLMs experimentiert, könnte sich damit einiges an Ausprobieren und Hardware-Rechnerei sparen.

Alternative, die ebenfalls einen Blick wert ist? Der LLM Checker.