LibreAI ENESPTDEFRRUJA
← Alle Kategorien// local-llm

Die besten lokalen Open-Source-LLM-Tools

Große Sprachmodelle auf deinem eigenen Rechner ausführen.

126 Tools · 💎 77 Geheimtipps

// hier starten

Hier starten

Die Projekte mit den meisten Sternen in dieser Kategorie, dazu eine wechselnde Auswahl von drei weiteren aus der Liste — erneuert, damit der ganze Katalog im Schaufenster an die Reihe kommt.

Lokale LLMs

Ollama

The simplest way to run open language models on your own machine.

★ 182,1 Tsd. SterneMIT
Anleitung ansehen →
Lokale LLMs

Open Webui

User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

★ 153,9 Tsd. SterneCustom (check repo)
Anleitung ansehen →
Lokale LLMs

llama.cpp

LLM inference in C/C++

★ 130,2 Tsd. SterneMIT
Anleitung ansehen →
Lokale LLMs

chatgpt-subtitle-translator

Token efficient translation utility built on ChatGPT or any OpenAI compatible LLM.

★ 389 SterneMIT
Anleitung ansehen →
Lokale LLMs

whatcanirun

Find the best local models for your hardware — and how to run them.

★ 247 SterneMIT
Anleitung ansehen →
Lokale LLMs

vLLM

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 93,1 Tsd. SterneApache-2.0
Anleitung ansehen →

Weitere Kategorien: VideoBildAudioKI-Musik3D-KIKurzclipsKI-ChatKI-AgentenRAG & WissenAutomatisierungProduktivitätEntwickler-ToolsDesignSchreibenSelf-HostingEinfache Installation

// über diese kategorie

Die besten lokalen Open-Source-LLM-Tools

Lokale LLM-Tools lassen dich große Sprachmodelle vollständig auf deiner eigenen Hardware ausführen: Laufzeitumgebungen, die die Modelle bereitstellen, Desktop-Apps, die sie in Chat-Oberflächen hüllen, und Starter, die Downloads, Quantisierung und Einstellungen für dich verwalten.

Lokal auszuführen dreht die üblichen Abwägungen um: keine Rechnungen pro Token, keine Prompts, die deinen Rechner verlassen, und Modelle, die offline weiterarbeiten — im Austausch gegen Antworten, die durch deine Hardware begrenzt sind. Quantisierte Modelle sind der entscheidende Trick: Sie schrumpfen große Modelle, sodass sie auf Consumer-GPUs und sogar CPUs passen.

So wählst du aus

  • Beginne bei deiner Hardware: Die Anleitungen gehen davon aus, dass du die Modellgröße an deine VRAM oder RAM anpasst, nicht umgekehrt.
  • Wenn du darauf aufbauen willst, nimm eine Laufzeitumgebung mit lokaler API; wenn du nur chatten willst, nimm eine Desktop-App.
  • Die Quantisierungsstufe ist ein Qualitätsregler — mittlere Stufen sind für Heimrechner meist der Sweet Spot.
// häufige fragen

Häufige Fragen

Welche Tools der Kategorie Lokale LLMs sind hier aufgeführt?

Diese Seite sammelt 126 von LibreAI kuratierte Open-Source-Projekte der Kategorie Lokale LLMs: Große Sprachmodelle auf deinem eigenen Rechner ausführen. Jedes davon ist auf GitHub geprüft und hat eine eigene Anleitungsseite mit Überblick, Installationsschritten, Anwendungsfällen und einer FAQ.

Sind die Tools der Kategorie Lokale LLMs kostenlos?

Ja. Jedes Tool hier ist Open Source und kann unter seiner eigenen Lizenz kostenlos heruntergeladen und genutzt werden — die meisten nutzen MIT, Apache-2.0 oder GPL-3.0, und jede eigene Source-Available-Lizenz ist auf der Seite des Tools vermerkt. Prüfe vor einer kommerziellen Nutzung die LICENSE-Datei.

Hostet LibreAI diese Tools?

Nein. LibreAI veröffentlicht nur Anleitungen — von dieser Seite werden keine Downloads bereitgestellt. Jede Installation stammt aus dem offiziellen GitHub-Repository des Projekts.

Wie installiere ich ein Tool der Kategorie Lokale LLMs von dieser Seite?

Öffne die Anleitung des Tools und folge ihrem Abschnitt „Führe es selbst aus“ — die Schritte stammen aus der Dokumentation des Projekts selbst — oder nutze die Schaltfläche „Auf GitHub ansehen“, um direkt zum offiziellen Repository zu gelangen.

Wie wurden diese Tools ausgewählt?

Jedes Projekt wird live über die GitHub-API geprüft — Sterne, Forks, Lizenz und aktuelle Aktivität — und nur aufgeführt, wenn es echten Schwung und eine aktive Community hat.

Wie groß darf ein Modell sein, das mein Computer ausführen kann?

Als grobe Form: Quantisierte Modelle brauchen etwas mehr Speicher als ihre Größe auf der Platte. Ein 8B-Modell in mittlerer Quantisierung passt bequem in 8 GB VRAM oder geteilte RAM; größere Modelle wollen mehr. Jede Anleitung folgt den Anforderungen, die das Projekt selbst nennt.

Sind lokale Modelle so gut wie die großen gehosteten?

Die größten offenen Modelle sind stark bei Chat, Zusammenfassen und Coding-Hilfe, und sie laufen privat und offline. Gehostete Spitzenmodelle führen weiterhin beim schwersten Schlussfolgern — der lokale Tausch ist Privatsphäre, Kosten und Kontrolle gegen eine Fähigkeitsstufe weniger.