Локальные LLM
Ollama
The simplest way to run open language models on your own machine.
★ 182,1 тыс. звёздMIT
Смотреть руководство →Запускайте большие языковые модели на собственном компьютере.
Проекты с наибольшим числом звёзд в этой категории плюс сменяемая подборка ещё трёх из глубины списка — она обновляется, чтобы весь каталог по очереди оказывался на витрине.
The simplest way to run open language models on your own machine.
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
LLM inference in C/C++
Token efficient translation utility built on ChatGPT or any OpenAI compatible LLM.
Find the best local models for your hardware — and how to run them.
A high-throughput and memory-efficient inference and serving engine for LLMs
Run and fine-tune LLMs and diffusion models locally —…
The simplest way to run open language models on your…
A high-throughput and memory-efficient inference and…
High-performance In-browser LLM Inference Engine
Open-source desktop app for local LLMs. Text, vision,…
KoboldCpp - Run GGUF AI models locally with a KoboldAI…
Jan is an open source alternative to ChatGPT that runs…
User-friendly AI Interface (Supports Ollama, OpenAI…
Quantization, kernels, runtime and inference engine for…
LLM inference in C/C++
🤯 LobeHub is your Chief Agent Operator, organizing your…
The fastest, litest AI Gateway. Rust core with Python…
Run frontier AI locally.
Fabric is an open-source framework for augmenting…
An open platform for training, serving, and evaluating…
Hundreds of models & providers. One command to find…
Open-source 24/7 Cowork app for OpenClaw, Hermes,…
Distribute and run LLMs with a single file.
An open-source RAG-based tool for chatting with your…
🔥 MaxKB is an open-source platform for building…
Access large language models from the command-line
Typescript/React Library for AI Chat 💬🚀
Fine-tune LLMs from one YAML. Layer streaming trains an…
⚡ Pure-Rust WebGPU inference engine — OpenAI-API…
Open-source AI sales OS — self-hosted CRM with native…
GGUF Quantization support for native ComfyUI models
RamaLama is an open-source developer tool that…
Official repo for spec & SDK of MCP Apps protocol -…
Atomic Agent is a local-first AI agent. Runs…
Maid is a free and open source application for…
动手学Ollama，CPU玩转大模型部署，在线阅读地址：https://datawhalechina.githu…
LLM Agent Framework in ComfyUI includes MCP sever,…
Run AI models locally on your machine with node.js…
AI e-book reader with semantic search, RAG chat, notes,…
Local-first widget tracking token usage and costs…
Fast Rust scraper that turns web pages into clean data…
Noise-robust subtitle generator powered by Whisper and…
Run controllable pre-trained AI models locally, written…
Let any LLM actually watch a video — frames plus…
Local-first desktop where a commander LLM directs…
Sandbox for local AI agents so they only touch what…
Local API bridge to run Claude and Antigravity inside…
One shared local memory hub so every AI agent remembers…
Generate text inside Obsidian with cloud or local AI…
Desktop lab for prototyping AI agents — inspect steps,…
Personal AI agent that takes goals and works alone…
Local-first agent harness with loop, memory, and evals…
Elegant AI chat client with workspaces, plugins, and…
AI file organizer that sorts and renames files by…
AI OSINT agent with 20 tools and REPL — for authorized…
Self-evolving general AI agent running fully locally, a…
Agent hub that spins up a fresh orchestrator per task,…
Lightweight inference engine for running LLMs…
Run local LLMs like Llama and DeepSeek right inside…
Cloud-native runtime for building and running agentic…
Clean web interface for chatting with your local Ollama…
Go-built AI gateway unifying many providers with…
Local-first markdown editor that coding assistants can…
Local-first privacy guard that strips PII before…
Autonomous Android agent that sees and taps your phone…
Pixel-art desktop where your local-first AI agents…
Autonomous AI pentesting with 50 specialist agents on a…
One-command installer for a full self-hosted AI stack…
A talking LLM voice assistant that runs fully offline…
Early proposal and implementation for connecting LLMs…
Local security auditor for AI API relays — catches…
Desktop AI agent platform with one-click models and…
Check if your GPU can fine-tune an LLM — memory…
Agent-native control plane for ComfyUI — generate media…
Find the best local models for your hardware — and how…
A local workbench for multi-agent software development.
Browse and resume your AI coding-agent sessions on…
ChatGPT for your home, running on a Raspberry Pi.
Offline inference engine for art.
Pack and deploy local AI agents designed for your team…
A utility for clawBio - The first bioinformatics-native…
Local-first desktop workspace designed for running.
Agent! now supports macOS 14.6 or later, Apple Silicon…
Local-first personal knowledge layer for AI agents.
Local-first inbox designed for long-running AI agents,…
Pentest Harness — Heaven for Hackers.
Token efficient translation utility built on ChatGPT or…
Turn your AI coding chats into reusable skills with IDE…
Local-first dashboard of tokens, models, and cost for…
Private AI chat and model studio that runs in your…
Open source AI agent harness in native Rust - GUI, CLI,…
Dreaming explorable worlds: local AI assistant.
AI gets the context.
[ICML 2024] TrustLLM: LLM trustworthiness evaluation…
A cautious, explainable AI-like text risk analysis tool…
Open source, Git-native memory for AI coding agents -…
Secure MCP runtime letting AI agents operate your local…
Write an agent skill once, sync it to 32 AI coding…
Local code-intelligence MCP server and CLI for coding…
Open-source marketing agents for Claude, ChatGPT, and…
A local-first OS for building and running AI agents.
Local codebase intelligence CLI and MCP for coding…
AI-native video editing on real timelines with local…
A local-first context and memory layer for your AI…
Whisper-powered subtitle generation: Web UI, CLI, and…
Cut AI context cost with reversible, byte-exact…
18 Google Maps tools and 3 agent skills over MCP or CLI.
An AI-native local dev tool giving agents a real…
A no-install GUI for Ollama and other local LLM…
A local-first 3-in-1 AI memory layer and MCP server.
Self-hosted control plane: approve or block rogue agent…
Self-hosted local llm: turns phones into local ai agent…
Run siliconscope locally: sudoless apple silicon system…
Rustunnel, in Rust — built for self-hosted, secure…
Code-context-engine, in Python — built for save 94% on…
Run a 70B LLM on a single 4GB GPU — layer-by-layer…
Compile and run LLMs anywhere - phones, laptops,…
A fast LLM inference server for Apple Silicon, managed…
Qwen3-Coder - Alibaba's open code model series for…
Alibaba's lightweight, blazing-fast inference engine…
A lightweight vLLM implementation built from scratch in…
Open bilingual (Chinese-English) 6B chat LLM with…
vLLM-Omni — efficient inference for omni-modality…
DeepSeek-Coder-V2 — DeepSeek's open code model family…
Discover and run local AI apps, serving optimized LLMs…
Google DeepMind's Gemma open-weight LLM library —…
StepFun's open 196B MoE model that activates 11B…
TokenSpeed — a speed-of-light LLM inference engine…
GPT4All — run local LLMs on any device: a free desktop…
BitNet — Microsoft's official inference framework for…
Strata — one-click Qwen3.8-Flash-Next inference on…
Другие категории: ВидеоИзображенияАудиоМузыка с ИИИИ 3DНарезка видеоЧат с ИИИИ-агентыRAG и базы знанийАвтоматизацияПродуктивностьИнструменты разработчикаДизайнТекстыСамостоятельный хостингПростая установка
Инструменты локальных LLM позволяют запускать большие языковые модели полностью на собственном оборудовании: среды выполнения, которые обслуживают модели, настольные приложения, которые оборачивают их в чат-интерфейсы, и лаунчеры, которые управляют загрузками, квантованием и настройками за вас.
Локальный запуск меняет привычные компромиссы: никаких счетов за токены, запросы не покидают вашу машину, а модели продолжают работать офлайн — в обмен на ответы, ограниченные вашим оборудованием. Ключевой приём — квантованные модели: они сжимают большие модели так, чтобы те помещались на потребительских видеокартах и даже на процессорах.
На этой странице собрано 126 проектов из категории «Локальные LLM» с открытым исходным кодом, отобранных LibreAI: Запускайте большие языковые модели на собственном компьютере. Каждый проверен на GitHub и имеет собственную страницу-гайд с обзором, шагами установки, вариантами использования и FAQ.
Да. Каждый инструмент здесь имеет открытый исходный код и бесплатен для скачивания и использования по его собственной лицензии: большинство использует MIT, Apache-2.0 или GPL-3.0, а любая пользовательская лицензия с доступным исходным кодом отмечена на странице инструмента. Проверьте файл LICENSE перед коммерческим использованием.
Нет. LibreAI публикует только гайды — с этого сайта не раздаётся никаких загрузок. Каждая установка происходит из официального репозитория проекта на GitHub.
Откройте гайд инструмента и следуйте его разделу «Запустите сами» — шаги взяты из собственной документации проекта — или воспользуйтесь кнопкой «Смотреть на GitHub», чтобы перейти прямо в официальный репозиторий.
Каждый проект проверяется напрямую через API GitHub — звёзды, форки, лицензия и недавняя активность — и включается только если у него есть настоящая динамика и активное сообщество.
В грубом приближении: квантованным моделям нужно немного больше памяти, чем их размер на диске. Модель на 8 млрд параметров при среднем уровне квантования удобно помещается в 8 ГБ видеопамяти или общей оперативной памяти; большим моделям нужно больше. Каждый гайд следует требованиям, заявленным самим проектом.
Крупнейшие открытые модели сильны в чате, суммаризации и помощи с кодом, и они работают приватно и офлайн. Облачные передовые модели по-прежнему лидируют в самом сложном рассуждении: локальный обмен — приватность, цена и контроль за шаг вниз по возможностям.