// rag · llmware-ai/llmware

llmware

llmware est un projet de RAG et connaissances open source, créé par llmware-ai (llmware-ai/llmware sur GitHub). Il compte 14 821 étoiles sur GitHub et 2 930 forks, il est publié sous la licence Apache-2.0 et a été mis à jour pour la dernière fois sur GitHub le 1er octobre 2026.

Unified framework for enterprise RAG pipelines with small, specialized models - local, private and secure.

★ 14,8 k étoiles⑂ 2,9 k forksApache-2.0mis à jour oct. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
14 821
Forks
2 930
Licence
Apache-2.0
Dernière mise à jour sur GitHub
1er octobre 2026
Type de fiche
Guide d'installation complet
Site officiel
Official site
// fonctionnement

Comment ça marche

  1. Decide what runs locally

    Plan your pipeline around small, specialized on-device models for privacy and cost, adding a cloud model only for steps that truly need one.

  2. Install llmware

    Add the Python package to your environment; virtually all examples and models can run on a laptop.

  3. Build a library

    Create a Library, add a folder of mixed documents (PDF, Office, text, images and more) to parse, chunk and index them, then install an embedding.

  4. Query and prompt with sources

    Run text, semantic or hybrid queries over the library and feed the results into a Prompt so answers are grounded in your documents, with evidence checks.

// fonctionnalités

Pourquoi on l'adore

300+ model catalog

Access all models the same way through ModelCatalog, regardless of implementation - GGUF, OpenVINO, ONNX Runtime, Hugging Face, Sentence Transformers or API models.

Small specialized models

50+ llmware fine-tuned SLIM, Bling, Dragon and Industry-BERT models (roughly 1-7B parameters) designed for RAG workflows and enterprise process-automation tasks on device.

Full document ingestion

The Library add_files function parses and chunks many formats - pdf, pptx, docx, xlsx, txt, csv, md, json, wav, png, jpg, html - routed automatically by file type.

Flexible retrieval

Query libraries with text, semantic, hybrid and metadata-filtered queries, and mix and match embedding models and vector databases on the same library.

Prompt with sources

Attach files or query results directly to a Prompt as model-ready context, then run post-inference evidence checks against the sources.

Runs anywhere

Optimized for Windows, Mac and Linux across AI PC, laptop, edge and self-hosted deployments, including GPU and NPU acceleration paths.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Clone the repository

    Clone llmware for the full examples collection; most users install from PyPI instead.

    git clone https://github.com/llmware-ai/llmware.git
    cd llmware
  2. Install the package

    Install llmware into your Python environment.

    pip install llmware
  3. Run a first RAG example

    Load a small catalog model and ask a question with context, following the README's ModelCatalog and Prompt examples.

    python -c "from llmware.models import ModelCatalog; print(ModelCatalog().list_all_models())"  # see README examples for the full workflow
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who maintains llmware?

llmware is developed by llmware-ai (AI Bloks) with open-source contributors.

Is llmware free to use?

Yes. The framework is Apache-2.0 licensed; individual models in the catalog carry their own licenses.

Does it need a paid API key?

No for local models: the catalog's open models run on your machine. Cloud models from OpenAI, Anthropic or Google are optional and would use your own keys.

How does llmware compare with LangChain or LlamaIndex?

Those are general orchestration frameworks that assume you bring models and infrastructure; llmware bundles an optimized model catalog of small local models with the full RAG pipeline in one opinionated framework.

How do I get started?

Run pip install llmware, create a Library from a folder of documents, install an embedding, and run your first semantic query.

// continuez l'exploration

Outils similaires

RAG et connaissances

private-gpt

Complete API layer for private AI apps on local models: RAG, skills, tools, MCP and text-to-SQL

★ 57,6 k étoilesApache-2.0
Voir le guide →
RAG et connaissances

UltraRAG

A low-code MCP framework for building complex, innovative RAG pipelines — visibly, not as a black box.

★ 5,7 k étoilesApache-2.0
Voir le guide →
RAG et connaissances

llm-app

Ready-to-run templates for RAG, AI pipelines and enterprise search that stay in sync with live data

★ 58,8 k étoilesMIT
Voir le guide →
RAG et connaissances

Langchain-Chatchat

Local knowledge-base RAG and agent app built on LangChain with ChatGLM, Qwen and Llama models

★ 38,7 k étoilesApache-2.0
Voir le guide →
RAG et connaissances

docuchat.app

Private document chat for attorneys: local LLMs, verifiable citations.

★ 35 étoilesMIT
Voir le guide →
RAG et connaissances

DocsGPT

A private AI platform for agents, assistants and enterprise search over your documents

★ 18,3 k étoilesMIT
Voir le guide →
// alternatives

Alternatives en RAG et connaissances

Les autres projets de la catégorie RAG et connaissances avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si llmware ne vous convient pas.

// plus en rag

Plus en RAG et connaissances

Projets de la catégorie RAG et connaissances proches dans le catalogue, les plus proches en étoiles de llmware — continuez à explorer de part et d'autre.

Obtenir llmware

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.