LibreAI / Image / ControlNet
// image · lllyasviel/ControlNet

ControlNet

ControlNet est un projet de image open source, créé par lllyasviel (lllyasviel/ControlNet sur GitHub). Il compte 34 123 étoiles sur GitHub et 3 019 forks, il est publié sous la licence Apache-2.0 et a été mis à jour pour la dernière fois sur GitHub le 25 février 2024.

ControlNet — the original conditional control for diffusion models: steer Stable Diffusion with edges, depth, pose and scribbles instead of prompts alone, Apache-2.0

★ 34,1 k étoiles⑂ 3,0 k forksApache-2.0mis à jour févr. 2024
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet

Détails du projet

Étoiles GitHub
34 123
Forks
3 019
Licence
Apache-2.0
Dernière mise à jour sur GitHub
25 février 2024
Catégorie
Image
Type de fiche
Guide d'installation complet
// fonctionnement

Comment ça marche

  1. Create the environment

    Per the README: conda env create -f environment.yaml, then conda activate control.

  2. Download models and detectors

    Get the pretrained models and annotator detectors from the project Hugging Face page — SD models go in ControlNet/models, detectors in ControlNet/annotator/ckpts.

  3. Launch a Gradio app

    Run the app for your condition, e.g. python gradio_canny2image.py for edge control or gradio_pose2image.py for pose control, and generate in the browser UI.

// fonctionnalités

Pourquoi on l'adore

Control beyond the prompt

Edges, depth, pose, segmentation, scribbles and line art become hard constraints the diffusion model must follow.

Locked + trainable design

The base model stays frozen and safe; only the trainable copy learns the condition, so small datasets suffice.

Nine ready Gradio apps

One app per condition type, each with the relevant detector (Canny thresholds, OpenPose, MiDaS depth and others) built in.

Transferable to community models

Control weights can be transferred to customised Stable Diffusion checkpoints, as documented in the project discussions.

Advertisement
// lancez-le

Lancez-le vous-même

  1. Create the conda env

    The README install path.

    conda env create -f environment.yaml
    conda activate control
  2. Add the weights

    Download models and detectors from the Hugging Face page into the folders the README names.

    https://huggingface.co/lllyasviel/ControlNet
  3. Run an app

    Example: Canny edge control in the browser.

    python gradio_canny2image.py
// cas d'usage

Ce que vous pouvez créer

Advertisement
// faq

Questions fréquentes

Who makes ControlNet?

Lvmin Zhang (lllyasviel) and co-authors; this is the official implementation of the ControlNet paper (arXiv 2302.05543).

Is ControlNet free?

Yes — Apache-2.0 licensed. The base Stable Diffusion models it controls carry their own licences, which you should check separately.

Should I use this repo or an extension?

For the original models and research code, this repo. For day-to-day generation, most people use the same ControlNet models through the A1111 extension or ComfyUI nodes, which are also listed on LibreAI.

How does it compare to a well-known alternative?

Against plain Stable Diffusion prompting, ControlNet adds structural guarantees a prompt cannot give. Against IP-Adapter-style methods, ControlNet controls layout and pose from explicit maps, while adapters transfer style/subject from a reference image — many pipelines use both.

How do I get started?

conda env create -f environment.yaml, activate control, download the models and detectors from Hugging Face, then run one of the gradio_*.py apps.

// continuez l'exploration

Outils similaires

Image

lite.ai.toolkit

A lite C++ AI toolkit: 100+ models with MNN, ORT and TRT, including Det, Seg, Stable-Diffusion, Face-Fusion.

★ 4,4 k étoilesGPL-3.0
Voir le guide →
Image

stable-diffusion-videos

Create 🔥 videos with Stable Diffusion by exploring the latent space and morphing between text prompts

★ 4,7 k étoilesApache-2.0
Voir le guide →
Image

StableSwarmUI

Modular Stable Diffusion web UI that makes power tools accessible, fast, and extensible

★ 4,9 k étoilesMIT
Voir le guide →
Image

VAE-BlessUp

Easily modify and tune a Stable Diffusion VAE

★ 84 étoilesCustom
Voir le guide →
Image

dgenerate

Scriptable command-line image and animation generator for Stable Diffusion

★ 44 étoilesBSD-3-Clause
Voir le guide →
Image

ml-stable-diffusion

Stable Diffusion with Core ML on Apple Silicon

★ 18,0 k étoilesMIT
Voir le guide →
// alternatives

Alternatives en Image

Les autres projets de la catégorie Image avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si ControlNet ne vous convient pas.

// plus en image

Plus en Image

Projets de la catégorie Image proches dans le catalogue, les plus proches en étoiles de ControlNet — continuez à explorer de part et d'autre.

Obtenir ControlNet

Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.