LibreAI / Imagen / ControlNet
// image · lllyasviel/ControlNet

ControlNet

ControlNet es un proyecto de imagen de código abierto de lllyasviel (lllyasviel/ControlNet en GitHub). Tiene 34.123 estrellas en GitHub y 3.019 bifurcaciones, se publica bajo la licencia Apache-2.0 y se actualizó por última vez en GitHub el 25 de febrero de 2024.

ControlNet — the original conditional control for diffusion models: steer Stable Diffusion with edges, depth, pose and scribbles instead of prompts alone, Apache-2.0

★ 34,1k estrellas⑂ 3,0k bifurcacionesApache-2.0actualizado feb 2024
▦ visual: el README de este proyecto no incluye ninguna captura incrustable,
así que aquí va un marcador. La guía de abajo está completa de todos modos.
// datos del proyecto

Datos del proyecto

Estrellas en GitHub
34.123
Bifurcaciones
3.019
Licencia
Apache-2.0
Última actualización en GitHub
25 de febrero de 2024
Categoría
Imagen
Tipo de ficha
Guía de instalación completa
// cómo funciona

Cómo funciona

  1. Create the environment

    Per the README: conda env create -f environment.yaml, then conda activate control.

  2. Download models and detectors

    Get the pretrained models and annotator detectors from the project Hugging Face page — SD models go in ControlNet/models, detectors in ControlNet/annotator/ckpts.

  3. Launch a Gradio app

    Run the app for your condition, e.g. python gradio_canny2image.py for edge control or gradio_pose2image.py for pose control, and generate in the browser UI.

// características

Por qué gusta tanto

Control beyond the prompt

Edges, depth, pose, segmentation, scribbles and line art become hard constraints the diffusion model must follow.

Locked + trainable design

The base model stays frozen and safe; only the trainable copy learns the condition, so small datasets suffice.

Nine ready Gradio apps

One app per condition type, each with the relevant detector (Canny thresholds, OpenPose, MiDaS depth and others) built in.

Transferable to community models

Control weights can be transferred to customised Stable Diffusion checkpoints, as documented in the project discussions.

Advertisement
// ejecútalo

Ejecútalo tú mismo

  1. Create the conda env

    The README install path.

    conda env create -f environment.yaml
    conda activate control
  2. Add the weights

    Download models and detectors from the Hugging Face page into the folders the README names.

    https://huggingface.co/lllyasviel/ControlNet
  3. Run an app

    Example: Canny edge control in the browser.

    python gradio_canny2image.py
// casos de uso

Qué puedes crear

Advertisement
// preguntas frecuentes

Preguntas frecuentes

Who makes ControlNet?

Lvmin Zhang (lllyasviel) and co-authors; this is the official implementation of the ControlNet paper (arXiv 2302.05543).

Is ControlNet free?

Yes — Apache-2.0 licensed. The base Stable Diffusion models it controls carry their own licences, which you should check separately.

Should I use this repo or an extension?

For the original models and research code, this repo. For day-to-day generation, most people use the same ControlNet models through the A1111 extension or ComfyUI nodes, which are also listed on LibreAI.

How does it compare to a well-known alternative?

Against plain Stable Diffusion prompting, ControlNet adds structural guarantees a prompt cannot give. Against IP-Adapter-style methods, ControlNet controls layout and pose from explicit maps, while adapters transfer style/subject from a reference image — many pipelines use both.

How do I get started?

conda env create -f environment.yaml, activate control, download the models and detectors from Hugging Face, then run one of the gradio_*.py apps.

// sigue explorando

Herramientas similares

Imagen

lite.ai.toolkit

A lite C++ AI toolkit: 100+ models with MNN, ORT and TRT, including Det, Seg, Stable-Diffusion, Face-Fusion.

★ 4,4k estrellasGPL-3.0
Ver la guía →
Imagen

stable-diffusion-videos

Create 🔥 videos with Stable Diffusion by exploring the latent space and morphing between text prompts

★ 4,7k estrellasApache-2.0
Ver la guía →
Imagen

StableSwarmUI

Modular Stable Diffusion web UI that makes power tools accessible, fast, and extensible

★ 4,9k estrellasMIT
Ver la guía →
Imagen

VAE-BlessUp

Easily modify and tune a Stable Diffusion VAE

★ 84 estrellasCustom
Ver la guía →
Imagen

dgenerate

Scriptable command-line image and animation generator for Stable Diffusion

★ 44 estrellasBSD-3-Clause
Ver la guía →
Imagen

ml-stable-diffusion

Stable Diffusion with Core ML on Apple Silicon

★ 18,0k estrellasMIT
Ver la guía →
// alternativas

Alternativas en Imagen

Los demás proyectos de Imagen con más estrellas del catálogo de LibreAI: la lista realista de alternativas si ControlNet no es lo que buscas.

// más en image

Más en Imagen

Proyectos de Imagen cercanos en el catálogo, los más próximos en estrellas a ControlNet: sigue explorando a ambos lados.

Consigue ControlNet

Gratis y abierto: consigue el código fuente, dale una estrella al repositorio y empieza a crear.