sd para diseñadores

Un flujo de trabajo totalmente automatizado para activar, ejecutar y gestionar el ajuste fino, el entrenamiento y la implementación de modelos de difusión estables personalizados utilizando Vertex AI

Descripción

Sd-aa-S es una canalización de MLOps completamente automatizada para activar, gestionar y rastrear trabajos de ajuste fino de la difusión estable en GCP mediante componentes de GCP como Google Cloud Storage, Cloud Build, Cloud PubSub, Firestore, Cloud Run, Cloud Functions y Vertex AI. Su objetivo es simplificar los flujos de trabajo de aprendizaje automático (ML) para ajustar la difusión estable mediante diferentes técnicas, comenzando con Dreambooth. Próximamente se ofrecerá compatibilidad con Lora, ControlNet, etc. El proyecto está dirigido a ingenieros de datos/ML, científicos de datos y cualquier persona interesada o en proceso de desarrollo de una plataforma para el ajuste fino de la difusión estable a escala.

Tres partes

1. La parte de la aplicación

1. Set up your Cloud Environment
2. Create a backend service for handling uploads to a GCS bucket
    - Receive images from clients and store them under a predefined GCS bucket path
    - Track the status of individual uploads in a Firestore collection
    - Track the status of the overall upload job in a separate Firestore collection 
    - Once the job is compelted, publish the jobID as the message on a predefined PubSub topic
3. Deploy this backend service as a Cloud Run endpoint using Cloud build
4. Create a frontend portal to upload images using ReactJs
5. Deploy the frontend service on Cloud Run

2. La parte Vertex AI

Set up your Cloud Environment
Create a new custom container artifact for running the pipeline components
Create a new custom container artifact for running the training job itself 
Create a Jupyter notebook outlining the Pipeline flow & components
Compile a YAML file from a Vertex AI workbench and store the precompiled YAML file under a GCS bucket path

3. La parte de plomería

Set up your Cloud Environment
Create a cloud function that gets triggered every time the jobID is published on a predefinied topic (from 1st part)
Within the cloud function, the python code subscribes to the topic and triggers a Vertex AI pipeline job using the precomiled YAML file (from 2nd part)
The pipeline jobs finetunes the stable diffusion model using Dreambooth, uploads the new custom model to Model registy & deploys an endpoint
The job also updates Firestore with the status of the pipeline job from start to end

kjlahsdjkashdjhkasdkajshd