Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Photoshop-Alternativen, Bearbeitung von Bildern etc.

Moderatoren: Jean, |Gordon|, Moderatoren

Antworten
Benutzeravatar
Gordon
Beiträge: 16488
Registriert: 06.01.02, 18:46

Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Gordon »

Stable Diffusion

HP: https://github.com/CompVis/stable-diffusion
https://stability.ai/

Lizenz: verschiedene Open-Source-Lizenzen
Beschreibung:
Stable Diffusion is a latent text-to-image diffusion model. Thanks to a generous compute donation from Stability AI and support from LAION, we were able to train a Latent Diffusion Model on 512x512 images from a subset of the LAION-5B database. Similar to Google's Imagen, this model uses a frozen CLIP ViT-L/14 text encoder to condition the model on text prompts. With its 860M UNet and 123M text encoder, the model is relatively lightweight and runs on a GPU with at least 10GB VRAM. See this section below and the model card.
Mit Stable Diffusion gibt es ein Open-Source-Programm, welches anhand der trainierten KI Bilder mittles kurzer Text-Beschreibung in erstaunlicher Qualität erzeugt. Aktuell wird eine Nvidia-Grafikkarte für die lokale Ausführung benötigt, AMD und Apples M1-Chip sollen folgen. Zudem gibt es verschiedene Web-Interfaces, z.B. Hugging Face https://huggingface.co/spaces/stability ... -diffusion

Anhand meiner Beschreibung "small dog with a hotdog" variiert in van-Gogh-Stil und Cyberpunk-Stil hat das Tool mir z.B. folgende Ergebnisse generiert:
https://www.directupload.net/file/d/665 ... d7_png.htm
https://www.directupload.net/file/d/665 ... j8_png.htm

Zudem sei noch auf diesen Artikel bei mixed.de verwiesen: https://mixed.de/open-source-bild-ki-st ... erfuegbar/
We just need your compliance/You will feel no pain anymore/And no more defiance - Muse 2022
Jean
Beiträge: 14080
Registriert: 30.10.01, 12:41

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Jean »

Inzwischen hat ja jeder, der einen Brockhaus im Regal hat und seine Fernbedienung programmieren kann, einen eigenen Image-Generator gebaut. Als name dropping: Open AI Dall-E 2, Imagen, MindsEye, Midjourney, Latent Diffusion, Craiyon, Disco Diffusion, Laionide-v3, Night Cafe, RuDalle, Dall E Flow ... (einiges frei, einiges beta, einiges closed, und alles jeden Tag veraltet).


(wir haben intern schon gewettet, auf welches Pferd Gordon setzen wird, um jetzt seine Social-Media-Kanäle zu bespielen. Seine gecoverten Loops zu Urlaubsbilder-Powerpoint-Präsentationen hatten sich ja doch etwas leergelaufen. Diffusion soll es nun sein - ich hatte ja auf ex-Dalle-E Mini gesetzt ... und habe nun alle meine Essensmarken verloren.

Ok, die Hotdog-Sixpacks werden uns wohl noch lange erhalten bleiben, aber ich glaube, ein ernsthafter Einsatz ist noch fern, solange es für ein paar Cent gut verschlagwortete Stockphotos gibt und Natürliche Intelligenz + PS jedes künstlich erzeugte Fake-Dokubild übertrifft. Aber die Zukunft liegt immer nur 2 paper entfernt, und im Audio/Video-Bereich kann es schnell kritisch werden)
Benutzeravatar
Gordon
Beiträge: 16488
Registriert: 06.01.02, 18:46

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Gordon »

Alles richtig, ich hatte auch schon verschiedene Tools probiert, fand die Resultate aber hier am besten mit minimalem Aufwand. Der Hotdog war tatsächlich ein Schnellschuss kurz vor dem Abendessen, da hat das Unterbewusstsein wohl mitgespielt. Entscheidend für mich ist jedoch, dass Stable Diffusion imho als einziges Tool auch grundsätzlich lokal lauffähig ist bzw. in Kürze sein wird und nicht auf Webservices angewiesen ist.

Was die Zukunft betrifft, sind Prognosen ungewiss (sagte mal ein kluger Mann) und ich habe nicht den Eindruck, dass die natürliche Intelligenz noch zunimmt - eher dass es ein Menschheitsmaximum gibt und mit jedem weiterem Menschen der durchschnittliche IQ etwas sinkt ...
We just need your compliance/You will feel no pain anymore/And no more defiance - Muse 2022
Jean
Beiträge: 14080
Registriert: 30.10.01, 12:41

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Jean »

> einziges Tool auch grundsätzlich lokal lauffähig

stimmt - zumindest als "einfach lauffähig", ansonsten gibt es ja reichlich notebook-Implementierungen zum Frickeln.
(Das mit dem IQ mag stimmen, und übrigens: kannst du mich heute einladen, ich habe meine Essensmarken verlegt?)
Benutzeravatar
Gordon
Beiträge: 16488
Registriert: 06.01.02, 18:46

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Gordon »

Was die Einladung zum Essen betrifft, halte ich es mit unserem Kanzler: Könnte ich -…. Das war alles.
We just need your compliance/You will feel no pain anymore/And no more defiance - Muse 2022
Jean
Beiträge: 14080
Registriert: 30.10.01, 12:41

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Jean »

na, AI kann ich auch, und ich habe ein paar Millionen Klicks mehr!
Bild
Benutzeravatar
Gordon
Beiträge: 16488
Registriert: 06.01.02, 18:46

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Gordon »

noch mehr GUI im 1-click-Installer:
https://github.com/cmdr2/stable-diffusion-ui
We just need your compliance/You will feel no pain anymore/And no more defiance - Muse 2022
Benutzeravatar
Gordon
Beiträge: 16488
Registriert: 06.01.02, 18:46

Re: Stable Diffusion - Bilder mit kurzer Textbeschreibung per KI generieren

Beitrag von Gordon »

Mittlerweile gibt es auch Plugins für Photoshop und Gimp, um direkt dort weiter zu arbeiten. Allerdings ist die Installation der Plugins nicht trivial und teilweise mit Accounterstellung verbunden. Wen das nicht schreckt, wird fündig:
für Photoshop: https://christiancantrell.com/#ai-ml
für Gimp: https://github.com/blueturtleai/gimp-stable-diffusion
We just need your compliance/You will feel no pain anymore/And no more defiance - Muse 2022
Antworten