Integration von FLUX.2 [dev] bei Workers AI in Zusammenarbeit mit Black Forest Labs

Mit der Einführung von Nano Banana von Google und den Bildgenerierungsmodellen von OpenAI haben solche proprietären KI-Modelle in den letzten Monaten einen großen Sprung nach vorn gemacht. Wir freuen uns, Ihnen heute mitteilen zu können, dass mit dem Start von FLUX.2 [dev] von Black Forest Lab (BFL) ein neuer Open Weight-Anwärter verfügbar ist und auf der Cloudflare-Inferenzplattform Workers AI ausgeführt werden kann. Mehr zu diesem neuen Modell erfahren Sie in diesem Blogbeitrag von BFL, der näher auf die Einführung des neuen Modells eingeht.

Wir sind bereits seit Erscheinen den ersten Versionen große Fans der FLUX-Bildmodelle von Black Forest Lab. Die von uns gehostete Version von FLUX.1 [schnell] zählt aufgrund ihrer fotorealistischen Ergebnisse und ihrer detailgetreuen Bildgenerierung zu den beliebtesten Modellen in unserem Katalog. Als sich die Möglichkeit bot, die lizenzierte Version des neuen Modells der Firma zu hosten, haben wir nicht lange gezögert und die Gelegenheit sofort ergriffen. In dem FLUX.2-Modell wurden die besten Funktionen von FLUX.1 noch einmal optimiert, um mit Unterstützung zusätzlicher Anpassungsoptionen wie JSON-Prompting noch realistischere und überzeugendere Bilder generieren zu können.

Unsere auf Workers AI gehostete Version von FLUX.2 weist einige spezifische Muster auf, wie die Verwendung von Multipart-Formulardaten zur Unterstützung von Eingabe-Bildern (bis zu vier Bilder mit 512x512 Pixel) und Ausgabe-Bildern mit bis zu 4 Megapixel. Mit dem Multipart-Formulardatenformat können Nutzer uns neben den üblichen Modellparametern auch mehrere Bildeingaben senden. Wie man das FLUX.2-Modell verwendet, können Sie unserer Changelog-Ankündigung in der Entwicklerdokumentation entnehmen.

Das FLUX.2-Modell beruht auf einem besseren Verständnis der realen Welt, wodurch abstrakte Konzepte in etwas Fotorealistisches verwandelt werden können. Es zeichnet sich durch die Generierung realistischer Bilddetails aus und bildet Hände, Gesichter, Stoffe, Logos und kleine Objekte, die von anderen Modellen oft übergangen werden, korrekt ab. Diese Kenntnis der realen Welt ermöglicht auch die Darstellung naturgetreuer Beleuchtung, Winkel und Tiefenwirkung.

^{Abbildung 1. Mit FLUX.2 generiertes Bild eines Pariser Café mit realistischer Darstellung von Licht, Schatten, Reflexionen und Tiefenwirkung.}

Aufgrund ihrer hohen Darstellungstreue ist die Lösung ideal für Anwendungsbereiche, die eine herausragende Bildqualität verlangen – etwa für kreative Fotografie, E-Commerce-Produktaufnahmen, Marketingvisualisierungen und Innenarchitektur. Da das Modell Kontext, Tonalität und Trends versteht, kann es mit kurzen Prompts ansprechendes digitales Material in redaktioneller Qualität erstellen.

Es ist jedoch nicht nur in der Lage, die reale Welt abzubilden, sondern auch digitale Produkte wie Startseiten von Websites oder ausführliche Infografiken zu erstellen (wie unten beispielhaft zu sehen). Außerdem versteht es auf natürliche Weise mehrere Sprachen. Durch die Kombination dieser beiden Funktionen lässt sich aus einem französischen Prompt eine ansprechende Landingpage auf Französisch generieren.

Générer une page web visuellement immersive pour un service de promenade de chiens. L'image principale doit dominer l'écran, montrant un chien exubérant courant dans un parc ensoleillé, avec des touches de vert vif (#2ECC71) intégrées subtilement dans le feuillage ou les accessoires du chien. Minimiser le texte pour un impact visuel maximal.

FLUX.2 bietet Multi-Referenz-Bearbeitung mit modernster Zeichenkonsistenz und gewährleistet die Einheitlichkeit von Identitäten, Produkten und Stilen innerhalb einer Aufgabe. Mit generativer KI einmalig ein qualitativ hochwertiges Bild zu erzeugen, ist leicht. Die Schwierigkeit bestand bisher aber immer darin, eine Figur oder ein Produkt beim zweiten Mal wieder genau gleich aussehen zu lassen. Man spricht von einer „stochastischen Abweichung“, wenn generierte Bilder Unterschiede gegenüber dem ursprünglichen Ausgangsmaterial aufweisen.

^{Abbildung 2: Infografik zur stochastischen Abweichung (generiert mit FLUX.2)}

Zu den bei FLUX.2 erzielten Durchbrüchen gehört die Multi-Referenz-Bildeingabe, die dieses Konsistenzproblem lösen soll. Damit lassen sich Hintergrund, Beleuchtung oder Pose in einem Bild anpassen, ohne versehentlich das Gesicht des Modells oder das Design des Produkts zu verändern. Man kann auch auf andere Bilder verweisen oder mehrere Bilder zu etwas Neuem kombinieren. 

Der Quellcode von Workers AI sieht die Unterstützung von (bis zu vier) Multi-Referenz-Bildern mit einem Multipart-Formulardaten-Upload vor. Bei den eingegebenen Bildern handelt es sich um Binärbilder. Ausgegeben wird ein Base64-kodiertes Bild:

curl --request POST \
  --url 'https://api.cloudflare.com/client/v4/accounts/{ACCOUNT}/ai/run/@cf/black-forest-labs/flux-2-dev' \
  --header 'Authorization: Bearer {TOKEN}' \
  --header 'Content-Type: multipart/form-data' \
  --form 'prompt=take the subject of image 2 and style it like image 1' \
  --form input_image_0=@/Users/johndoe/Desktop/icedoutkeanu.png \
  --form input_image_1=@/Users/johndoe/Desktop/me.png \
  --form steps=25
  --form width=1024
  --form height=1024

Wir unterstützen dies auch durch die Workers AI-Bindung:

const image = await fetch("http://image-url");
const form = new FormData();
 
const image_blob = await streamToBlob(image.body, "image/png");
form.append('input_image_0', image_blob)
form.append('prompt', 'a sunset with the dog in the original image')
 
const resp = await env.AI.run("@cf/black-forest-labs/flux-2-dev", {
    multipart: {
        body: form,
        contentType: "multipart/form-data"
    }
})

Das neueste Bildmodell stellt eine Verlagerung zu funktionalen Geschäftsanwendungsfällen dar, die über einfache Verbesserungen der Bildqualität hinausgehen. FLUX.2 ermöglicht Ihnen:

• Erstellen verschiedener Anzeigenvarianten: Es können 50 verschiedene Anzeigen mit exakt demselben Schauspieler erstellt werden, ohne dass sich sein Gesicht zwischen den Frames verändert.

• Naturgetreue Darstellung von Produktfotos: Sie können Ihr Produkt auf einem Model, in einer Strandszene, einer Straße oder auf einem Studiotisch platzieren: Es wird immer naturgetreu dargestellt, auch wenn sich die Umgebung ändert.

• Erstellen dynamischer Editorials: Sie können eine durchgehende Strecke von Modebildern generieren, bei der das Model unabhängig vom Blickwinkel in jeder einzelnen Aufnahme identisch aussieht.

^{Abbildung 3. Ein Werbefoto mit Hoodie in Übergröße und Jogginghosen (generiert mit FLUX.2) wurde mit dem Cloudflare-Logo kombiniert, um Produktrenderings mit einheitlichen Gesichtern, Stoffen und Hintergründen zu erzeugen. ** Hinweis: Wir haben per Prompt eine weiße Cloudflare-Schrift anstelle der ursprünglichen schwarzen Schrift vorgegeben.} 

Das FLUX.2-Modell stellt einen weiteren Fortschritt dar, weil Nutzer damit kleine Einzelheiten in Bildern mit Werkzeugen wie JSON-Prompting steuern und spezifische Hexadezimalcodes festlegen können.

Sie könnten diese JSON-Datei beispielsweise als Prompt (als Teil der mehrteiligen Formulareingabe) senden. Das daraus generierte Bild entspricht genau dem Prompt:

{
  "scene": "A bustling, neon-lit futuristic street market on an alien planet, rain slicking the metal ground",
  "subjects": [
    {
      "type": "Cyberpunk bounty hunter",
      "description": "Female, wearing black matte armor with glowing blue trim, holding a deactivated energy rifle, helmet under her arm, rain dripping off her synthetic hair",
      "pose": "Standing with a casual but watchful stance, leaning slightly against a glowing vendor stall",
      "position": "foreground"
    },
    {
      "type": "Merchant bot",
      "description": "Small, rusted, three-legged drone with multiple blinking red optical sensors, selling glowing synthetic fruit from a tray attached to its chassis",
      "pose": "Hovering slightly, offering an item to the viewer",
      "position": "midground"
    }
  ],
  "style": "noir sci-fi digital painting",
  "color_palette": [
    "deep indigo",
    "electric blue",
    "acid green"
  ],
  "lighting": "Low-key, dramatic, with primary light sources coming from neon signs and street lamps reflecting off wet surfaces",
  "mood": "Gritty, tense, and atmospheric",
  "background": "Towering, dark skyscrapers disappearing into the fog, with advertisements scrolling across their surfaces, flying vehicles (spinners) visible in the distance",
  "composition": "dynamic off-center",
  "camera": {
    "angle": "eye level",
    "distance": "medium close-up",
    "focus": "sharp on subject",
    "lens": "35mm",
    "f-number": "f/1.4",
    "ISO": 400
  },
  "effects": [
    "heavy rain effect",
    "subtle film grain",
    "neon light reflections",
    "mild chromatic aberration"
  ]
}

Um noch einen Schritt weiter zu gehen, kann das Modell durch Angabe eines bestimmten Hexadezimalcodes wie #F48120 angewiesen werden, das Cloudflare-Orange als Akzentuierungsfarbe zu verwenden.

Das neueste FLUX.2 [dev]-Modell ist jetzt auf Workers AI verfügbar. Sie können unsere Entwicklerdokumentation nutzen, um mit dem Modell loszulegen, oder es auf unserem multimodalen Playground testen.