Willkommen bei unserer KI-Tool der Woche Reihe, in der wir euch immer ein Tool vorstellen. Extrem gute, realistische Videos aus Bild- oder Videovorlagen oder sogar einfach nur einem Text-Prompt erzeugen? Nein, ich spreche nicht von Sora, sondern von RunwayML.
Natürlich hat uns OpenAI mit den Demos absolut begeistert, aber die Video-KI Sora hat einen entscheidenden Nachteil: Man kann sie aktuell gar nicht verwenden. Wann sich das ändert, ist aktuell nicht ganz sicher, aber sicher ist, dass es schon Alternativen gibt, die ebenfalls beeindruckende Videos erzeugen können und unsere Nummer 1 in diesem Bereich ist RunwayML.
Und Runway macht nicht nur ebenfalls sehr gute Videos, sondern liefert seit einiger Zeit schon immer wieder neue Innovationen und neue Features und das wollen wir uns jetzt mal zusammen anschauen.
Wie kann ich RunwayML nutzen und was kostet es?
Wir finden RunwayML unter der Website runwayml.com. Dort können wir uns, wenn wir wollen, erst einmal in Ruhe umsehen und Beispiele durchstöbern. Es gibt außerdem eine Smartphone App, aktuell aber nur für iOS, für mich persönlich ist die Arbeit am PC gerade in diesem visuellen Bereich aber deutlich angenehmer.
Der erste Schritt ist es dann einen kostenlosen Account zu erstellen, das können wir mit einer Email-Adresse oder unserem Google oder Apple Konto tun.
Mit jedem kostenlosen Account bekommen wir 125 Credits, die wir einsetzen können, um damit Videos zu erzeugen.
Wichtige Information
Diese 125 Credits werden nicht automatisch jeden Monat aufgefüllt, so wie man es vielleicht von manchen anderen Tools kennt, nach den 125 Credits ist also Schluss mit gratis. Mit diesem Startpaket können wir aber immerhin 25 Sekunden Video generieren lassen und damit schon ganz gut ausprobieren, ob Runway etwas für uns ist.
Schauen wir kurz auf die Preisübersicht, dann sehen wir hier den ersten Plan mit 15 Dollar im Monat, bei monatlicher Zahlung und hier bekommen wir jeden Monat 625 Credits zur Verfügung. Danach geht es mit 35 Dollar für 2250 Credits weiter und am Ende steht der Unlimited Plan für 95 Dollar im Monat, der beliebig viele Generationen beinhaltet, also wirklich für Power User gedacht.
Soviel zu den Formalitäten, schauen wir uns jetzt direkt an, wie das Ganze funktioniert und was wir mit RunwayML machen können.
Kernfunktionen und Merkmale von RunwayML
Wenn wir unseren Account erstellt haben und bei Runway eingeloggt sind, dann wird man erst einmal fast ein bisschen erschlagen von den vielen Möglichkeiten, die die Website uns bietet.
Wenn man ein bisschen nach unten scrollt, findet man von Runway selbst viele Tutorials, wie man die einzelnen Werkzeuge nutzt, also wenn dich etwas speziell interessiert, dann schau hier auf jeden Fall vorbei. Noch weiter unten sehen wir Beispiele und Generationen von anderen Usern und können uns dort einfach ein bisschen durchklicken und uns auch Inspiration für eigene Anweisungen an die KI holen.
Der Hauptanwendungsbereich von Runway ist aber die Erzeugung von Video und hier haben wir im Prinzip zwei hauptsächliche abgetrennte Bereiche mit vielleicht etwas irreführenden Namen – nämlich Gen1 und Gen2. Auch wenn das vielleicht so klingt, als wäre eine Version älter und schlechter ist das nicht ganz korrekt.
Runway Gen1 – Video-to-Video
Das erste Modell ist eine sogenannte Video-to-Video KI. Das bedeutet im Klartext wir laden ein Video hoch und können dieses dann verändern. Dabei haben wir die Möglichkeit ein Bild für die von uns gewünschte Stiländerung anzugeben, einen Stil aus einer Reihe von Vorlagen auszuwählen, zum Beispiel so etwas wie Neon, oder mit einer Texteingabe selbst zu definieren, wie wir das Video gerne verändern würden.
Egal für welchen Weg wir uns entscheiden können wir darunter noch angeben, wie stark wir das Originalvideo verändern wollen und dann mit dieser Preview Styles Funktion eine Vorschau generieren. Das ist eine super Funktion, den diese Vorschau kostet uns keine Credits und wir können schonmal so ein bisschen sehen, wie das Ergebnis vermutlich aussehen wird, im Zweifel Anpassungen vornehmen und nur dann das eigentliche Video mit Credits bezahlen, wenn wir relativ sicher sind, dass es auch passt.
Wenn wir ein Video generiert haben können wir das Ergebnis dann natürlich herunterladen. Über Rechte und Lizenzen sprechen wir gleich noch kurz. Auch im Editor eines Modells finden wir unten links den Punkt Tutorials und können gezielt Hilfe zu dem Bereich in dem wir uns gerade befinden bekommen – das finde ich wirklich sehr schön umgesetzt, denn es gibt bei der ersten Anwendung sicher einiges an Fragen, die dann direkt in der Oberfläche geklärt werden können.
Runway Gen2 – Image-to-Video und Text-to-Video
Das war also Gen1 – und was ist jetzt der Unterschied zu Gen2? Wenn wir das andere Modell wählen, wir dieser schnell ersichtlich. Bei Gen2 können wir Videos nicht aus existierenden Videos, sondern entweder aus Bilder, Textanweisungen oder einer Kombination aus beiden erzeugen lassen.
Ansonsten funktioniert das alles relativ ähnlich – auch hier haben wir die Möglichkeit gratis Vorschauen anfertigen zu lassen und dann erst ein wirkliches Video zu generieren und dafür Credits auszugeben, wenn wir uns relativ sicher sind, dass sich das auch lohnt.
Hinweis
Videos zu generieren ist mit Gen2 übrigens deutlich günstiger als bei Gen1 – auch ein Fakt, der vielleicht für das Einsetzen der kostenlosen Credits nicht ganz irrelevant ist.
In den allgemeinen Einstellungen können wir, wenn wir einen bezahlten Plan haben, das Wasserzeichen entfernen und Videos in einer höheren Auflösung als 720p generieren.
Je nach Art unserer Videoerzeugung haben wir außerdem weitere Tools zur Verfügung. Wenn wir ohne Bildvorlage arbeiten können wir das Seitenverhältnis bestimmen, also zum Beispiel 16:9 oder 1:1 für ein quadratisches Format. In den Kameraeinstellungen können wir bestimmte Bewegungen der Kamera vorgeben, zum Beispiel Zooms, Bewegungen zu den Seiten oder nach oben oder unten, aber auch kippen, Panning oder Rotation.
Noch genauer können wir Bewegungen definieren, wenn wir ein Bild verwenden und dann die sogenannte Motion Brush auswählen. Hier können wir ganz einfach Bereiche unseres Bilds mit verschiedenen Farben markieren, entweder mit intelligenter Unterstüzung für die Auswahl oder einfach mit Übermalen des Bilds und dann für jede Farbe über diese Regler an der Seite eine Bewegung definieren, die am Ende dargestellt werden soll.
Auch hier können wir das erzeugte Video ganz einfach herunteralden und bis zu 3 mal um 4 Sekunden verlängern, wobei man ehrlicherweise sagen muss, das bei vielen Verlängerungen die Qualität oft doch nachlässt.
Weitere KI-Tools bei Runway
Wenn wir nochmal zurück auf die Startseite schauen und dann bei den AI Tools auf View all Tools klicken, dann sehen wir dass es eine Unzahl von weiteren Anwendungen gibt, viele im Bezug auf Bild und Videobearbeitung, aber zum Beispiel auch Generative Audio für das Erzeugen von Audio-Dateien oder die Erstellung von Untertiteln.
Bei einigen der Tools wie zum Beispiel Color Grade, also Farbanpassungen ist das sogar gratis nutzbar, wir müssen also keine Credits einsetzen. Hier kann man sogar die .cube Datei herunterladen, wenn man diese Art von Farbanpassung selbst weiter verwenden will – sehr cool.
Der Video Project Editor von RunwayML
Einen Punkt möchte ich noch kurz erwähnen und das sind Video Editor Project, also Video-Projekte, die wir hier in der Seitenleiste finden. Mit dem kostenlosen Plan können wir bis zu drei solcher Projekte anlegen und bekommen dort quasi einen eigenen Video-Editor, in dem wir unsere erzeugten Clips zusammenschneiden und weiter bearbeiten können.
Dort gibt es außerdem noch einige Tools mit KI Unterstüzung, mit der Greenscreen Funktion können wir beispielweise ganz einfach ein Objekt im Video markieren und so “ausschneiden” und in ein anderes Video platzieren. Hierfür brauchen wir ebenfalls keine Credits und bekommen schon relativ gute Software, um unsere Videos zu bearbeiten – diese müssen dabei auch nicht von Runway erzeugt sein, wir können selbstverständlich eigenes Material hochladen.
Alles was wir erzeugt haben, finden wir jederzeit unter Assets in der linken Seitenleiste.
Wie gesagt, man könnte stundenlang über alle Funktionen sprechen, aber ich denke wir haben jetzt einen ganz guten Überblick als Startpunkt und ich möchte auch nochmal auf die Tutorials direkt von Runway zu den verschiedenen Funktionen hinweisen, die wirklich gut gemacht und leicht verständlich sind.
Lizenzen und Rechte bei Videos von Runway
Die gute Nachricht zuerst: Aller Inhalt, den wir mit Runway erzeugen “gehört uns” und kann demenstprechend ohne Einschränkungen für nicht-kommerzielle und kommerzielle Zwecke von uns verwendet werden. Es gibt keine Pflicht Runway zu erwähnen, wenn wir die Inhalte verwenden. Natürlich haben wir aber im kostenlosen Plan immer das Wasserzeichen in unseren Videos, das auf die Herkunft hinweist. In bezahlten Plänen ist das aber dann nicht mehr der Fall und wir können eigentlich uneingeschränkt mit den Videos machen, was wir wollen.
Der Haken, der aber aktuell eben bei eigentlich allen KI-Tools in diesem Bereich so ist: Wir gewähren für alle erzeugten Inhalte RunwayML eine umfangreiche Lizenz, die zum einen dafür sorgt, dass alles reibungslos funktioniert aber auch beinhaltet, dass andere User unsere Inhalte sehen können und verwenden, um eigene Videos daraus zu erschaffen. Es ist also schon keine Kleinigkeit, denn damit können Dritte ganz leicht unseren Stil und unsere Ideen kopieren und adaptieren.
Wie immer auch nochmal hier der Hinweis bei diesem Thema: Am besten immer tagesaktuell in die Nutzungsbedingungen von RunwayML schauen, da sich hier oft etwas ändert und die Info aus diesem Video ist möglicherweise in der Zukunft nicht mehr aktuell.
Die Zielgruppe von RunwayML
Die Erzeugung von KI-generierten Videos ist natürlich ein bisschen speziell und eine Anwendung, die sicherlich nicht jeder braucht. Die 125 kostenlosen Credits würde ich aber jedem von euch empfehlen, man kann einfach ein bisschen mit Runway experimentieren und sich selbst ein Bild davon machen, wie gut das jetzt schon funktioniert.
Darüber hinausgehende bezahlte Pläne richten sich sicherlich dann hauptsächlich an Content Creator, aber auch Personen, die sonst mit Film arbeiten und vielleicht oft auf eine begrenzte Auswahl von Stock-Videos zurückgreifen müssen, um etwas zu visualisieren. Hier gibt es sicher eine Menge Potenzial, durch die Möglichkeit Videos zu quasi jedem Input zu erzeugen.
Vor- und Nachteile von RunwayML
✅ Die Stärken
- Erzeugung von sehr guten Videos mithilfe von künstlicher Intelligenz
- Kostenlose Vorschaufunktion
- 125 kostenlose Credits zum Ausprobieren
- Konstant neue Funktionen und Innovationen
- Riesige Suite an KI-Tools für Kreative
❌ Die Schwächen
- Videos sind nicht immer perfekt (Probleme bei Bewegungen, Artefakte im Video)
- Kostenlose Credits sind schnell aufgebraucht
- Umfangreiche Lizenz für Runway bei unseren erzeugten Inhalten
Wer steckt eigentlich hinter Runway?
Runway ist ein amerikanisches Unternehmen, das schon 2018 von Cristóbal Valenzuela, Alejandro Matamala und Anastasis Germanidis gegründet wurde. Die drei haben sich in der New York University Tisch School of the Arts kennengelernt, einer Hochschule für Medien, also interessanterweise kommt das Gründerteam hier ursprünglich also aus der Richtung der erzeugten Ergebnisse und nicht klassische aus dem Machine Learning/Informatik Bereich.
Das sieht man auch daran, dass Runway jährlich Filmfestivals in New York und Los Angeles veranstaltet. Ein schönes Beispiel dafür, dass auch wirklich einmal Personen aus dem “klassischen” Zweig einer Branche in Richtung KI gehen und damit sehr erfolgreich sind.
In den sechs Jahren konnte Runway schon eine Menge Investitionen einsammeln, auch schon vor dem Hype um ChatGPT und künstliche Intelligenz im Allgemeinen, zuletzt waren es im Juni 2023 141 Millionen Dollar und damit eine Unternehmensbewertung von 1.5 Milliarden US Dollar.
Abschlussbewertung und Alternativen
Auch wenn wir selbst keinen Premium-Account bei Runway besitzen, da wir aktuell keine Verwendung dafür haben, finden wir das Tool sehr beeindruckend und die Ergebnisse sind teilweise wirklich gut. Viele Features sorgen dafür, dass wir nicht nur einfach ein Video erstellen können, sondern gezielt mit diesem arbeiten, konkrete Bewegungsabläufe definieren und mehr.
Etwas schade ist es natürlich, dass man ohne zu bezahlen nur relativ wenig generieren kann, andererseits auch verständlich, da die Erzeugung von Video sehr rechenintensiv ist und dementsprechend das Unternehmen auch kostet.
Wenn es um Alternativen geht, dann gibt es aktuell unserer Meinung nach keinen “wirklichen” Konkurrenten für Runway. Sora sieht zwar beeindruckend aus, aber außer den Demo-Videos und widersprüchlichen Äußerungen von CTO Mira Murati, die sagt noch dieses Jahr und dem Sora-Team das sagt, nicht in absehbarer Zeit, gibt es keine Info dazu wie und wann wir das verwenden können.
Pika war eine große Hoffnung von uns, wir haben allerdings nach den ersten Tests nach der Veröffentlichung nicht einmal ein Video dazu gemacht, da wir es einfach für nicht gut genug befunden haben und auch bei der Arbeit an diesem Video hat sich diese Einschätzung für uns wiederholt, deshalb steht RunwayML Stand heute als klare Nummer eins im Bereich Text- und Image-To-Video da.
