Microsoft macht mit einem neuen KI-Modell jetzt Deep Fakes, OpenAIs Sora wird wohl bald in Adobes Videosoftware verfügbar sein und der KI-Software-Entwickler Devin ist vielleicht doch nicht so gut wie gedacht.
Wie immer haben wir für dich die wichtigsten News aus der KI Welt zusammengefasst.
🎬 Microsoft Vasa-1
Aus dem Nichts hat Microsoft ein neues Modell mit dem Namen VASA-1 vorgestellt. Wer sich an die Demos von EMO von der Alibaba Group erinnert wird mit Sicherheit einige Ähnlichkeiten bei Vasa erkennen. Man gibt der KI ein Porträtbild und eine Audio-Datei und daraus wird ein Video erzeugt, das täuschend echt aussieht.
Alle Beispiele findest Du auf der Projektseite von Microsoft.
Vasa soll aber nicht nur die Lippenbewegungen nachahmen, sondern auch natürlich Kopfbewegungen mit in die Videos einbauen. In ein paar weiteren Beispielen wird gezeigt, wie über weitere Anweisungen, wie Kopfausrichtung verschiedene Versionen erzeugt werden können.
Wer jetzt hofft, das bald selbst ausprobieren zu können muss aber enttäuscht werden. Microsoft kommuniziert ganz klar, dass zum einen keine echten Personen in den Videos zu sehen sind – die Portraits sind ebenfalls mit KI generiert worden, und zum anderen gibt es keine Pläne Vasa als Produkt oder API zu veröffentlichen. Und sind wir mal ehrlich – das ist vermutlich auch gut so.
🅰️ Adobe bringt neue KI-Features und Sora?
Adobe hat neue Funktionen für die eigene Videobearbeitungssoftware Premiere Pro angekündigt. Der größte Teil der KI-lastigen Ankündigungen war die Integration des Firefly Video Modells. Dieses kann dabei helfen, Video Inpainting zu machen, das bedeutet einzelne Bereiche in einem Video dynamisch mit anderen Inhalten zu ersetzen oder Objekte komplett zu entfernen. Die Demos sehen schon ganz gut aus, sind aber natürlich mal wieder sehr gut ausgewählt, sodass keine übermäßigen Bewegungen von der KI verarbeitet werden müssen.
Außerdem wurde Generative Extend gezeigt, eine Möglichkeit Clips zu verlängern, indem KI-generiertes Video hinzugefügt wird. Und hier wird es interessant: Denn neben der eigenen KI sollen wohl bald auch Lösungen von Drittanbietern wie Pika verfügbar sein, um Video zu generieren und so Clips zu erweitern.
Und dann kam die große Überraschung, denn auch SORA wurde als Teil von Premiere Pro gezeigt. Hier geht es nicht um die Erweiterung von Clips, sondern wirklich reine Erzeugung von neuem Material – wofür OpenAIs Video KI ja auch gemacht ist. So kann zum Beispiel B-Roll erzeugt werden.
Wann diese Funktionen tatsächlich in Premiere verfügbar sein werden, ist aber aktuell noch offen, wir halten euch aber auf dem Laufenden! Neben Sora wird übrigens wohl auch RunwayML, unser letztes Tool der Woche für das Erzeugen von B-Roll integriert.
Damit wir jetzt nicht mit unerkennbaren Fake-Videos überschwemmt werden führt Adobe auch Content Credentials ein, damit klar erkennbar wird, welche KI-Modelle für die Erstellung eines Films genutzt wurden.
🥷🏻 KI schleicht sich immer mehr ein
Ein Fund eines Twitter Users zeigt, wie sehr KI-generiertes Material sich schon in unseren Alltag, bzw. Dienste, die wir nutzen eingeschlichen hat. Nick St. Pierre zeigt, dass von allen in Adobe Stock vorhandenen Bildern mittlerweile 13,8% mit KI erzeugt wurden.
Und man muss dazu sagen: Die Dunkelziffer ist sehr wahrscheinlich noch höher, denn hier werden ja nur die Bilder erfasst, bei denen die Erstellerinnen und Ersteller selbst angeben, das sie KI-generiert sind. Bei spezielleren Themen, wie beispielsweise Fantasy, liegt die Quote noch sehr viel höher: Hier sind 43,9% aller Adobe Stock Fotos nicht echt.
🤖 Neuer Boston Dynamics Roboter
Boston Dynamics hat in einem kurzen Video, das ein bisschen an einen Horrorfilm erinnert den neuen Roboter Atlas vorgestellt. Auch wenn Atlas relativ klar erkennbar noch an einer menschlichen Form orientiert ist, zeigt die Demo, dass sich Roboter natürlich nicht an die physikalischen Einschränkungen von uns Menschen halten müssen. Der neue Atlas wird als Pilotprojekt in einer neuen Produktion von Hyundai eingesetzt werden, bekommt also direkt eine praktische Anwendung.
🦙 Llama 3 Release
Nachdem im Open Source Bereich in letzter Zeit viel passiert ist und wir mit Command R Plus jetzt auch ein Open Source Modell haben, das in der Chatbot Arena sogar eine GPT-4 Version geschlagen hat, wollte Meta vermutlich nicht länger einfach nur zuschauen und hat neue Versionen des eigenen Llama Modells, Llama 3 vorgestellt.
Alle wichtigen Infos haben wir für dich in einem eigenen Video und einem Artikel auf unserer Website zusammengefasst. Laut Meta soll es sich bei der neuen Llama Generation um die leistungsstärksten Open Source Modelle auf dem Markt handeln und wir sind gespannt, was hier in Zukunft auf uns zukommen wird.
Wer die beiden öffentlich verfügbaren Modelle Llama 3 8B und 70B testen möchte, kann das ohne Login auf der Website der Chatbot Arena machen. Dazu kann man einfach oben im Menü den Punkt „Direct Chat“ auswählen und sofort loslegen. Wir werden aber natürlich auch in den nächsten Tagen und Wochen ausgiebige Tests damit für euch machen und unsere Ergebnisse selbstverständlich mit euch teilen.
4️⃣ Neues GPT-4 Level Modell Reka
Der KI-Hype geht aktuell was neue Modelle angeht wirklich ungebrochen weiter. Neben der Llama Ankündigung wurde auch ein weiteres, neues Modell namens Reka ein bisschen aus dem Nichts veröffentlicht und der Chatbot kann sogar umsonst genutzt werden.
In ersten Benchmarks und auch bei unseren Tests scheint Reka auf GPT-4 Niveau zu liegen und bietet damit schon wieder eine Alternative mehr zu den üblichen Verdächtigen. Es ist sogar direkt von Beginn an der Upload von Fotos möglich, also auch nochmal Vision-Fähigkeiten, die wir mit einem kostenlosen Chatbot verwenden können
📍 Humane AI Pin Tests
Der AI Pin von Humane, das erste wirkliche KI Wearable hat einiges an Kritik einstecken müssen. In verschiedensten Produktbewertungen, die über die letzten Tage veröffentlicht wurde, gab es wenig positives am auch noch relativ teuren Gadget zu finden.
Das prominenteste Beispiel war sicher das Review von Marques Brownlee, der den AI Pin als “Das schlechteste Produkt, dass ich je getestet habe…bis jetzt” bezeichnet hat. Aber die Meinung aller Tester ist eigentlich ähnlich – der Pin macht nichts, was ein Smartphone nicht auch schon kann und auch das Laser-Display, das Informationen auf der eigenen Hand anzeigt, konnte nicht überzeugen und ist mühsam zu bedienen.
📿 Limitless Pendant Wearable
Scheinbar unbeeindruckt von der ganzen negativen Kritik gegenüber dem AI Pin hat das Unternehmen Limitless ein neues KI Wearable vorgestellt – das Limitless Pendant, das vom Stil und der Vorstellung aussieht, als könnte es auch ein Apple Produkt sein.
Interessant bei Limitless ist, dass es eigentlich schon eine Plattform vor dem Wearable gab, mit einer Web, Windows und Mac App, die jeweils mit KI dafür sorgen sollen, dass wir produktiver arbeiten können und KI-Unterstützung jederzeit an unserer Seite ist.
Das Pendant ist jetzt eine Ergänzung, die sich nahtlos in das bestehende System einfügen soll und relativ wenig Schnick Schnack bietet, dafür aber auch nur 99 Dollar kostet. Wir sind gespannt, was der Kollege Marques in der Zukunft vielleicht über dieses Wearable sagen wird.
👀 Grok 1.5 mit Vision
Die neue Grok Version 1.5 soll Bilderkennung bekommen. Das neue Feature wird wohl zunächst ausgewählten Usern zur Verfügung stehen. Im Blogbeitrag zur Ankündigung wurden einige Beispiele der neuen Funktion gezeigt, die auf den ersten Blick auf jeden Fall sehr beeindruckend sind.
So erstellt Grok aus einem Diagramm funktionsfähigen Code, erklärt Memes und schreibt auf Grundlage einer Kinderzeichnung eine Geschichte zum Bild. Mal schauen, ob Grok Vision diese hohen Erwartungen dann auch in der Praxis erfüllen kann.
🕳️ OpenAI kämpft gegen Leaks
In den letzten Wochen und Monaten konnten wir uns ja immer wieder über Leaks von neuen Innovationen bei OpenAI “freuen”. Das Unternehmen hat da natürlich etwas dagegen und geht jetzt intern härter gegen die Personen vor, über die Informationen nach draußen sickern. Im Zuge dieser Untersuchungen wurden jetzt zwei Personen gefeuert, da sie für “schuldig” befunden wurden, nicht für die Öffentlichkeit bestimmte Infos weitergegeben zu haben.
Da die Meldung darüber aber selbst nicht öffentlich von OpenAI kommuniziert wurde sondern, ironischerweise, geleakt ist, scheint es so, als gäbe es doch noch etwas mehr zu tun.
🤥 Die Devin-Lüge
Der autonome KI-Agent Devin, der seit seiner Vorstellung für viel Aufregung gesorgt hat ist vielleicht gar nicht so beeindruckend, wie es zuerst aussah. Erst wurde über OpenAI bekannt , dass Devin vor allem GPT-4 Turbo mit Vision für die Erledigung der Aufgaben nutzt, also im Zweifel gar nicht viel eigene Technologie, abgesehen von der autonomen Arbeitsweise mitbringt. Und jetzt hat der YouTube Kanal Internet of Bugs ein ausführliches Video veröffentlicht, das zeigen soll, wie zumindest bei einer der Demos etwas versprochen wird, das gar nicht stimmt.
Konkret geht es um den Programmier-Job von der Plattform Upwork, den Devin angeblich eigenständig erledigt hat. Bei genauerer Betrachung und mit geschultem Auge fällt auf, dass die eigentliche Aufgabe überhaupt nicht bearbeitet wurde und Devin eigentlich nur eine Lösung, die im bereitgestellten Code bereits vorhanden war in einer schlechteren Version nachgebaut hat.
Es ist wirklich interessant zu sehen, wie Schein und Sein oft auseinandergehen – nicht einmal uns ist es bei der ersten Recherche damals aufgefallen, dass hier zumindest zum Teil die Ergebnisse etwas geschönt wurden.
