Видеонейросеть от OpenAI — то чего мы не заслужили

15 февраля OpenAI выпустила нейронку для создания видосов — Sora! И теперь это лучшая тулза для генерации видео — отличить от настоящей съёмки невозможно.

Эта штуковина умеет имитировать разные виды съёмок, например, пролёты дрона, или съёмку с рук. Промпты абсолютно не сложные, например этот - “Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.” Такое написать можно с помощью ChatGPT и чьей-то матери за минуты две.

Sora — не ещё одна нейросеть, а полноценный физический движок со сложным рендерингом. Модель умеет считать движение объектов, их взаимодействия и даже материалы. Джим предполагает, что в OpenAI обучали Sora на данных с Unreal Engine 5! Отсюда вы видите чешуйки кожи хамелеона и кота, который потешно бьёт по носу хозяйку.

Sora - это глобальный прорыв, а не творческая игрушка. Руководитель отдела ИИ в Nvidia Джим Фан на примере одного видоса доступно объяснил масштаб произошедшего.

Пока это только первая модель, но уже сейчас фотореализм Sora практически догнал рейтрейсинг. Динамика жидкости в кофе, пена вокруг кораблей — это отдельная область компьютерной графики со сложнейшими алгоритмами и уравнениями. Инженер буквально сходит с ума от выверенности происходящего: Sora учла небольшой по сравнению с океаном размер чаши и взяла кадр под углом, чтобы визуально уменьшить сцену!

Промпт: “Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.”

На данный момент нейросеть доступна для некоторых компаний и видеомейкеров, остальным остаётся ждать полноценный релиз. Так за одну презентацию OpenAI заставила содрогнуться десяток индустрий. Ну а для тех, кто адекватно воспринимает ситуацию, ещё раз напомню цитату Альтмана - “Нейросети могут отобрать работу у людей. Но только у тех людей, кто не будет пользоваться нейросетями.”

Наливаем кофе и ждём НЕИСТОВО огромное количество видеоконтента на самые разные в ближайшее время!

“A young man at his 20s is sitting on a piece of cloud in the sky, reading a book.”

“Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.”

“A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.”

“Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.”

“A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.”