Sora OpenAI: реалистичные видео с помощью текста

Компания OpenAI представила программу Sora — новую модель генерации видео, которая способна создавать реалистичные видеоролики из простых текстовых описаний продолжительностью до 1 минуты. Эта технология открывает уникальные возможности для различных отраслей, включая развлечения, образование и маркетинг.

ИИ умел создавать видео и раньше, но генерации приводили к неудовлетворительным результатам, которые были далеки от ожиданий как по качеству, так и по реалистичности. Однако недавние достижения в этой области просто поразительны, они демонстрируют колоссальный прогресс. Некоторый ролики практически неотличимы от реальных кадров.

Как работает Sora?

Sora использует передовую архитектуру трансформера, подобную той, что используется в популярных языковых моделях, таких как GPT. Sora специально обучена на огромном наборе данных видео и текстовых запросов. Это позволяет модели понимать семантические связи между текстом и визуальными элементами.

Когда Sora получает текстовое описание, она разбивает его на последовательность токенов. Затем модель использует свои знания для создания последовательности изображений, которые соответствуют описанию. Кроме того, Sora OpenAI обладает способностью дополнять уже существующие видеоролики новыми кадрами. Это означает, что можно расширять видео дополнительными сценами, вставлять в ролики объекты или существ, а также менять фон.

Недостатки

Данная модель еще не идеальна. Она может испытывать трудности с точным моделированием физики в сложных сценах. К этому относится динамика жидкости, анимация столкновений, симуляция ткани, волос, огня и т.п. Кроме того, Sora не всегда понимает причинно-следственные связи. Например, она сгенерирует человека, откусывающего яблоко, но не покажет след укуса на самом яблоке. Также модель иногда может путаться в пространственных деталях, таких как лево- право или движение камеры по определенной траектории.

Будущее Sora

В настоящее время Sora находится на этапе доработки. Сейчас ее тестируют специалисты различных отраслей для оценки и обратной связи, но в скором времени ее использование будет доступно и обычным пользователям. По мере того, как модель продолжает обучаться и совершенствоваться, мы можем ожидать, что она будет генерировать еще более реалистичные и захватывающие видеоролики.


Здесь вы можете посмотреть видеоролики, созданные с помощью Sora OpenAI.

Смотреть