Прориви та вплив технологій генерації відео за допомогою ШІ

Нещодавно однією з найзначніших змін у сфері ШІ стало значне досягнення в технології мультимодального генерації відео. Ця технологія еволюціонувала від генерації відео на основі одного лише тексту до інтеграції тексту, зображень та аудіо в повноцінну генерацію. Цей прогрес приніс безліч вражаючих технічних прикладів.

Відкритий фреймворк EX-4D від деякої технологічної компанії може перетворювати звичайні відео на контент у вільному куті огляду 4D, а рівень схвалення користувачів становить 70,7%. Ця технологія дозволяє відео з однієї точки зору демонструвати багатогранний ефект перегляду, значно спрощуючи роботу, яку традиційно потрібно було виконувати професійній команді 3D-моделювання.

Інша компанія запустила платформу «绘想», яка стверджує, що може перетворити одне зображення на 10-секундне відео «кіноякісного» рівня. Хоча її фактична ефективність ще потребує перевірки, ця функція безумовно демонструє потенціал генерації відео за допомогою ШІ.

На міжнародному рівні технологія Veo, розроблена відомим AI-дослідницьким інститутом, досягла синхронної генерації 4K відео та навколишнього звуку. Ця технологія подолала труднощі синхронізації звуку та зображення в складних сценах, наприклад, забезпечуючи ідеальне узгодження між рухом ходьби на екрані та звуком кроків.

Крім того, технологія ContentV певної платформи коротких відео може за 2,3 секунди згенерувати відео в якості 1080p за допомогою моделі з 8 мільярдами параметрів, а вартість становить лише 3,67 юаня за 5 секунд. Незважаючи на те, що в обробці складних сцен ще є простір для вдосконалення, контроль витрат вже досить вражаючий.

Ці технологічні прориви мають значну цінність і значення в таких аспектах, як якість відео, вартість генерації та сценарії застосування. З технологічної точки зору, складність багатомодальної генерації відео зростає експоненційно. Вона повинна обробляти мільйони піксельних точок, забезпечувати послідовність часу для сотень кадрів, а також враховувати синхронізацію звуку і просторову узгодженість 3D.

На даний момент це складне завдання вже можна реалізувати шляхом модульного розподілу та співпраці великих моделей. Наприклад, технологія EX-4D розбиває завдання на кілька модулів, таких як глибокий аналіз, перетворення перспективи, інтерполяція тимчасових рядів і оптимізація рендерингу, кожен з яких зосереджується на конкретному завданні, співпрацюючи через механізм координації.

У питанні витрат оптимізація архітектури висновків відіграє ключову роль. Це включає в себе такі технології, як ієрархічні стратегії генерації, механізми повторного використання кешу та динамічне розподілення ресурсів. Ці заходи з оптимізації спільно сприяли низьковитратному генеруванню відео, як у випадку з ContentV.

Ці технологічні досягнення завдали величезного удару традиційній індустрії відеовиробництва. Традиційне відеовиробництво зазвичай потребує великої кількості обладнання, приміщень, акторів та постобробки, що є дорогим. А технології штучного інтелекту спростили цей процес до введення підказок і короткого очікування, водночас забезпечуючи кути зйомки та спецефекти, яких важко досягти традиційними методами. Ця революція може змінити всю екосистему економіки творців.

Розвиток цих Web2 AI технологій також відкрив нові можливості для Web3 AI:

1. Зміна структури попиту на обчислювальні потужності створила можливості для розподілених незайнятих обчислювальних потужностей, а також може збільшити попит на розподілені моделі тонкого налаштування, алгоритми та платформи для виводу.

2. Зростання потреби в маркуванні даних може стимулювати професіоналів (таких як фотографи, звукорежисери, 3D-художники тощо) надавати високоякісні матеріали, що підсилює можливості генерації відео на основі ШІ.

3. Розвиток технологій штучного інтелекту в бік модульної співпраці сам по собі створює нові вимоги для децентралізованих платформ.

У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть утворити самоукріплювальний позитивний цикл, що сприятиме глибокій інтеграції Web3 AI та Web2 AI.