A quebra e o impacto da tecnologia de geração de vídeos por IA
Recentemente, uma das mudanças mais significativas no campo da IA é o grande avanço na tecnologia de geração de vídeo multimodal. Esta tecnologia evoluiu de gerar vídeos a partir de texto único para integrar capacidades de geração de toda a cadeia com texto, imagens e áudio. Esse progresso trouxe vários casos de uso técnico impressionantes.
Uma estrutura EX-4D de uma empresa de tecnologia que é open source pode converter vídeos comuns em conteúdo 4D de ângulo livre, com um nível de aceitação do usuário de 70,7%. Esta tecnologia permite que vídeos de um único ângulo apresentem efeitos de visualização de múltiplos ângulos, simplificando imensamente o trabalho que tradicionalmente exigiria uma equipe profissional de modelagem 3D.
Outra empresa lançou a plataforma "HuiXiang", que afirma ser capaz de transformar uma única imagem em um vídeo de "qualidade cinematográfica" com 10 segundos de duração. Embora os efeitos reais ainda precisem ser verificados, esta funcionalidade certamente demonstra o potencial da geração de vídeos com IA.
A tecnologia Veo, desenvolvida por uma conhecida instituição de pesquisa em IA, conseguiu gerar vídeos em 4K e sons ambientes de forma sincronizada a nível internacional. Esta tecnologia supera o desafio da sincronização de áudio e vídeo em cenários complexos, como fazer com que as ações de caminhada na imagem coincidam perfeitamente com os sons dos passos.
Além disso, a tecnologia ContentV de uma plataforma de vídeos curtos, através de um modelo de 8 bilhões de parâmetros, consegue gerar vídeos em 1080p em 2,3 segundos, com um custo de apenas 3,67 yuan/5 segundos. Embora ainda haja espaço para melhorias no tratamento de cenários complexos, o controle de custos já é bastante significativo.
Esses avanços tecnológicos têm um valor e significado significativos em termos de qualidade de vídeo, custo de geração e cenários de aplicação. Do ponto de vista técnico, a complexidade da geração de vídeo multimodal cresce de forma exponencial. Não só precisa lidar com milhões de pontos de pixels, mas também garantir a coerência temporal de centenas de quadros, ao mesmo tempo em que considera a sincronização de áudio e a consistência no espaço 3D.
Atualmente, essa tarefa complexa pode ser realizada através da decomposição modular e da colaboração em grande escala. Por exemplo, a tecnologia EX-4D divide a tarefa em vários módulos, como estimativa de profundidade, conversão de perspectiva, interpolação temporal e otimização de renderização, cada um focado em uma tarefa específica, coordenando-se entre si.
Na questão de custos, a otimização da arquitetura de inferência desempenhou um papel crucial. Isso inclui tecnologias como estratégias de geração em camadas, mecanismos de reutilização de cache e alocação dinâmica de recursos. Essas medidas de otimização contribuíram coletivamente para a geração de vídeo de baixo custo, como a ContentV.
Esses avanços tecnológicos causaram um grande impacto na indústria tradicional de produção de vídeo. A produção de vídeo tradicional geralmente requer uma grande quantidade de equipamentos, locais, atores e pós-produção, com custos elevados. A tecnologia de IA simplifica esse processo para a entrada de palavras-chave e uma espera curta, ao mesmo tempo que permite ângulos e efeitos especiais que são difíceis de alcançar com a filmagem tradicional. Essa transformação pode remodelar toda a economia dos criadores.
O desenvolvimento destas tecnologias de IA Web2 trouxe novas oportunidades para a IA Web3:
A mudança na estrutura da demanda por poder computacional criou oportunidades para poder computacional ocioso distribuído e pode aumentar a demanda por modelos de ajuste fino distribuídos, algoritmos e plataformas de inferência.
O aumento da demanda por rotulagem de dados pode incentivar profissionais (como fotógrafos, sonoplastas, artistas 3D, etc.) a fornecer materiais de dados de alta qualidade, fortalecendo assim a capacidade de geração de vídeos por IA.
O desenvolvimento da tecnologia de IA rumo à colaboração modular cria, por si só, uma nova demanda para plataformas descentralizadas.
No futuro, a capacidade de computação, dados, modelos e mecanismos de incentivos poderão formar um ciclo virtuoso de auto-reforço, promovendo a fusão profunda entre cenários de Web3 AI e Web2 AI.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
9 Curtidas
Recompensa
9
5
Compartilhar
Comentário
0/400
ChainBrain
· 10h atrás
Tanta gente misturada, quem é verdadeiro e quem é falso?
Ver originalResponder0
ponzi_poet
· 07-30 04:38
Só te pergunto: entrar numa posição ou não? A AI tem subido muito recentemente.
Ver originalResponder0
ser_we_are_early
· 07-30 04:28
Quem entende, entende. A tecnologia do futuro é realmente louca.
Ver originalResponder0
RooftopVIP
· 07-30 04:27
Esta onda de ai é realmente bull!
Ver originalResponder0
ApeWithAPlan
· 07-30 04:22
Brincar com AI é o verdadeiro APE, quantos idiotas fazem as pessoas de parvas e continuam a ser cortados.
A tecnologia de geração de vídeo por IA quebra barreiras, remodelando o ecossistema de criação e novas oportunidades no Web3.
A quebra e o impacto da tecnologia de geração de vídeos por IA
Recentemente, uma das mudanças mais significativas no campo da IA é o grande avanço na tecnologia de geração de vídeo multimodal. Esta tecnologia evoluiu de gerar vídeos a partir de texto único para integrar capacidades de geração de toda a cadeia com texto, imagens e áudio. Esse progresso trouxe vários casos de uso técnico impressionantes.
Uma estrutura EX-4D de uma empresa de tecnologia que é open source pode converter vídeos comuns em conteúdo 4D de ângulo livre, com um nível de aceitação do usuário de 70,7%. Esta tecnologia permite que vídeos de um único ângulo apresentem efeitos de visualização de múltiplos ângulos, simplificando imensamente o trabalho que tradicionalmente exigiria uma equipe profissional de modelagem 3D.
Outra empresa lançou a plataforma "HuiXiang", que afirma ser capaz de transformar uma única imagem em um vídeo de "qualidade cinematográfica" com 10 segundos de duração. Embora os efeitos reais ainda precisem ser verificados, esta funcionalidade certamente demonstra o potencial da geração de vídeos com IA.
A tecnologia Veo, desenvolvida por uma conhecida instituição de pesquisa em IA, conseguiu gerar vídeos em 4K e sons ambientes de forma sincronizada a nível internacional. Esta tecnologia supera o desafio da sincronização de áudio e vídeo em cenários complexos, como fazer com que as ações de caminhada na imagem coincidam perfeitamente com os sons dos passos.
Além disso, a tecnologia ContentV de uma plataforma de vídeos curtos, através de um modelo de 8 bilhões de parâmetros, consegue gerar vídeos em 1080p em 2,3 segundos, com um custo de apenas 3,67 yuan/5 segundos. Embora ainda haja espaço para melhorias no tratamento de cenários complexos, o controle de custos já é bastante significativo.
Esses avanços tecnológicos têm um valor e significado significativos em termos de qualidade de vídeo, custo de geração e cenários de aplicação. Do ponto de vista técnico, a complexidade da geração de vídeo multimodal cresce de forma exponencial. Não só precisa lidar com milhões de pontos de pixels, mas também garantir a coerência temporal de centenas de quadros, ao mesmo tempo em que considera a sincronização de áudio e a consistência no espaço 3D.
Atualmente, essa tarefa complexa pode ser realizada através da decomposição modular e da colaboração em grande escala. Por exemplo, a tecnologia EX-4D divide a tarefa em vários módulos, como estimativa de profundidade, conversão de perspectiva, interpolação temporal e otimização de renderização, cada um focado em uma tarefa específica, coordenando-se entre si.
Na questão de custos, a otimização da arquitetura de inferência desempenhou um papel crucial. Isso inclui tecnologias como estratégias de geração em camadas, mecanismos de reutilização de cache e alocação dinâmica de recursos. Essas medidas de otimização contribuíram coletivamente para a geração de vídeo de baixo custo, como a ContentV.
Esses avanços tecnológicos causaram um grande impacto na indústria tradicional de produção de vídeo. A produção de vídeo tradicional geralmente requer uma grande quantidade de equipamentos, locais, atores e pós-produção, com custos elevados. A tecnologia de IA simplifica esse processo para a entrada de palavras-chave e uma espera curta, ao mesmo tempo que permite ângulos e efeitos especiais que são difíceis de alcançar com a filmagem tradicional. Essa transformação pode remodelar toda a economia dos criadores.
O desenvolvimento destas tecnologias de IA Web2 trouxe novas oportunidades para a IA Web3:
A mudança na estrutura da demanda por poder computacional criou oportunidades para poder computacional ocioso distribuído e pode aumentar a demanda por modelos de ajuste fino distribuídos, algoritmos e plataformas de inferência.
O aumento da demanda por rotulagem de dados pode incentivar profissionais (como fotógrafos, sonoplastas, artistas 3D, etc.) a fornecer materiais de dados de alta qualidade, fortalecendo assim a capacidade de geração de vídeos por IA.
O desenvolvimento da tecnologia de IA rumo à colaboração modular cria, por si só, uma nova demanda para plataformas descentralizadas.
No futuro, a capacidade de computação, dados, modelos e mecanismos de incentivos poderão formar um ciclo virtuoso de auto-reforço, promovendo a fusão profunda entre cenários de Web3 AI e Web2 AI.