Adobe revela ferramenta bizarra IA de upscaling de vídeos – Tecnoblog

A Adobe divulgou um novo modelo de IA para upscaling de vídeos, o VideoGigaGAN. Esta aplicação ainda está em fase de desenvolvimento e foi apresentada pela empresa em um artigo de pesquisa prévia, publicado no dia 18 de abril. O VideoGigaGAN promete melhorar em até oito vezes a qualidade dos vídeos enviados no prompt.

O GAN do nome do modelo significa Generative Adversial Networks (Redes Adversariais Gerativas em tradução direta), uma tecnologia usada para fotos e outras imagens estáticas. Sua aplicação em vídeo traz alguns elementos que tremiam, além de falhas comuns em vídeos gerados por IA — conhecidas como “alucinações de IA”.

Entre os autores do artigo Dois membros da Universidade de Maryland estão, mas todos os outros são pesquisadores da própria Adobe. O papel pode ser acessado pelo Arxiv.

VideoGigaGAN mostra resultados altamente realistas

Os vídeos de projeções divulgadas pela Adobe mostram resultados altamente realistas. Além disso, na página da novidade no GitHubo upscaling realmente consegue “recuperar” vídeos em qualidades baixíssimas, entregando uma maior resolução.

Nos exemplos da Adobe, os vídeos do prompt (aqueles que precisam ser melhorados) possuem 128 x 128 pixels. O VideoGigaGAN produz então vídeos com até 1024 x 1024 pixels de resolução — valores “próximos” a qualidade HD, mas que não está no padrão definido para qualidade HD. Os vídeos usados ​​como base aparecem com a sigla “GT” nos comparativos.

A Adobe divulgou também os testes do VideoGigaGAN para produzir vídeos de 512 x 512 pixels com prompts genéricos — vídeos que não passaram pelo processo de redução da qualidade como nos casos com GTs. Em ambas as resoluções, os resultados parecem bem naturais. No futuro próximo, além das dúvidas sobre imagens e vídeos gerados por IA, teremos o mistério de vídeos que passaram por upscaling de IA.

Recentemente, um Microsoft divulgou o desenvolvimento de um “deepfake” para não depender de webcams em videochamadas. Nas projeções da big tech, você pode ver defeitos, como dentes crescendo enquanto o avatar fala. E por mais que o VideoGigaGAN seja uma tecnologia de upscaling e não geração, é comum que IAs de upscaling alucinem na melhoria de imagem.

Adobe Firefly 3 lançado quarta-feira

Ainda no tópico IA e Adobe, A empresa anunciou nesta quarta-feira (23) o lançamento do Firefly Image 3. O Firefly é uma ferramenta de IA geradora de imagens da Adobe, que pode ser usada no Photoshop não apenas para a criação de imagem, mas também para auxiliar na edição de uma arte.

Com informações: A beira