Model de text a vídeo

Un model de text a vídeo és una forma d'intel·ligència artificial generativa que utilitza una descripció del llenguatge natural com a entrada per produir un vídeo rellevant per al text d'entrada. Els avenços durant la dècada del 2020 en la generació de vídeos d'alta qualitat i condicionats per text han estat impulsats en gran manera pel desenvolupament de models de difusió de vídeo.[1]

Models

Hi ha diferents models, inclosos els models de codi obert. Entrada en xinès[2] CogVideo és el primer model de text a vídeo "de 9.400 milions de paràmetres" que es va desenvolupar, amb la seva versió de demostració de codis de codi obert presentada per primera vegada a GitHub el 2022.[3] Aquell any, Meta Platforms va llançar un model parcial de text a vídeo anomenat "Make-A-Video",[4][5][6] i Brain de Google (més tard Google DeepMind) va introduir Imagen Video, un model de text a vídeo amb 3D U-Net.[7][5][8][9][10]

El febrer de 2023, Runway va llançar Gen-1 i Gen-2, entre els primers models de text a vídeo i vídeo a vídeo disponibles comercialment i accessibles al públic a través d'una interfície web. Gen-1, inicialment llançat com a model de vídeo a vídeo, permetia als usuaris transformar metratge de vídeo existent mitjançant indicacions de text o imatges.[11] Gen-2, introduït el març de 2023 i disponible públicament el juny de 2023, va afegir capacitats de text a vídeo, permetent als usuaris generar vídeos només a partir d'indicacions de text.[12]

El març de 2023 es va publicar un article de recerca titulat "VideoFusion: Models de difusió descomposts per a la generació de vídeo d'alta qualitat", que presentava un nou enfocament per a la generació de vídeo. El model VideoFusion descompon el procés de difusió en dos components: soroll base i soroll residual, que es comparteixen entre fotogrames per garantir la coherència temporal. Mitjançant la utilització d'un model de difusió d'imatges preentrenat com a generador base, el model va generar de manera eficient vídeos coherents i d'alta qualitat. L'afinament del model preentrenat en dades de vídeo va abordar la bretxa de domini entre les dades d'imatge i de vídeo, millorant la capacitat del model per produir seqüències de vídeo realistes i consistents. El mateix mes, Adobe va introduir Firefly AI com a part de les seves funcions.[13]

El gener de 2024, Google va anunciar el desenvolupament d'un model de text a vídeo anomenat Lumiere que es preveu que integri capacitats avançades d'edició de vídeo.[14] Matthias Niessner i Lourdes Agapito de l'empresa d'IA Synthesia treballen en el desenvolupament de tècniques de renderització neuronal 3D que poden sintetitzar vídeo realista mitjançant representacions neuronals 2D i 3D de forma, aparença i moviment per a la síntesi de vídeo controlable d'avatars.[15] El juny de 2024, Luma Labs va llançar la seva eina de vídeo Dream Machine.[16][17] Aquell mateix mes,[18] Kuaishou va ampliar el seu model de text a vídeo Kling AI a usuaris internacionals. El juliol de 2024, el propietari de TikTok, ByteDance, va llançar Jimeng AI a la Xina, a través de la seva filial, Faceu Technology.[19] El setembre de 2024, l'empresa xinesa d'IA MiniMax va estrenar el seu model de vídeo-01, unint-se a altres empreses de models d'IA establertes com Zhipu AI, Baichuan i Moonshot AI, que contribueixen a la participació de la Xina en la tecnologia d'IA.[20] El desembre de 2024, Lightricks va llançar LTX Video com a model de codi obert.[21]

Els enfocaments alternatius als models de text a vídeo inclouen[22] Phenaki, Hour One i Colossyan de Google,[2] Gen-3 Alpha de Runway,[23][24] i Sora d'OpenAI,[25][26] Han sorgit diversos models addicionals de text a vídeo, com ara Plug-and-Play, Text2LIVE i TuneAVideo.[27] El desenvolupador de FLUX.1, Black Forest Labs, ha anunciat el seu model de text a vídeo SOTA.[28] Google es preparava per llançar una eina de generació de vídeo anomenada Veo for YouTube Shorts el 2025.[29] El maig de 2025, Google va llançar la iteració Veo 3 del model. Va destacar per les seves impressionants capacitats de generació d'àudio, que eren una limitació anterior per als models de text a vídeo.[30] El juliol de 2025, Lightricks va llançar una actualització de LTX Video capaç de generar clips que arribaven als 60 segons,[31][32] i a l'octubre de 2025 va llançar LTX-2, amb capacitats d'àudio integrades.[33]

El febrer de 2026, ByteDance va llançar Seedance 2.0, que va destacar per la seva impressionant generació realista, control de moviment i càmera i generació de 15 segons,[34] però el model va rebre grans crítiques de la Motion Picture Association per infracció dels drets d'autor.[35] Després de veure un clip viral d'una baralla entre els actors Brad Pitt i Tom Cruise, Rhett Reese, coguionista de Deadpool & Wolverine i Zombieland, va anunciar a les xarxes socials que "Ho sento. Probablement s'ha acabat per a nosaltres",[36] i va afirmar que "En molt poc temps, una persona podrà seure davant d'un ordinador i crear una pel·lícula indistingible del que Hollywood estrena ara".[35]

Arquitectura i formació

Hi ha diverses arquitectures que s'han utilitzat per crear models de text a vídeo. De manera similar als models de text a imatge, aquests models es poden entrenar mitjançant xarxes neuronals recurrents (RNN), com ara xarxes de memòria a curt termini (LSTM), que s'han utilitzat per a models de transformació de píxels i models de generació de vídeo estocàstic, que ajuden a la consistència i el realisme respectivament.[37] Una alternativa per a aquests inclouen models de transformadors. També s'han utilitzat xarxes adversarials generatives (GAN), autocodificadors variacionals (VAE), que poden ajudar en la predicció del moviment humà,[38] i models de difusió per desenvolupar els aspectes de generació d'imatges del model.[39]

Els conjunts de dades de text i vídeo utilitzats per entrenar models inclouen, entre d'altres, WebVid-10M, HDVILA-100M, CCV, ActivityNet i Panda-70M.[40] Aquests conjunts de dades contenen milions de vídeos originals d'interès, vídeos generats, vídeos amb subtítols i informació textual que ajuda a entrenar models per a la precisió. Els conjunts de dades de text i vídeo utilitzats per entrenar models inclouen, entre d'altres, PromptSource, DiffusionDB i VidProM.[40] Aquests conjunts de dades proporcionen la gamma d'entrades de text necessàries per ensenyar als models com interpretar una varietat d'indicacions textuals.

El procés de generació de vídeo implica la sincronització de les entrades de text amb els fotogrames de vídeo, garantint l'alineació i la coherència al llarg de la seqüència. Aquest procés predictiu està subjecte a una disminució de la qualitat a mesura que augmenta la durada del vídeo a causa de les limitacions de recursos.[40] La prova de Will Smith menjant espaguetis és un punt de referència per a models.[41]

Limitacions

Malgrat la ràpida evolució del rendiment dels models de text a vídeo, una limitació principal és que són molt pesats computacionalment, cosa que limita la seva capacitat per proporcionar resultats d'alta qualitat i llargs.[37][39] A més, aquests models requereixen una gran quantitat de dades d'entrenament específiques per poder generar resultats d'alta qualitat i coherents, cosa que planteja el problema de l'accessibilitat.[39][37]

A més, els models poden malinterpretar les indicacions textuals, donant lloc a sortides de vídeo que es desvien del significat previst. Això pot passar a causa de limitacions en la captura del context semàntic incrustat en el text, cosa que afecta la capacitat del model per alinear el vídeo generat amb el missatge previst per l'usuari.[39][40] Diversos models, com ara Make-A-Video, Imagen Video, Phenaki, CogVideo, GODIVA i NUWA, s'estan provant i refinant actualment per millorar les seves capacitats d'alineació i el rendiment general en la generació de text a vídeo.[39]

Un altre problema amb els resultats és que el text o els detalls fins dels vídeos generats per IA sovint apareixen confusos, un problema amb el qual també tenen problemes els models de difusió estables. Alguns exemples són les mans distorsionades i el text il·legible.

Ètica

El desplegament de models de text a vídeo planteja consideracions ètiques relacionades amb la generació de contingut. Aquests models tenen el potencial de crear contingut inadequat o no autoritzat, incloent-hi material explícit, violència gràfica, informació errònia i semblances d'individus reals sense consentiment. Garantir que el contingut generat per IA compleixi amb els estàndards establerts per a un ús segur i ètic és essencial, ja que el contingut generat per aquests models no sempre es pot identificar fàcilment com a perjudicial o enganyós. La capacitat de la IA per reconèixer i filtrar contingut NSFW o amb drets d'autor continua sent un repte continu, amb implicacions tant per als creadors com per al públic.

Impactes i aplicacions

Els models de text a vídeo ofereixen una àmplia gamma d'aplicacions que poden beneficiar diversos camps, des de l'educatiu i promocional fins a les indústries creatives. Aquests models poden simplificar la creació de contingut per a vídeos de formació, previsualitzacions de pel·lícules, recursos de jocs i visualitzacions, facilitant la generació de contingut.[39]

Durant la guerra russo-ucraïnesa, es van crear vídeos falsos fets amb intel·ligència artificial com a part d'una guerra de propaganda contra Ucraïna i es van compartir a les xarxes socials. Aquests incloïen representacions de nens a les Forces Armades Ucraïneses, anuncis falsos dirigits a nens que els animaven a denunciar els crítics del govern ucraïnès o declaracions fictícies del president ucraïnès Volodímir Zelenski sobre la rendició del país, entre d'altres.[42][43][44][45][46][47]

Pel·lícules

Kaur vs Kore és el primer llargmetratge indi realitzat amb IA generativa que presenta un doble paper per al personatge d'IA de Sunny Leone, i s'estrenarà el 2026.[48][49][50]

Chiranjeevi Hanuman – The Eternal és una pel·lícula índia feta completament amb IA generativa creada per Vijay Subramaniam, que s'estrenarà als cinemes el 2026. La pel·lícula va ser àmpliament criticada pels cineastes de la indústria de Bollywood per dependre completament de la IA i l'ús de la IA es va considerar una amenaça existencial per a la seva carrera.[51][52][53]

Sèries

Mahabharat: Ek Dharmayudh és una sèrie mitològica índia OTT estrenada l'octubre de 2025 i emesa en streaming a JioHotstar. És reconeguda com la primera sèrie creada completament amb intel·ligència artificial per generar imatges i animacions de personatges i consta de 100 episodis.[54][55][56]

Referències

  1. ↑ «What is Text-to-Video Models in AI?» (en anglès americà), 30-06-2025. [Consulta: 21 febrer 2026].
  2. 1 2 Wodecki, Ben. «Text-to-Video Generative AI Models: The Definitive List» (en anglès). AI Business. Informa, 11-08-2023. [Consulta: 18 novembre 2024].
  3. ↑ CogVideo, THUDM, 2022-10-12, <https://github.com/THUDM/CogVideo>. Consulta: 12 octubre 2022
  4. ↑ Davies, Teli. «Make-A-Video: Meta AI's New Model For Text-To-Video Generation» (en anglès). Weights & Biases, 29-09-2022. [Consulta: 12 octubre 2022].
  5. 1 2 Monge, Jim Clyde. «This AI Can Create Video From Text Prompt» (en anglès). Medium, 03-08-2022. [Consulta: 12 octubre 2022].
  6. ↑ «Meta's Make-A-Video AI creates videos from text» (en anglès). www.fonearena.com. [Consulta: 12 octubre 2022].
  7. ↑ «google: Google takes on Meta, introduces own video-generating AI». , 06-10-2022.
  8. ↑ «Nuh-uh, Meta, we can do text-to-video AI, too, says Google» (en anglès). The Register. [Consulta: 12 octubre 2022].
  9. ↑ «Papers with Code - See, Plan, Predict: Language-guided Cognitive Planning with Video Prediction» (en anglès). paperswithcode.com. [Consulta: 12 octubre 2022].
  10. ↑ «Papers with Code - Text-driven Video Prediction» (en anglès). paperswithcode.com. [Consulta: 12 octubre 2022].
  11. ↑ page, Will Douglas Heavenarchive. «The original startup behind Stable Diffusion has launched a generative AI for video» (en anglès). MIT Technology Review. [Consulta: 17 octubre 2025].
  12. ↑ Wiggers, Kyle. «Runway's Gen-2 shows the limitations of today's text-to-video tech» (en anglès americà). TechCrunch, 09-06-2023. [Consulta: 17 octubre 2025].
  13. ↑ «Adobe launches Firefly Video model and enhances image, vector and design models. Adobe Newsroom» (en anglès). Adobe Inc., 10-10-2024. [Consulta: 18 novembre 2024].
  14. ↑ Yirka, Bob. «Google announces the development of Lumiere, an AI-based next-generation text-to-video generator.» (en anglès). Tech Xplore, 26-01-2024. [Consulta: 18 novembre 2024].
  15. ↑ «Text to Speech for Videos» (en anglès). Synthesia.io. [Consulta: 17 octubre 2023].
  16. ↑ Nuñez, Michael. «Luma AI debuts 'Dream Machine' for realistic video generation, heating up AI media race» (en anglès americà). VentureBeat, 12-06-2024. [Consulta: 18 novembre 2024].
  17. ↑ Fink, Charlie. «Apple Debuts Intelligence, Mistral Raises $600 Million, New AI Text-To-Video» (en anglès). Forbes. [Consulta: 18 novembre 2024].
  18. ↑ Franzen, Carl. «What you need to know about Kling, the AI video generator rival to Sora that's wowing creators» (en anglès americà). VentureBeat, 12-06-2024. [Consulta: 18 novembre 2024].
  19. ↑ «ByteDance joins OpenAI's Sora rivals with AI video app launch» (en anglès). Reuters, 06-08-2024. [Consulta: 18 novembre 2024].
  20. ↑ «Chinese ai "tiger" minimax launches text-to-video-generating model to rival OpenAI's sora» (en anglès). Yahoo! Finance, 02-09-2024. [Consulta: 18 novembre 2024].
  21. ↑ Requiroso, Kelvene. «Lightricks' LTXV Model Breaks Speed Records, Generating 5-Second AI Video Clips in 4 Seconds» (en anglès americà). eWEEK, 15-12-2024. [Consulta: 24 juliol 2025].
  22. ↑ Text2Video-Zero, Picsart AI Research (PAIR), 2023-08-12, <https://github.com/Picsart-AI-Research/Text2Video-Zero>. Consulta: 12 agost 2023
  23. ↑ Kemper, Jonathan. «Runway's Sora competitor Gen-3 Alpha now available» (en anglès americà). THE DECODER, 01-07-2024. [Consulta: 18 novembre 2024].
  24. ↑ «Generative AI's Next Frontier Is Video» (en anglès). , 20-03-2023.
  25. ↑ «OpenAI teases 'Sora,' its new text-to-video AI model» (en anglès). NBC News, 15-02-2024. [Consulta: 18 novembre 2024].
  26. ↑ Kelly, Chris. «Toys R Us creates first brand film to use OpenAI's text-to-video tool» (en anglès americà). Marketing Dive. Informa, 25-06-2024. [Consulta: 18 novembre 2024].
  27. ↑ Jin, Jiayao. «Text to Video: Enhancing Video Generation Using Diffusion Models and Reconstruction Network». A: 2023 2nd International Conference on Computing, Communication, Perception and Quantum Technology (CCPQT) (en anglès). IEEE, 2023-08-04, p. 108–114. DOI 10.1109/CCPQT60491.2023.00024. ISBN 979-8-3503-4269-7.
  28. ↑ «Announcing Black Forest Labs» (en anglès americà). Black Forest Labs, 01-08-2024. [Consulta: 18 novembre 2024].
  29. ↑ Forlini, Emily Dreibelbis. «Google's veo text-to-video AI generator is coming to YouTube shorts» (en anglès). PC Magazine, 18-09-2024. [Consulta: 18 novembre 2024].
  30. ↑ Subin, Jennifer Elias,Samantha. «Google launches Veo 3, an AI video generator that incorporates audio» (en anglès). CNBC, 20-05-2025. [Consulta: 22 maig 2025].
  31. ↑ Fink, Charlie. «LTX Video Breaks The 60-Second Barrier, Redefining AI Video As A Longform Medium» (en anglès). Forbes. [Consulta: 24 juliol 2025].
  32. ↑ «Lightricks' latest release lets creators direct long-form AI-generated videos in real time» (en anglès americà). SiliconANGLE, 16-07-2025. [Consulta: 24 juliol 2025].
  33. ↑ «Lightricks unveils powerful AI video model challenging OpenAI and Google» (en anglès). , 23-10-2025.
  34. ↑ Baptista, Eduardo. «ByteDance's new AI video model goes viral as China looks for second DeepSeek moment» (en anglès). Reuter's, 13-02-2026. [Consulta: 14 febrer 2026].
  35. 1 2 Maddaus, Gene. «After AI Video of ‘Tom Cruise’ Fighting ‘Brad Pitt’ Goes Viral, Motion Picture Association Denounces ‘Massive’ Infringement on Seedance 2.0» (en anglès), 13-02-2026.
  36. ↑ Milmo, Dan. «‘It’s over for us’: release of new AI video generator Seedance 2.0 spooks Hollywood» (en anglès), 13-02-2026.
  37. 1 2 3 Bhagwatkar, Rishika. «A Review of Video Generation Approaches». A: 2020 International Conference on Power, Instrumentation, Control and Computing (PICC) (en anglès). IEEE, 2020-12-17, p. 1–5. DOI 10.1109/PICC51425.2020.9362485. ISBN 978-1-7281-7590-4.
  38. ↑ Kim, Taehoon. «Human Motion Aware Text-to-Video Generation with Explicit Camera Control». A: 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) (en anglès). IEEE, 2024-01-03, p. 5069–5078. DOI 10.1109/WACV57701.2024.00500. ISBN 979-8-3503-1892-0.
  39. 1 2 3 4 5 6 Singh, Aditi. «A Survey of AI Text-to-Image and AI Text-to-Video Generators». A: 2023 4th International Conference on Artificial Intelligence, Robotics and Control (AIRC) (en anglès). IEEE, 2023-05-09, p. 32–36. DOI 10.1109/AIRC57904.2023.10303174. ISBN 979-8-3503-4824-8.
  40. 1 2 3 4 Zhang, Ji. «From Text to Video: Exploiting Mid-Level Semantics for Large-Scale Video Classification». A: 2018 24th International Conference on Pattern Recognition (ICPR) (en anglès). IEEE, August 2018, p. 1695–1700. DOI 10.1109/ICPR.2018.8545513. ISBN 978-1-5386-3788-3.
  41. ↑ Placido, Dani Di. «Google's AI Passed The 'Will Smith Eating Spaghetti' Test» (en anglès). Forbes. Arxivat de l'original el 2025-06-03. [Consulta: 1r juny 2025].
  42. ↑ ქურასბედიანი, ალექსი. «AI-Generated Photo Of Ukrainian Children In Military Uniforms Circulated Online | Mythdetector.com» (en anglès americà), 09-06-2025. [Consulta: 16 juny 2025].
  43. ↑ «Fake Ukraine ad urges kids to report relatives enjoying Russian music» (en anglès). euronews, 28-03-2025. [Consulta: 16 juny 2025].
  44. ↑ «Photos of Ukrainian children generated by artificial intelligence» (en anglès). behindthenews.ua, 26-06-2024. [Consulta: 16 juny 2025].
  45. ↑ «Fake Ukrainian TV advert urges children to report relatives listening to Russian music» (en anglès).
  46. ↑ «Deepfake video of Zelenskyy could be 'tip of the iceberg' in info war, experts warn» (en anglès). , 16-03-2022.
  47. ↑ «Ukraine war: Deepfake video of Zelenskyy telling Ukrainians to 'lay down arms' debunked» (en anglès). Sky News. [Consulta: 16 juny 2025].
  48. ↑ «'Kaur vs KORE': Sunny Leone is all set to play double role in an AI-driven feature film - Report». , 24-09-2025.
  49. ↑ Farzeen, Sana. «Exclusive: Sunny Leone sets trend with AI-driven feature film 'Kaur vs KORE'» (en anglès). India Today, 24-09-2025. [Consulta: 26 octubre 2025].
  50. ↑ «Sunny Leone takes on dual role as human and AI avatar in 'Kaur vs KORE'» (en anglès). @mathrubhumi, 24-09-2025. [Consulta: 26 octubre 2025].
  51. ↑ Sharma, Manoj. «From Mahabharat to Hanuman: Collective Artists Network's Vijay Subramaniam on how AI is shaping India's entertainment future» (en anglès). Fortune India, 26-10-2025. [Consulta: 26 octubre 2025].
  52. ↑ «Anurag Kashyap slams producer Vijay Subramaniam over AI generated film ‘Chiranjeevi Hanuman’» (en Indian English). , 20-08-2025.
  53. ↑ «AI-generated film Chiranjeevi Hanuman announced, Vikramaditya Motwane not pleased about it: ‘So it begins’» (en anglès). Hindustan Times, 19-08-2025. [Consulta: 26 octubre 2025].
  54. ↑ «Mahabharat: Ek Dharmayudh OTT release: When and where to watch India's first AI-powered mythological series». , 23-10-2025.
  55. ↑ «'With AI Mahabharat, viewers will get to experience the same story in a new way'». , 18-10-2025.
  56. ↑ Ramachandran, Naman. «AI-Powered ‘Mahabharat’ Trailer Bows Ahead of India Debut (EXCLUSIVE)» (en anglès americà). Variety, 10-10-2025. [Consulta: 26 octubre 2025].