Chaque opus de la licence GTA a eu son lot de mods graphiques visant un rendu plus ou moins photoréaliste, mais aujourd’hui il ne s’agit pas d’un projet de la communauté modding mais d’un préprint de trois chercheurs d’Intel Labs sur le prestigieux site de l’université Cornell !

L’artificielle au secours du virtuel

Nos chercheurs, respectivement Stephan R. Richter, Hassan Abu AlHaija et Vladlen Koltun, travaillant tous trois chez Intel Labs, un centre de recherche d’Intel orienté sur les technologies futures comme l’intelligence artificielle ou la conduite autonome, commencent par faire un constat sur l’état actuel du photoréalisme dans l’industrie vidéoludique en évoquant les innovations dans le domaine réalisées ces dernières années :

« Le rendu photoréaliste est le but que s’est fixé l’industrie du jeu vidéo depuis un demi-siècle. Des progrès substantiels ont été accomplis durant les quatre dernières décennies, dus en partie à une simulation physiquement réaliste de la lumière, à l’amélioration du rendu des matériaux et à l’utilisation de procédés photogrammétriques pour la création de textures. [… ] Néanmoins, même les jeux les plus sophistiqués attesteront rapidement que le gap photoréaliste n’a pas été atteint. Une différence indicible entre la simulation et de la réalité demeure. »

Ce constat fait, ils ont travaillé à gommer l’écart entre les images du jeu et des images issues de la réalité. En partant des progrès réalisés ces dernières années dans le domaine de l’intelligence artificielle, ils ont ainsi entrainé leur IA à améliorer graphiquement des images issues de GTA V à l’aide de Cityscapes et Mapillary Vistas, deux bases de données compilant des millions de paysages urbains, et ont ainsi réussi à créer des « calques de détails », opérants au-dessus du rendu du jeu, pour y ajouter des « micro-aspects propres à cette apparence réelle » :

« Ces dernières années, un ensemble de techniques ont vu le jour, mêlant vision par ordinateur et machine learning. Ces techniques, qui reposent sur l’apprentissage profond, les réseaux convolutifs et l’apprentissage contradictoire, permettent d’outrepasser l’approche traditionnelle de créations d’assets 3D, de matériaux et de rendu lumineux. Au lieu de cela, les images sont synthétisées par une intelligence artificielle formée sur de grands ensembles de données. […] Notre travail a ici consisté à convertir des images synthétiques, issues d’une approche traditionnelle [ndlr: une séquence vidéo de GTA V] en images au rendu photographique. Pour tenter de combler ce fossé visuel entre le jeu vidéo et des images réelles, la tâche principale consiste à calquer l’ensemble des micro-aspects du matériel photographique propre à cette « apparence réelle », sur du matériel issu du jeu vidéo auquel ces micro-aspects échappent. »

Welcome to Los Sant…Angeles ?

Le rendu final est réellement impressionnant et difficilement discernable d’une vidéo issue d’une dashcam tournant dans Los Angeles ! Voici quelques visuels proposés sur le GitHub des chercheurs, à gauche l’image originale, à droite sa version « IA photoréaliste » (basée sur Mapillary Vistas) :

« Notre méthode ajoute de la brillance aux voitures, reboise les collines desséchées, et recouvre les routes avec un asphalte plus lisse. Ce résultat peut donner lieu à des approximations visuelles, générant des images qui peuvent ne pas être physiquement correctes, mais semblent néanmoins réalistes. »

 

Vers un GTA VI boosté à l’IA ?

Bien que ces graphismes laissent rêveur, ce genre de technologie n’est pas encore envisageable pour le jeu vidéo : comme l’indiquent les chercheurs, il s’agit d’un traitement post-rendu prenant une demi-seconde par frame sur une RTX 3090 (un GPU très haut de gamme au prix de lancement de 1.549€), autrement dit, n’espérez pas jouer dans de telles conditions !

De plus, comme illustré dans leur papier, cette technologie n’est pas suffisamment mature pour être appliquée à une échelle industrielle, de trop nombreux artefacts indésirables sont incrustés par l’IA. L’équipe évoque ainsi les anomalies causées par la source des enregistrements de Mapillary Vistas, provenant majoritairement d’Allemagne. Ils dénoncent ainsi une végétation correspondant davantage à un climat européen qu’au soleil californien… ainsi qu’une étoile Mercedes ayant la fâcheuse tendance à venir s’incruster sur le capot de la Buffalo S de Franklin !

L’équipe reste cependant optimiste quant à l’avenir de cette technologie : une implémentation plus en profondeur dans les moteurs de jeux permettrait ainsi un rendu bien plus réaliste ainsi que de meilleures performances. Mais cela reste aujourd’hui de l’ordre de la recherche scientifique et non du déploiement industriel.

Souhaitons leur que Rockstar Games ne vienne pas stopper leurs recherches comme ce fut le cas en 2017 pour équipe d’OpenAI, travaillant alors sur le développement d’une IA dédiée à la conduite autonome sur la base de GTA V !

 

Note du rédacteur : Cet article traitant d’une publication scientifique de haut niveau publié sur arXiv, le contenu a été volontairement simplifié et vulgarisé pour une compréhension de tout un chacun. Ainsi plusieurs libertés ont été prises dans la traduction de l’article universitaire afin d’en permettre la compréhension par le lecteur.