Τις προηγμένες δυνατότητες του λογισμικού graphics-rendering που χρησιμοποιείται στα σύγχρονα βιντεοπαιχνίδια αξιοποιούν ερευνητές του ΜΙΤ και του QCRI (Qatar Computing Research Institute) , αναπτύσσοντας ένα σύστημα το οποίο μετατρέπει αυτόματα τη 2D εικόνα αγώνων ποδοσφαίρου σε 3D.
Το βίντεο αυτό μπορεί να αναπαραχθεί σε κάθε 3D συσκευή, όπως τηλεοράσεις, συσκευές όπως το Cardboard της Google (που μετατρέπει smartphones σε 3D οθόνες) ή το Oculus Rift.
Το σύστημα παρουσιάστηκε στη συνδιάσκεψη Multimedia της Association for Computing Machinery. «Οποιαδήποτε τηλεόραση σήμερα είναι ικανή για 3D» λέει σχετικά ο Βότσιεχ Ματούζικ, ένας εκ των δημιουργών του συστήματος.
«Απλά δεν υπάρχει υλικό. Οπότε βλέπουμε ότι η παραγωγή υλικού υψηλής ποιότητας είναι αυτό που θα έπρεπε να συμβεί. Αλλά τα σπορ είναι πολύ δύσκολα.
Με τις ταινίες, έχουμε καλλιτέχνες που διαμορφώνουν τον “depth map”. Εδώ δεν υπάρχει η πολυτέλεια του να μισθώνονται 100 καλλιτέχνες για να κάνουν τη μετατροπή. Πρέπει να συμβαίνει σε πραγματικό χρόνο».
Το σύστημα αποτελεί αποτέλεσμα της συνεργασίας μεταξύ του QCRI και του Computer Science and Artificial Intelligence Laboratory του ΜΙΤ.
Στο παρελθόν, ερευνητές είχαν προσπαθήσει να αναπτύξουν συστήματα γενικής χρήσης για μετατροπή 2D video σε 3D, αλλά δεν είχε σημειωθεί ιδιαίτερη επιτυχία, και γενικότερα έτειναν προς την παραγωγή περίεργων οπτικά αντικειμένων, τα οποία λειτουργούσαν αρνητικά όσον αφορά στη συνολική εμπειρία.
Το πλεονέκτημα επί της προκειμένης, όπως διευκρινίζει ο Ματούζικ, είναι ότι το σύστημα έχει αναπτυχθεί επικεντρώνοντας σε πολύ συγκεκριμένο πεδίο .
«Αναπτύσσουμε έναν “αγωγό” μετατροπής για ένα πολύ συγκεκριμένο άθλημα. Θα θέλαμε να το κάνουμε σε ποιότητα (ζωντανής) μετάδοσης, σε πραγματικό χρόνο. Αυτό που αντιληφθήκαμε είναι ότι μπορούμε να αξιοποιήσουμε τα βιντεοπαιχνίδια».
Τα σημερινά βιντεοπαιχνίδια έχουν αποθηκευμένους τρισδιάστατους χάρτες του εικονικού περιβάλλοντος στο οποίο κινείται ο παίκτης.
Όταν ο παίκτης αρχίζει μια κίνηση, το παιχνίδι προσαρμόζει ανάλογα τον χάρτη και παράγει στιγμιαία μια 2D αναπαράσταση μιας 3D σκηνής που ανταποκρίνεται σε μια συγκεκριμένη οπτική γωνία.
Οι ερευνητές του ΜΙΤ και του QCRI στην ουσία έκαναν το αντίστροφο: Έβαλαν το ιδιαίτερα ρεαλιστικό Fifa 13 να παίζει ξανά και ξανά και χρησιμοποίησαν το εργαλείο ανάλυσης βιντεοπαιχνιδιών να αποθηκεύει συνεχόμενα screenshots της δράσης. Για καθένα από αυτά έβγαζαν έναν αντίστοιχο 3D χάρτη.
Μέσω ειδικού αλγορίθμου για τη μέτρηση των διαφορών μεταξύ των δύο εικόνων «φίλτραραν» τις περισσότερες screenshots, κρατώντας αυτές που παρείχαν την καλύτερη εικόνα σε κάθε οπτική γωνία και τις επιλογές του παίκτη. Στη συνέχεια όλα αυτά αποθηκεύτηκαν σε μια βάση δεδομένων.
Για κάθε frame 2D βίντεο ενός πραγματικού αγώνα, το σύστημα αναζητά 10 ή παραπάνω screenshots (τις καλύτερες) και στη συνέχεια τις παραλληλίζει με το πραγματικό video feed.
Το τελικό αποτέλεσμα είναι εξαιρετικό 3D effect. Σε ειδική μελέτη/ δοκιμή το σύστημα αξιολογήθηκε ως «εξαιρετικό» (με βαθμολογίες μεταξύ 4 και 5, με άριστα το 5).
Επί της παρούσης το σύστημα χρειάζεται περίπου το 1/3 ενός δευτερολέπτου για την επεξεργασία ενός frame, ωστόσο διαδοχικά frames μπορούν να υποστούν επεξεργασία παράλληλα, οπότε και αυτή η καθυστέρηση λαμβάνει χώρα μόνο μια φορά.
Μία καθυστέρηση 1-2 δευτερολέπτων θα ήταν επαρκής για να επιτρέπει μετατροπή «on the fly». Ωστόσο, οι ερευνητές δουλεύουν πάνω στην περιατέρω βελτίωση.
