Вчені давно шукають спосіб створення комп’ютерних голограм, але цей процес вимагає величезних потужностей, і навіть в цьому випадку результат виходить не те щоб фотореалістичний. Однак фахівці з MIT придумали новий спосіб майже миттєвого отримання голографічних зображень. Метод, заснований на глибокому навчанні, настільки енергоефективний, що його можна запустити навіть на ноутбуці. При цьому сама нейромережа, яка генерує голограми, вимагає менш як 1 Мб пам’яті. Це значить, що в майбутньому технологія може з’явитися в усіх смартфонах.
Попри ажіотаж, що оточує технологію VR, телевізори та монітори все ще залишаються головним способом споживання відеоконтенту. Одна з причин цього — неприємні відчуття під час перегляду віртуального контенту. Нудота та втома очей виникають через те, що VR створює ілюзію тривимірного простору, хоча насправді користувач дивиться на нерухомий 2D-екран. Рішенням може стати технологія 60-річної давнини, адаптована під цифру: голографія.
Звичайна фотографія за допомогою лінзи перетворює яскравість кожної хвилі світла, вірно передаючи кольору, але роблячи зображення плоским. Голограма ж, навпаки, кодує і яскравість, і фазу кожної хвилі, що надає сцені паралакс та глибину. Однак створювати їх непросто.
Перші голограми, розроблені в середині XX, записувалися оптично, за допомогою розщеплення лазерного променя. Потім з’явилися комп’ютерні голограми, які моделювали оптичний процес, але вони вимагали високих обчислювальних потужностей. На одне зображення могло піти кілька секунд або хвилин обчислювального часу суперкомп’ютера. До того ж наявні алгоритми НЕ моделювали оклюзію з фотореалістичною точністю.
Тому вчені з MIT пішли іншим шляхом: вони дозволили комп’ютеру самому навчитися законам фізики. Для цього вони застосували глибоке навчання та розробили надточну нейронну мережу, розповідає MIT News.
Тренування нейромережі зазвичай вимагає великої бази даних, яких для голограм немає. Дослідники створили власну, що складається з 4000 пар комп’ютерно генерованих зображень. Кожна пара пов’язувала картинку, включаючи інформацію про колір та глибину кожного пікселя, з відповідною голограмою. Для створення голограми в новій базі даних вчені використовували сцени з комплексними та мінливими формами й квітами, а також іншими параметрами, які забезпечили фотореалістичність матеріалу для навчання.
Вивчивши кожну пару зображень, нейромережа змогла змінити параметри власних обчислень, успішно підвищивши здатність створення голограм. Повністю оптимізована нейромережа працювала на кілька порядків швидше, ніж у випадку обчислень, заснованих на стандартному обрахунку фізики.
За якісь мілісекунди тензорна голографія (як назвали метод його автори) може створювати голограми із зображень з інформацією про глибину, яка є у звичайних комп’ютерних картинках або вираховується за допомогою камер або лідарів. Більш того, компактна тензорна мережа вимагає менш як 1 Мб пам’яті, так що цілком може поміститися на звичайному смартфоні.
Проблема більшості «голографічних пристроїв» в тому, що картинка у них має досить низький дозвіл і видно тільки під певним кутом. Торік Samsung представила прототип пристрою, що показує 3D-зображення в дозволі 4К і з широким кутом огляду.
