Ключови изводи
- Nvidia наскоро показа техника, която превръща 2D снимки в 3D сцени само за секунди.
- Методът използва компютърна мощност, за да определи приблизително как се държи светлината в реалния свят.
- Метавселената е една област, в която 3D сцените са полезни, защото могат да се гледат от всяка гледна точка на камера.
Новата технология за изкуствен интелект (AI) от Nvidia скоро може да превърне 2D снимки в 3D сцени само за секунди, правейки създаването на завладяващи виртуални пространства като метавселената толкова тривиално, колкото и текстообработката.
Nvidia наскоро демонстрира фотографския метод, наречен Instant NeRF, който използва изчислителна мощност, за да определи приблизително как се държи светлината в реалния свят. Може да трансформира вашите стари снимки в сцена от видео игра или може да се използва за обучение на роботи и самоуправляващи се автомобили да разбират размера и формата на обекти от реалния свят.
"3D изображенията носят нов свят на трансформация", каза Орен Деби, главен изпълнителен директор на Visionary.ai, компания за компютърно зрение, която управлява своите 3D алгоритми на платформата Nvidia, в интервю за Lifewire по имейл. „Използвайки 3D, вие имитирате дълбочината на реалния свят в сцената и правите изображението да изглежда по-живо и реалистично. Освен AR/VR и индустриалните камери, където 3D е много разпространено, сега го виждаме да се използва на почти всеки смартфон без потребител дори знае."
Добавяне на размери
Първата незабавна снимка, направена преди 75 години с фотоапарат Polaroid, имаше за цел да улови бързо 3D света в 2D изображение. Сега изследователите на AI работят върху обратното: превръщат колекция от неподвижни изображения в цифрова 3D сцена за секунди.
Известен като обратно изобразяване, процесът използва AI, за да определи приблизително как се държи светлината в реалния свят, позволявайки на изследователите да реконструират 3D сцена от няколко 2D изображения, заснети под различни ъгли. Nvidia твърди, че е разработила подход, който изпълнява тази задача почти моментално.
Nvidia използва този подход с нова технология, наречена полета на невронно излъчване, или NeRF. Компанията казва, че резултатът, наречен Instant NeRF, е най-бързата NeRF техника до момента. Моделът изисква само секунди, за да тренира върху няколко дузини неподвижни снимки и след това може да изобрази получената 3D сцена в рамките на десетки милисекунди.
"Ако традиционните 3D представяния като многоъгълни мрежи са подобни на векторни изображения, NeRF са като растерни изображения: те плътно улавят начина, по който светлината се излъчва от обект или в рамките на сцена", Дейвид Лубке, вицепрезидент за графични изследвания в Nvidia, се казва в съобщение за новини: „В този смисъл Instant NeRF може да бъде толкова важен за 3D, колкото цифровите фотоапарати и JPEG компресията са за 2D фотографията – значително увеличавайки скоростта, лекотата и обхвата на 3D заснемането и споделянето.”
Събирането на данни за захранване на NeRF изисква невронната мрежа да заснеме няколко десетки изображения, направени от множество позиции около сцената, както и позицията на камерата на всеки от тези снимки.
NeRF обучава малка невронна мрежа да реконструира сцената, като предсказва цвета на светлината, излъчваща се във всяка посока, от всяка точка в 3D пространството.
Привлекателността на 3D
Метавселената е една област, в която 3D сцените са полезни, защото могат да се гледат от всякаква гледна точка на камерата, каза Брад Куинтън, основател на платформата Perceptus за разширена реалност (AR), пред Lifewire в интервю по имейл. Точно както можем да преминем през стая в реалния живот и да видим съдържанието й от много различни ъгли, с реконструирана 3D сцена можем виртуално да се движим през пространство и да го разглеждаме от всякаква перспектива.
"Това може да бъде особено полезно за създаване на среди за използване във виртуална реалност", каза Куинтън.
Програми като Object Capture на Apple използват техника, наречена фотограметрия, за да създават виртуални 3D обекти от поредица от 2D изображения. 3D моделите ще се използват широко във виртуална реалност и AR приложения, прогнозира Куинтън. Например, някои AI, като този в платформата Perceptus AR, използват 3D модели, за да създадат разбиране за реалния свят, което позволява AR приложения в реално време.
Използването на 3D изображения също имитира дълбочината на реалния свят в сцена и прави изображението да изглежда по-живо и реалистично, каза Деби. За да създадете ефект на боке (известен още като портретен режим или кинематографичен режим), е необходимо 3D картографиране на дълбочината. Техниката се използва на почти всеки смартфон.
"Това вече е стандарт за професионални видеооператори, заснемащи филми, и това се превръща в стандарт за всеки потребител," добави Деби.
