LoGeR - ការកសាងឡើងវិញ 3D ពីវីដេអូដ៏វែងឆ្ងាយ (DeepMind, UC Berkeley)

ការ​ប្រែក្លាយ​ម៉ោង​នៃ​វីដេអូ​ទៅ​ជា​ពិភព 3D ជាប់​គ្នា

សូមស្រមៃគិតអំពីការថតវីដេអូនៃព្រឹត្តិការណ៍ទាំងមូល—ពិធីមង្គលការ គម្រោងសាងសង់ ឬដើរតាមធម្មជាតិឆ្លងកាត់ព្រៃ។ អ្នក​បញ្ចប់​ដោយ​ការ​ថត​ជា​ច្រើន​ម៉ោង ប៉ុន្តែ​វា​ជា​លំដាប់លំដោយ​លីនេអ៊ែរ។ ចុះ​បើ​អ្នក​អាច​បំប្លែង​វីដេអូ​ដ៏វែង​នោះ​ទៅ​ជា​គំរូ 3D ដែល​អាច​រុករក​បាន​តែមួយ​នៃ​ទិដ្ឋភាព​ទាំងមូល? នេះគឺជាគោលដៅដ៏មានមហិច្ឆតារបស់ LoGeR ដែលជាកិច្ចសហការស្រាវជ្រាវឈានមុខគេរវាង DeepMind និង UC Berkeley ។ បច្ចេកវិទ្យានេះមិនគ្រាន់តែភ្ជាប់រូបថតជាមួយគ្នាប៉ុណ្ណោះទេ។ វាបង្កើតឡើងវិញដោយឆ្លាតវៃនូវពិភព 3D ជាប់លាប់ពីការផ្សាយវីដេអូដែលមានរយៈពេលវែង ទាំងរយៈពេល និងផ្លូវជាក់ស្តែង ដោយដោះស្រាយបញ្ហាប្រឈមដ៏សំខាន់បំផុតមួយនៅក្នុងចក្ខុវិស័យកុំព្យូទ័រ។

បញ្ហាប្រឈមស្នូល៖ ភាពស៊ីសង្វាក់គ្នាលើមាត្រដ្ឋានដ៏ធំ

វិធីសាស្រ្ដ 3D បែបបុរាណ ល្អមែនទែន ជាមួយនឹងឈុតវីដេអូខ្លីៗ ឬបណ្តុំនៃរូបថតដែលថតពីមុំផ្សេងៗគ្នាក្នុងពេលតែមួយ។ ទោះយ៉ាងណាក៏ដោយពួកគេតស៊ូយ៉ាងខ្លាំងជាមួយនឹងវីដេអូ "វែង" ។ ការលំបាកមានពីរ។ ទីមួយ ប្រវែងបណ្ដោះអាសន្ន៖ នៅពេលដែលវីដេអូលាតសន្ធឹងក្នុងរយៈពេលប៉ុន្មាននាទី ឬរាប់ម៉ោង ការផ្លាស់ប្តូរពន្លឺ វត្ថុផ្លាស់ទី ហើយមនុស្សមកនិងទៅ។ ទីពីរ មាត្រដ្ឋានលំហ៖ កាមេរ៉ាអាចឆ្លងកាត់តំបន់ធំមួយ ដូចជាដើរកាត់សួនច្បារ និងចូលទៅក្នុងអគារ បង្កើតបរិយាកាសដ៏ធំ និងស្មុគស្មាញសម្រាប់ធ្វើផែនទី។ ប្រព័ន្ធដែលមានស្រាប់ជារឿយៗបរាជ័យក្នុងការថែរក្សាផែនទីសកលដែលជាប់លាប់ ដែលនាំទៅដល់ការស្ថាបនាឡើងវិញដែលមិនជាប់ពាក់ព័ន្ធ ឬ "អណ្តែតទឹក"—វត្ថុបុរាណខ្មោចដែលមិនមែនជារបស់ផ្ទៃណាមួយឡើយ។ LoGeR ដោះស្រាយវាដោយផ្តោតលើការកសាងតំណាងបង្រួបបង្រួមដែលនៅជាប់គ្នាក្នុងមាត្រដ្ឋានពេលវេលា និងលំហដ៏ច្រើនទាំងនេះ។

តើ LoGeR សម្រេចបាននូវការស្ថាបនាឡើងវិញដោយរបៀបណា

LoGeR ដែលតំណាងឱ្យ Long Generative Reconstruction ណែនាំវិធីសាស្រ្តប្រលោមលោកដែលផ្តោតលើយុទ្ធសាស្ត្រ "ការចាប់ផ្តើមគ្រាប់ពូជ" ។ ជំនួសឱ្យការព្យាយាមបង្កើតឈុត 3D ទាំងមូលក្នុងពេលតែមួយពីស្ទ្រីមវីដេអូដ៏ច្របូកច្របល់ ប្រព័ន្ធកំណត់អត្តសញ្ញាណផ្នែកតូចមួយនៃវីដេអូដែលអាចគ្រប់គ្រងបាន ដែលងាយស្រួលបង្កើតឡើងវិញដោយមានទំនុកចិត្តខ្ពស់។ បំណះ 3D ដែលមានគុណភាពខ្ពស់នេះបម្រើជាយុថ្កាដែលមានស្ថេរភាព ឬ "គ្រាប់ពូជ" ។ បន្ទាប់មក គំរូនេះបង្កើនការតំណាង 3D នេះបន្តិចម្តងៗ ដោយដាក់បញ្ចូលជាស៊ុមដោយយកចិត្តទុកដាក់នូវព័ត៌មានដែលមើលឃើញថ្មីៗ ខណៈពេលដែលយោងត្រឡប់ទៅគ្រាប់ពូជដែលបានបង្កើតឡើង ដើម្បីធានាបាននូវភាពស៊ីសង្វាក់គ្នាជាសកល។ វិធីសាស្រ្តនេះមានប្រសិទ្ធភាពអនុញ្ញាតឱ្យគំរូដើម្បីជៀសវាងបញ្ហាទូទៅនៃមាត្រដ្ឋាន ដោយបង្កើតគំរូ 3D កាន់តែត្រឹមត្រូវ និងអាចទុកចិត្តបានពីការបញ្ចូលរយៈពេលវែងបំផុត។ វា​ជា​ការ​ផ្លាស់​ប្តូរ​ពី​ការ​ព្យាយាម​មើល​រូបភាព​ទាំង​មូល​ក្នុង​ពេល​តែ​មួយ​ដើម្បី​បង្កើត​វា​ពី​ស្នូល​ដែល​គួរ​ឱ្យ​ទុក​ចិត្ត។

"វិធីសាស្រ្តរបស់យើងអាចឱ្យមានការកសាងឡើងវិញនូវទិដ្ឋភាព 3D ដែលស្របគ្នាជាសកលពីវីដេអូដ៏វែង ដែលជាការកំណត់ដ៏លំបាកសម្រាប់វិធីសាស្រ្តដែលមានស្រាប់ ដែលជារឿយៗបង្កើតធរណីមាត្រដែលផ្ដាច់។" - អ្នកនិពន្ធស្រាវជ្រាវ LoGeR

កម្មវិធីជាក់ស្តែងសម្រាប់អាជីវកម្ម និងអ្នកបង្កើត

កម្មវិធីដែលមានសក្តានុពលសម្រាប់បច្ចេកវិទ្យាដូចជា LoGeR មានច្រើនណាស់។ សម្រាប់ស្ថាបត្យករ និងអ្នកអភិវឌ្ឍន៍អចលនទ្រព្យ វាអាចបំប្លែងការស្ទង់មតិគេហទំព័រ ដោយអនុញ្ញាតឱ្យមានការណែនាំជាវីដេអូសាមញ្ញមួយដើម្បីបង្កើតគំរូ 3D លម្អិតនៃអចលនទ្រព្យ។ នៅក្នុងការកម្សាន្ត អ្នកផលិតខ្សែភាពយន្តអាចបង្កើតឈុតឌីជីថលពីវីដេអូស្វែងរកទីតាំងយ៉ាងទូលំទូលាយ។ សម្រាប់ការគ្រប់គ្រងភស្តុភារ និងឃ្លាំង វាអាចបើកដំណើរការផែនទី 3D ថាមវន្តនៃគ្រឿងបរិក្ខារដ៏ធំ។ សមត្ថភាពក្នុងការបង្កើតឌីជីថលភ្លោះដ៏ស្អិតរមួតពីវីដេអូដែលមិនមានរចនាសម្ព័ន្ធគឺជាឧបករណ៍ដ៏មានឥទ្ធិពល។ នៅ Mewayz យើងឃើញការរួមផ្សំធម្មជាតិជាមួយនឹងបច្ចេកវិទ្យានេះ។ ប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មម៉ូឌុលរបស់យើងត្រូវបានបង្កើតឡើងដើម្បីរួមបញ្ចូល និងរៀបចំរចនាសម្ព័ន្ធស្ទ្រីមទិន្នន័យស្មុគស្មាញ។ ស្រមៃមើលម៉ូឌុលគ្រប់គ្រងគម្រោង ដែលវីដេអូត្រួតពិនិត្យគេហទំព័រត្រូវបានដំណើរការដោយស្វ័យប្រវត្តិដោយឧបករណ៍ដូចជា LoGeR ហើយគំរូ 3D លទ្ធផលត្រូវបានភ្ជាប់ភ្លាមៗទៅនឹងបញ្ជីកិច្ចការ បញ្ជីសារពើភ័ណ្ឌ និងពេលវេលានៅក្នុងវេទិកា Mewayz ដោយផ្តល់នូវទិដ្ឋភាពដ៏អស្ចារ្យ និងសំបូរទិន្នន័យនៃដំណើរការគម្រោង។

សម្លឹងឆ្ពោះទៅមុខ៖ អនាគតនៃការយល់ដឹងអំពី Spatiotemporal

LoGeR តំណាងឱ្យការលោតផ្លោះដ៏សំខាន់មួយឆ្ពោះទៅរកប្រព័ន្ធ AI ដែលអាចយល់អំពីពិភពលោករបស់យើងមិនត្រឹមតែជារូបភាពជាបន្តបន្ទាប់ប៉ុណ្ណោះទេ ប៉ុន្តែជាលំហ 4D ដែលកំពុងវិវត្តជាបន្តបន្ទាប់ (3D + ពេលវេលា)។ ការបន្តបន្ទាប់នាពេលអនាគតអាចតាមដានវត្ថុ និងមនុស្សយ៉ាងរលូនពេញម៉ោង ដោយការយល់ដឹងមិនត្រឹមតែកន្លែងណានោះទេ ប៉ុន្តែរបៀបដែលពួកវាផ្លាស់ប្តូរ និងអន្តរកម្មក្នុងរយៈពេលយូរ។ ការយល់ដឹង spatiotemporal នេះគឺជាព្រំដែនបន្ទាប់។ សម្រាប់វេទិកាដូចជា Mewayz ដែលមានបំណងធ្វើជាប្រព័ន្ធប្រតិបត្តិការកណ្តាលសម្រាប់អាជីវកម្ម ការរួមបញ្ចូលសមត្ថភាពទិន្នន័យទំហំកម្រិតខ្ពស់បែបនេះអាចធ្វើបដិវត្តរបៀបដែលក្រុមហ៊ុនរៀបចំផែនការ ត្រួតពិនិត្យ និងវិភាគប្រតិបត្តិការជាក់ស្តែង។ វាជំរុញយើងឱ្យខិតទៅជិតអនាគតមួយដែលពិភពឌីជីថល និងរូបវន្តត្រូវបានទាក់ទងគ្នាយ៉ាងរលូនសម្រាប់ការសម្រេចចិត្តកាន់តែឆ្លាតវៃ។

ខណៈពេលដែលនៅតែជាគម្រោងស្រាវជ្រាវ LoGeR ចង្អុលទៅអនាគតដែលការបង្កើតច្បាប់ចម្លងឌីជីថលដ៏ទូលំទូលាយនៃបរិស្ថានណាមួយគឺសាមញ្ញដូចជាការថតវីដេអូ។ ភាពពាក់ព័ន្ធសម្រាប់ឯកសារ ការវិភាគ និងអន្តរកម្មនិម្មិតគឺស៊ីជម្រៅ ដោយបង្វែរការកត់ត្រាដ៏វែងឆ្ងាយទៅជាពិភពលោកដ៏យូរអង្វែង និងអាចរុករកបាន។

សំណួរដែលគេសួរញឹកញាប់

ការបង្វែរម៉ោងនៃវីដេអូទៅជាពិភព 3D ជាប់គ្នា

សូមស្រមៃគិតអំពីការថតវីដេអូនៃព្រឹត្តិការណ៍ទាំងមូល—ពិធីមង្គលការ គម្រោងសាងសង់ ឬដើរតាមធម្មជាតិឆ្លងកាត់ព្រៃ។ អ្នក​បញ្ចប់​ដោយ​ការ​ថត​ជា​ច្រើន​ម៉ោង ប៉ុន្តែ​វា​ជា​លំដាប់លំដោយ​លីនេអ៊ែរ។ ចុះ​បើ​អ្នក​អាច​បំប្លែង​វីដេអូ​ដ៏វែង​នោះ​ទៅ​ជា​គំរូ 3D ដែល​អាច​រុករក​បាន​តែមួយ​នៃ​ទិដ្ឋភាព​ទាំងមូល? នេះគឺជាគោលដៅដ៏មានមហិច្ឆតារបស់ LoGeR ដែលជាកិច្ចសហការស្រាវជ្រាវឈានមុខគេរវាង DeepMind និង UC Berkeley ។ បច្ចេកវិទ្យានេះមិនគ្រាន់តែភ្ជាប់រូបថតជាមួយគ្នាប៉ុណ្ណោះទេ។ វាបង្កើតឡើងវិញដោយឆ្លាតវៃនូវពិភព 3D ជាប់លាប់ពីការផ្សាយវីដេអូដែលមានរយៈពេលវែង ទាំងរយៈពេល និងផ្លូវជាក់ស្តែង ដោយដោះស្រាយបញ្ហាប្រឈមដ៏សំខាន់បំផុតមួយនៅក្នុងចក្ខុវិស័យកុំព្យូទ័រ។

បញ្ហាប្រឈមស្នូល៖ ភាពស៊ីសង្វាក់គ្នាលើមាត្រដ្ឋានដ៏ធំ

វិធីសាស្រ្ដ 3D បែបបុរាណ ល្អមែនទែន ជាមួយនឹងឈុតវីដេអូខ្លីៗ ឬបណ្តុំនៃរូបថតដែលថតពីមុំផ្សេងៗគ្នាក្នុងពេលតែមួយ។ ទោះយ៉ាងណាក៏ដោយពួកគេតស៊ូយ៉ាងខ្លាំងជាមួយនឹងវីដេអូ "វែង" ។ ការលំបាកមានពីរ។ ទីមួយ ប្រវែងបណ្ដោះអាសន្ន៖ នៅពេលដែលវីដេអូលាតសន្ធឹងក្នុងរយៈពេលប៉ុន្មាននាទី ឬរាប់ម៉ោង ការផ្លាស់ប្តូរពន្លឺ វត្ថុផ្លាស់ទី ហើយមនុស្សមក និងទៅ។ ទីពីរ មាត្រដ្ឋាន​លំហ៖ កាមេរ៉ា​អាច​ឆ្លង​កាត់​តំបន់​ធំ​មួយ ដូចជា​ដើរ​កាត់​សួន​ច្បារ និង​ចូល​ទៅ​ក្នុង​អគារ បង្កើត​បរិយាកាស​ដ៏​ធំ និង​ស្មុគស្មាញ​ដើម្បី​ធ្វើ​ផែនទី។ ប្រព័ន្ធដែលមានស្រាប់ជារឿយៗបរាជ័យក្នុងការថែរក្សាផែនទីសកលដែលជាប់លាប់ ដែលនាំទៅដល់ការស្ថាបនាឡើងវិញដែលមិនជាប់ពាក់ព័ន្ធ ឬ "អណ្តែតទឹក"—វត្ថុបុរាណខ្មោចដែលមិនមែនជារបស់ផ្ទៃណាមួយឡើយ។ LoGeR ដោះស្រាយវាដោយផ្តោតលើការកសាងតំណាងបង្រួបបង្រួមដែលនៅជាប់គ្នាក្នុងមាត្រដ្ឋានពេលវេលា និងលំហដ៏ច្រើនទាំងនេះ។

តើ LoGeR សម្រេចបាននូវការស្ថាបនាឡើងវិញដោយរបៀបណា

LoGeR ដែលតំណាងឱ្យ Long Generative Reconstruction ណែនាំវិធីសាស្រ្តប្រលោមលោកដែលផ្តោតលើយុទ្ធសាស្ត្រ "ការចាប់ផ្តើមគ្រាប់ពូជ" ។ ជំនួសឱ្យការព្យាយាមបង្កើតឈុត 3D ទាំងមូលក្នុងពេលតែមួយពីស្ទ្រីមវីដេអូដ៏ច្របូកច្របល់ ប្រព័ន្ធកំណត់អត្តសញ្ញាណផ្នែកតូចមួយនៃវីដេអូដែលអាចគ្រប់គ្រងបាន ដែលងាយស្រួលបង្កើតឡើងវិញដោយមានទំនុកចិត្តខ្ពស់។ បំណះ 3D ដែលមានគុណភាពខ្ពស់នេះបម្រើជាយុថ្កាដែលមានស្ថេរភាព ឬ "គ្រាប់ពូជ" ។ បន្ទាប់មក គំរូនេះបង្កើនការតំណាង 3D នេះបន្តិចម្តងៗ ដោយដាក់បញ្ចូលជាស៊ុមដោយយកចិត្តទុកដាក់នូវព័ត៌មានដែលមើលឃើញថ្មីៗ ខណៈពេលដែលយោងត្រឡប់ទៅគ្រាប់ពូជដែលបានបង្កើតឡើង ដើម្បីធានាបាននូវភាពស៊ីសង្វាក់គ្នាជាសកល។ វិធីសាស្រ្តនេះមានប្រសិទ្ធភាពអនុញ្ញាតឱ្យគំរូដើម្បីជៀសវាងបញ្ហាទូទៅនៃមាត្រដ្ឋាន ដោយបង្កើតគំរូ 3D កាន់តែត្រឹមត្រូវ និងអាចទុកចិត្តបានពីការបញ្ចូលរយៈពេលវែងបំផុត។ វា​ជា​ការ​ផ្លាស់​ប្តូរ​ពី​ការ​ព្យាយាម​មើល​រូបភាព​ទាំង​មូល​ក្នុង​ពេល​តែ​មួយ​ដើម្បី​បង្កើត​វា​ពី​ស្នូល​ដែល​គួរ​ឱ្យ​ទុក​ចិត្ត។

កម្មវិធីជាក់ស្តែងសម្រាប់អាជីវកម្ម និងអ្នកបង្កើត

កម្មវិធីដែលមានសក្តានុពលសម្រាប់បច្ចេកវិទ្យាដូចជា LoGeR មានច្រើនណាស់។ សម្រាប់ស្ថាបត្យករ និងអ្នកអភិវឌ្ឍន៍អចលនទ្រព្យ វាអាចបំប្លែងការស្ទង់មតិគេហទំព័រ ដោយអនុញ្ញាតឱ្យមានការណែនាំជាវីដេអូសាមញ្ញមួយដើម្បីបង្កើតគំរូ 3D លម្អិតនៃអចលនទ្រព្យ។ នៅក្នុងការកម្សាន្ត អ្នកផលិតខ្សែភាពយន្តអាចបង្កើតឈុតឌីជីថលពីវីដេអូស្វែងរកទីតាំងយ៉ាងទូលំទូលាយ។ សម្រាប់ការគ្រប់គ្រងភស្តុភារ និងឃ្លាំង វាអាចបើកដំណើរការផែនទី 3D ថាមវន្តនៃគ្រឿងបរិក្ខារដ៏ធំ។ សមត្ថភាពក្នុងការបង្កើតឌីជីថលភ្លោះដ៏ស្អិតរមួតពីវីដេអូដែលមិនមានរចនាសម្ព័ន្ធគឺជាឧបករណ៍ដ៏មានឥទ្ធិពល។ នៅ Mewayz យើងឃើញការរួមផ្សំធម្មជាតិជាមួយនឹងបច្ចេកវិទ្យានេះ។ ប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មម៉ូឌុលរបស់យើងត្រូវបានបង្កើតឡើងដើម្បីរួមបញ្ចូល និងរៀបចំរចនាសម្ព័ន្ធស្ទ្រីមទិន្នន័យស្មុគស្មាញ។ ស្រមៃមើលម៉ូឌុលគ្រប់គ្រងគម្រោង ដែលវីដេអូត្រួតពិនិត្យគេហទំព័រត្រូវបានដំណើរការដោយស្វ័យប្រវត្តិដោយឧបករណ៍ដូចជា LoGeR ហើយគំរូ 3D លទ្ធផលត្រូវបានភ្ជាប់ភ្លាមៗទៅនឹងបញ្ជីកិច្ចការ បញ្ជីសារពើភ័ណ្ឌ និងពេលវេលានៅក្នុងវេទិកា Mewayz ដោយផ្តល់នូវទិដ្ឋភាពដ៏អស្ចារ្យ និងសំបូរទិន្នន័យនៃដំណើរការគម្រោង។

សម្លឹងឆ្ពោះទៅមុខ៖ អនាគតនៃការយល់ដឹងអំពី Spatiotemporal

LoGeR តំណាងឱ្យការលោតផ្លោះដ៏សំខាន់មួយឆ្ពោះទៅរកប្រព័ន្ធ AI ដែលអាចយល់អំពីពិភពលោករបស់យើងមិនត្រឹមតែជារូបភាពជាបន្តបន្ទាប់ប៉ុណ្ណោះទេ ប៉ុន្តែជាលំហ 4D ដែលកំពុងវិវត្តជាបន្តបន្ទាប់ (3D + ពេលវេលា)។ ការបន្តបន្ទាប់នាពេលអនាគតអាចតាមដានវត្ថុ និងមនុស្សយ៉ាងរលូនពេញម៉ោង ដោយការយល់ដឹងមិនត្រឹមតែកន្លែងណានោះទេ ប៉ុន្តែរបៀបដែលពួកវាផ្លាស់ប្តូរ និងអន្តរកម្មក្នុងរយៈពេលយូរ។ ការយល់ដឹង spatiotemporal នេះគឺជាព្រំដែនបន្ទាប់។ សម្រាប់វេទិកាដូចជា Mewayz ដែលមានបំណងធ្វើជាប្រព័ន្ធប្រតិបត្តិការកណ្តាលសម្រាប់អាជីវកម្ម ការរួមបញ្ចូលសមត្ថភាពទិន្នន័យទំហំកម្រិតខ្ពស់បែបនេះអាចធ្វើបដិវត្តរបៀបដែលក្រុមហ៊ុនរៀបចំផែនការ ត្រួតពិនិត្យ និងវិភាគប្រតិបត្តិការជាក់ស្តែង។ វាជំរុញយើងឱ្យខិតទៅជិតអនាគតមួយដែលពិភពឌីជីថល និងរូបវន្តត្រូវបានទាក់ទងគ្នាយ៉ាងរលូនសម្រាប់ការសម្រេចចិត្តកាន់តែឆ្លាតវៃ។