3D Gaussian Splatting
傳統點雲掃描大型城市場域時,需花費大量的人力進行後製處理。特別是在高反光、不規則的形體方面,點雲建模的擬真度較為不足。
3D Gaussian Splatting 這項創新技術,使用電腦圖學與機器學習的 AI 技術,使用者只需上傳照片或是影片,即可將 2D 影像轉換為 3D 物件。
透過 3D Gaussian Splatting,可獲得高品質且近乎真實的 3D 場景。
數位雙生(digital twins),又稱數位雙胞胎、數位分身、數位孿生、數位映射等,顧名思義其所指的,即是在數位世界當中,創造一個類比現實世界的數位模型,而這一模型能夠將現實世界的實體,透過數位建模完全複製一個分身至虛擬環境中。這項技術最常被使用在「模擬」上,透過數據整合、AI演算進行推演。
在各行各業中,也因為數位雙生的可虛擬化、可模擬性、可預測性的特性,常常被拿來針對真實環境的建立虛擬環境,就像平行宇宙的沙盒一樣進行各種試驗而不影響實體世界的運作,用以強化如工具設備運作及生產效率,包括製造業、營造業、航空業,醫療業等均可導入數位雙生之應用,例如,未來製造業想要達成導入智慧生產,可建立一個真實的工廠模型到設備模型,彙整生產及相關數據,在虛擬空間模擬智慧系統的運作,藉此分析工廠最佳化生產配置,並進行產線生產狀況預測,藉此提升生產效率。
1. 用於「產品開發、實驗研究」:利用數位雙生技術開發的虛擬原型,可以在開發複雜的產品之前進行測試和改進,減少物理測試的需求,還可以使用數位雙生來類比和驗證流程的每個階段,以便在生成成品之前識別困難和潛在故障。
2. 用於「營運管理」:將實際物品內置物聯網感測器,不斷發送有關物品及其狀況的即時資料,以數位方法即時控制生產流程和資源性能。
3. 用於「維護建築物」:數位雙生技術可以監控建築物的加熱、通風、空調和照明系統,從而降低建築物使用成本。此外,通過數位雙生進行建築維護可以快速識別維修需求和解決方案建議。
4. 用於「元宇宙」:數位雙生技術可以用於建立虛擬世界中的物體、環境和地點,這些模型可以用於模擬和改善虛擬實境的體驗,提高元宇宙的運營效率,和預測虛擬經濟、社交活動的趨勢。
不少人會誤解,「數位雙生不就是畫3D嗎?」其實不全然,數位雙生跟玩3D遊戲很類似,但關鍵的差異是前者數據要連結,資料要回收,另外3D遊戲跟現實世界是沒有任何連動的,但數位雙生的基本樣貌呈現,就是一種三維的虛擬模型,故不可否認與3D建模息息相關,而現今3D建模技術,對於一般社會大眾,若不具備相關專業設備或技術能力,是無法輕易完成的,故華碩雲端特別打造『AI True Cloud』平台,針對「人、物、場、景」由小至大的高擬真3D建模開始,整合數據高速交換與線上協作功能,驅動遊戲引擎與AI演算法的渲染技術,透過輕量化及容器化達到快速部屬,讓數位內容創作者不需自建主機與開發環境,便能透過雲端服務線上作業,是一個專為數位內容創作者所規劃,提供數位孿生端到端技術所需的運算服務平台。
同時AI True Cloud全面導入通用場景描述(USD),通用場景描述(Universal Scene Description/USD)是美國皮克斯動畫工作室(Pixar Animation Studios)發明的檔案格式,USD原來是Pixar內部歷經廿餘年研究開發,用於交換與協作的工具,Pixar於SIGGRAPH 2016大會發表並予以開放原始碼,隨即受到產業聚落喝采,今天從Apple到Unity,越來越多業者加入USD生態圈,USD有望成為3D領域的HTML;不但視覺效果暨動畫產業日益重視,數位雙生到元宇宙相關產業亦將目光投向USD。
在SIGGRAPH 2022上,NVIDIA宣佈與Pixar、Adobe、Autodesk、西門子等共同合作,結合各領域業者,將USD廣泛利用於建築、工程、製造、機器人、科學計算乃至於各領域數位雙生,加速推動USD成為3D網際網路(3D Internet)乃至於元宇宙的開放標準。
利用AI True Cloud整合的多項高擬真3D應用、遊戲引擎渲染模擬、AI等端到端創新技術,數位內容創作者只需透過線上瀏覽器,即可創建高擬真3D場景。
可自訂專案工作空間與管理工作成員,並且透過專案將不同客戶的雲算資源與檔案隔離,以確保客戶資料的安全性。同時,專案工作空間綁定WebStorage雲端儲存空間,可滿足資料備份、交換、管理的便利性。
建構於台灣AI雲(TWCC),在GPU供不應求的AI技術競爭時代,透過AI True Cloud可彈性調用運算資源。採容器化的架構設計,兼具敏捷型與高擴展性,達到運算資源的彈性租用與成本控制。
傳統點雲掃描大型城市場域時,需花費大量的人力進行後製處理。特別是在高反光、不規則的形體方面,點雲建模的擬真度較為不足。
3D Gaussian Splatting 這項創新技術,使用電腦圖學與機器學習的 AI 技術,使用者只需上傳照片或是影片,即可將 2D 影像轉換為 3D 物件。
透過 3D Gaussian Splatting,可獲得高品質且近乎真實的 3D 場景。
大型城市場域即時擬真渲染所面臨的技術難題,其包含了如何高效搜尋出當前視野範圍內的模型檔案並進行擬真渲染,同時可以將視野範圍外的模型檔透過動態載入載出的方式節省運算資源的消耗。
透過遊戲引擎 Unreal Engine 中的大型開放世界的解決方案 - World partition 的動態場景資源管理系統,實現了無延遲、無邊界的地圖切換效果。此產品提供自動建置大型遊戲場景的機制,採用自動化的專案建置與編譯技術,讓使用者只須上傳程式模型到雲端的運算主機上面,一鍵啟動即可輕鬆等待執行檔編譯完成,不須操作複雜且龐大的 Unreal 遊戲引擎。
將大型城市場域即時擬真渲染在高效能的繪圖伺服器上進行,而後透過即時串流技術,將畫面、聲音傳送給串流伺服器再推送至使用者,減少使用者端的渲染資源消耗,大幅降低遊歷虛擬城市的體驗門檻。
這與單純觀看YouTube有很大的不同,使用者端可以自主瀏覽內容,並可透過滑鼠、鍵盤或觸碰螢幕與場景內容互動。AI True Stream 使用的是 Unreal Engine - pixel streaming 技術,使用者可將AI True Scene的場景及時渲染輸出,亦可上傳自行編譯的Unreal Engine遊戲執行檔,便能快速佈署至雲端串流。