隨著科技發展日新月異，虛擬實境（VR）的應用越來越廣泛普及，當使用者穿戴特殊顯示裝置後，會產生好像處在現實中一般的錯覺 。
而現在最夯的混合實境（Mixed Reality，MR）則是結合虛擬實境（VR）與擴增實境（AR）的新興技術，在混合實境中，用戶可以同時與真實和虛擬元件進行互動。
現在，這項新技術也發揮在醫療臨床領域上。
台大醫院與台灣微軟（Microsoft）13日共同發表混合實境應用於創傷醫學的突破成果，計畫主持人、台大醫院智慧醫療中心副主任李建璋，與微軟團隊運用HoloLens2及3D Slicer等科技，歷時2年，成功發展出一套可迅速重組3D電腦斷層影像、標註病灶、轉換成全息影像物件（Stereoscopic hologram），並可浮空投影到元宇宙的解決方案。
究竟這項新科技，解決了過去哪些臨床上的侷限？適合應用在哪些疾病？未來又有哪些應用發展呢？
（延伸閱讀：美FDA列14項化療藥短缺…台灣恐受波及》藥師嘆：缺藥像照妖鏡 「分級醫療」變「階級醫療」 )
電腦斷層、磁振造影30分鐘內就能從2D變3D
李建璋指出，在混合實境世界裡，醫師的理想是希望把3D電腦斷層的影像投射到元宇宙空間，未來可做教學、病患解說、手術計畫，甚至可以做到手術導航，「但過去受限於高專業軟體、工程師等才能實現，耗時又昂貴，且無法應付急性醫療需求，也無法普及到一般醫學教育。與微軟的合作主要就是突破這些限制，用開源的軟體、微軟提供的雲端運算以及套裝軟體，把整套流程簡便化、平民化。」
李建璋強調，現在任何一個電腦斷層影像，30分鐘就能做成在元宇宙可使用的3D全息影像，大幅降低進入元宇宙醫學應用的門檻，「也能普及到一般醫學教育和病情解說，且此方案除了適用於電腦斷層影像，也可適用於磁振造影影像。」
他表示，第一個著手建構的資料庫就是創傷資料庫，「因為創傷從頭到腳有各種不同形式，且往往需要第一線、尤其是急診醫師迅速判斷，過去只有2D圖形教育，可能對變化多端的創傷形式學習沒辦法這麼快，透過蒐集台大醫院10年來所有超過1千多張的創傷影像資料庫，去辨識化後做成30幾大類的全息3D影像，未來這些可以幫助醫學生、住院醫師更快學習不同創傷在電腦斷層上的變化，並了解3D立體空間結構。」
李建璋教授團隊目前已帶領醫學生孫維劭、楊珽凱建置完成創傷立體全息影像資料庫，內容包括肋骨骨折、氣胸、肺挫傷、頸部以及胸腰椎橫凸骨折、髖骨骨折，脾臟損傷與肝臟損傷、創傷腦出血、顱顏骨折。
李建璋也表示，「肋骨電腦斷層平面影像不容易辨認骨折，但透過重組3D影像就能清楚辨識。」
透過3D立體影像能更快速完善做術前評估
台大醫院影像醫學部主任陳世杰指出，X光、超音波、電腦斷層等醫學影像在創傷病患的評估與診斷扮演重要角色，其中電腦斷層影像不受骨頭、空氣等物理性質的限制，能更全面地檢視病患體內構造。「然而受限於2D平面影像，對於多重創傷病灶的判讀難免出現遺漏，透過3D立體影像能更快速、完善的評估所有的受傷部位以及嚴重程度，進行更完整的術前規劃。」
李建璋也強調，透過HoloLens 2、Microsoft Teams、及3D Slicer，醫師可以在3D影像上標註骨折、內出血、氣血胸，並與實際的傷患創傷部位進行虛實對照，有助於創傷教學、臨床醫療診斷及遠距會診。
台大醫院副院長賴逸儒表示，此次與微軟的合作不僅讓台大醫院創傷電腦斷層影像資料庫能利用先進的科技，重組成虛擬3D物件投射到元宇宙，「使用HoloLens 2混合實境裝置，讓醫師間可透過直觀的手勢操作，更全面了解病患創傷的病灶同時進行跨時空會診，有效提升創傷診斷的效率與正確性，並增加臨床教學互動，克服過往2D影像教學的困難。」
李建璋表示，目前是由院內對於高科技有興趣的醫師，「如外科郭庭均醫師開始使用，在她的副甲狀腺、胰臟腫瘤手術的病人，開始做一些標註，組成3D全息影像和病人解釋做術前的規劃，雲林分院外科部郭律廷主任也開始接觸，使用在複雜的動靜脈血管瘤。」
「3D影像遠距會診」解決偏鄉醫療資源短缺問題
而在疫情衝擊下，遠距醫療也成為全球醫療的新趨勢。
台大醫院雲林分院院長馬惠明強調，「遠距醫療及遠距會診能有效弭平偏鄉醫療資源短缺的問題，HoloLens 2 結合微軟團隊則是遠距醫療及遠距會診直觀有效的新處方，透過這項技術，雲林分院可以即時與台北本院或其他分院進行視訊會診，並同步看到3D影像與虛實對照，提升了會診的品質與效率。」
微軟全球助理法務長及台灣微軟公共暨法律事務部總經理施立成指出，「今年進一步將台大醫院創傷資料庫的電腦斷層影像重組為立體影像後，匯入HoloLens 2頭戴裝置，以延伸實境、更為直覺的判讀方式來觀看創傷病人器官的立體影像，希望有助於提升影像診斷能力，同時優化醫療教學的流程，為醫療影像技術及遠距會診的臨床實用性樹立新的里程碑。」
台大醫院教學部主任盛望徽表示，「現有一些電腦輔助的診斷工具90%準確，但還有10%仍需要醫療人員的判斷及溝通，未來這兩個區域若能聯合在一起，對於像以AI醫療科技的進步，應該是指日可待。」
李建璋強調，此資料庫的建立是世界首創且寶貴的教學資源，未來將於台大醫院教學部使用，雙方也將持續攜手合作，推動創傷醫學的發展，希望造福更多民眾及社會。
