媒體報道 | 消費級超寫實虛擬人，AI 時代的肉身
2023-07-14
消費級虛擬人的“最后一公里”。
引言
畫面中心，一個身穿國風服飾的女子從半空墜到幻境般的地面，一個男聲響起，“千年前，世人將你命名為天妤……”
這是去年4月發布的抖音和Tiktok短劇《千壁尋蹤》的開場畫面，評論區的高贊評論是，“我愛這種眼妝！太美了！”
圖片天妤劇照
但天妤并不是一位美妝博主，而是中國首個出海的國風超寫實虛擬數字人。以短劇女主角身份出道之后，天妤于今年年初成為壹心娛樂旗下“藝人”。她背后真正的創造者，則是近年專注于虛擬數字人賽道的上市公司天娛數科。
現在天娛數科想做的，是讓天妤這樣的超寫實虛擬人制作變得更便捷、成本更低，且能應用到更廣泛的日常生活場景中。畢竟，不是每個人都能擁有3D掃描儀、基于計算機視覺或慣性動作捕捉的專業級設備。
2023 年 7 月 4 日，天娛數科宣布與銀牛微電子成立合資公司。銀牛微電子以3D機器視覺和AI的底層硬件平臺實力見長，天娛則在 AI 和軟件應用層面有更豐富的積累，在軟硬件融合的背景下，雙方將共同研發面向元宇宙及空間計算應用場景的便攜式 3D 視覺感知產品，以實現虛擬數字人低成本、短周期、批量化的生產制作，打造低延遲、高精度、沉浸式互動體驗，降低進入元宇宙的門檻。
這也意味著，虛擬人從專業級完成消費級的轉變，未來人人有一個自己的虛擬人數位分身，正加速成為現實。
當“捏”一個虛擬人，就像拍照一樣簡單
以傳統的底層架構技術，打造一個超寫實的虛擬人耗時長，過程也相對復雜，通常需要經歷建模、驅動和渲染三個主要階段。
天娛數科與銀牛微電子此次達成的戰略合作，初步規劃了三款產品，分別是 3D 深度相機、3D 攝像機和數字人 3D 數據采集系統。這三款產品，正好對應了虛擬人制作的三個關鍵環節。
天娛數科旗下子公司元境科技創始人&CEO王智武早在 2016 年就入局了虛擬數字人賽道，他在 36 氪的直播訪談中表示，如果使用人工建模，考慮到中途反復修改等不確定因素，一般要花費一兩個月甚至半年時間，成本也從幾十到上百萬不等。天娛和銀牛共同開發的這款 3D 深度相機，主要應用于虛擬人掃描與自動化建模，能優化虛擬數字人的制作流程，降低生產周期，加速數字人低成本批量生產，為虛擬數字人的普及鋪平道路。
在半導體行業有著20年研發與管理經驗的銀牛微電子 CEO 錢哲弘談到，比起傳統相機掃描采集的 2D 數據，銀牛微電子自研的 3D 雙目立體視覺及多傳感器融合視覺處理的人工智能芯片，可以讓這款相機直接采集 3D 數據，節省了將 2D 轉為 3D 的算力資源和時間成本。
除了利好從業者，這款3D深度相機也將極大降低外行人的使用成本——無需學習操作界面復雜的三維軟件，像拍照一樣使用3D深度相機，“人人都可以成為建模師。”
回顧相機本身的發展歷程，從黑白到彩色，從膠卷時代到數碼時代，從低分辨率到高分辨率，再從 2D 到 3D，如今機器視覺能夠呈現的，早已不再是一張照片。AI 時代，3D 深度相機有望成為新的視覺前景。根據 36 氪此前的報道，工業 3D 視覺領域已有千億規模的市場。在智能升級的趨勢下，便攜、可手持的 3D 深度相機會出現更多非工業、生活化的場景應用，譬如將 3D 深度相機集成到手機或消費電子產品，幫助人們獲得更好的健身、游戲和娛樂體驗。
更不用提未來的元宇宙，本就是一個天然的 3D 視覺互聯網。
跑向消費級虛擬人的“最后一公里”
3D深度相機，只是天娛數科與銀牛微電子在虛擬人產業鏈發力的第一步。
在元境科技辦公區擺放的一排電腦顯示屏中，七八個主播正在直播間講解帶貨。如果不近前仔細辨別，甚至看不出他們是虛擬人。
和天妤這樣擁有“人設”的身份型虛擬人相比，直播間主播屬于服務型的虛擬人。最近幾年，時不時在手機上刷到個虛擬人不再令人驚奇。尤其是最近半年在生成式人工智能技術加持下，在直播、影視、時尚、傳媒、金融和文旅等領域，服務型虛擬人的身影開始大量涌現，并有了比較成熟的商業化案例。“我們應用于電商直播場景的 AI 數字主播目前成本可控制在幾百元，真正幫助商家實現降本增效。” 王智武說。
從1982年第一個虛擬偶像林明美誕生至今，虛擬人產業在 40 年間取得了巨大進步，越來越多人都逐漸明確了虛擬人的巨大潛力，但它距離人人可用的“消費級”似乎總差著最后一公里。
要想讓虛擬人在 C 端大規模應用，除了低成本、短周期、能批量化生產，還要足夠好用和易用。天娛和銀牛共同開發的 3D 攝像機，在“建模”、“驅動”和應用的便捷性上，進一步提高了人們的想象空間。
“目前市面上已經出現了一些 3D 設備，但難以普遍應用，原因就在于還原度、分辨率和精度都不夠理想。” 銀牛微電子 CEO 錢哲弘表示，銀牛的技術可以保障3D圖像的高實時性、高分辨率和高精度。這次和天娛合作的3D 攝像機可以理解為是一款雙目攝像機，通過銀牛的自研芯片，做到延時小于1毫秒，分辨率高達1080p，并且精度達到亞毫米級。不同于傳統的2D轉3D的方式，這樣的技術可以使用戶在使用時能夠像人的雙眼一樣實時獲取完整的3D數據信息，時間成本呈幾何級數的下降，極大提升用戶體驗。
銀牛3D點云直出與3D模型示意
錢哲弘還分享了動漫行業的案例，“紅外相機的一個頭盔陣列基本在 10 萬元左右，一個動漫工作室可能只能買一套，一二十個動漫師輪著用。” 借助銀牛的核心技術，可以做到僅用一顆功耗不超過1瓦的芯片，把3D 攝像機做成一個消費端的手持式產品，并且能夠把成本降到數千元級別，對 C 端用戶更加靈活友好，真正實現微型化、大眾化、低成本化數字人3D建模與表情實時驅動設備的普及。
跟動漫或游戲相比，超寫實虛擬人在表情、動作和外形等細節所需的算力更多，而銀牛微電子已量產的自研核心芯片擁有3D視覺感知處理引擎，據其介紹，是目前全球唯一一款單芯片集成 3D 深度感知、AI（人工智能）、SLAM（實時定位與建模）的系統級芯片。得益于此，這款 3D深度傳感器在人臉識別、姿態、動作和手勢識別方面，有很強的準確度和細節捕捉能力。更重要的是，芯片和 3D 攝像機都能夠實現批量化生產。
產品落地之后，不僅有助于提升相關產業的“人效比”，也將優化原有行業的一些應用場景——譬如中國數千萬的游戲發燒友，可以通過 3D 攝像機將自己游戲時的表情、語音傳導到游戲角色中，獲得更沉浸的游戲體驗。需要揣摩其他玩家神情、姿態的線上德撲，便是一個典型案例。如果不愛玩德撲，沒關系，在狼人殺或者劇本殺里你可能也用得著。
圖片從形似到神似，“AI+ 3D視覺+虛擬人”讓元宇宙更早到來
和生成式大模型需要大量高質量的語料“喂養”類似，虛擬人完成從“形似”到“神似”的過渡，也需要大量的 3D 數據積累和訓練，以實現數字人表情、動作的智能生成，3D 數據采集系統的作用便在于此。
在規范的前提之下，用戶的動作、表情等數據集，將形成天娛數科獨有的3D數據庫。并通過后續深度學習、訓練，不斷豐富虛擬人的表情和動作，避免出現市場上普遍存在的數字人形象呆板單一、同質化，個性不鮮明等問題。
元境科技創始人&CEO王智武表示，從互動性看，目前虛擬人可分為三個階段：1.0 是靜態階段，生活在圖片或者視頻里；2.0，初步達到可交互形態；到 3.0 階段，進入更全面的 AI 時代。和 2.0 時代相比，最近半年火熱的 AIGC 技術，加上天娛高質量3D數據庫，能夠助推虛擬人在智能、互動性的道路上更進一步，更早地進入 3.0 時代。
如果說3D 相機和3D 攝影機這兩款產品，達成的是虛擬人與人之間的“形似”，那么天娛和銀牛研發的 3D 數據采集系統，完成的則是“神似”工程。“未來，兩款硬件設備都會內嵌到元境科技現有的 MetaSurfing -元享智能云平臺。
MetaSurfing -元享智能云平臺虛擬人服務
當技術的最后一點差距彌合之后，虛擬人從制作到應用的每一個環節都將更加便利和敏捷。元享這樣的元宇宙平臺，除了推動虛擬人走進千行百業，還能讓每個人都能打造自己的虛擬人分身。把行為數據投喂給虛擬人，讓 ta 不斷理解你的需求，甚至幫你處理一些生活上的基本事物，比如家用電器的開關、訂機票，陪自己或親朋聊天。而在天娛數科與銀牛微電子的強強聯合之下，錢哲弘表示，未來雙方在元宇宙社區的合作和開發亦有廣闊的發展空間。
正如元境科技虛擬人Veena 日前在 36 氪直播間所說，“未來的我可以作為虛擬化身出現在大家的 MR 眼鏡里，成為大家生活和工作的一部分。在書房里幫你找書，或者是在廚房的某個角落，提醒你今天要吃得健康。幫助每一個更好地實現自己的目標和愿望。”
到那時，現實與元宇宙，顯然已經不再那么涇渭分明。
小結
元宇宙最終要實現的，就是不同的個體在虛擬世界的交互。
隨著便攜式的 3D 視覺設備普及，元宇宙平臺級產品生態逐漸完善，擁有一個屬于自己的虛擬人數位分身，就會像擁有一個電腦或智能手機一樣稀松平常。
而當你成為了自己的“中之人”，第二分身除了真的能替你做些工作之外，或許也會讓你發現另一個自己。