專題欄目:ARVRMR虛擬現實

結合CV與機器學習,AR濾鏡Scan Band可將身邊物體變成樂器

將舞蹈、節奏游戲、樂器、AR等多種元素結合可以怎么玩?近期,智能樂器品牌Artiphon就推出了這樣一款Snapchat AR濾鏡:Scan Band。據悉,該濾鏡基于Snap Scan視覺識別技術,以及AudioML技術(可接入自己培訓的機器學習模型),可創作出結合聲音、視覺、互動的AR視頻,通過具有互動性的趣味AR,為舞蹈、健身、美食等內容帶來更生動的效果。

Artiphon創始人兼CEO Mike Butera博士表示:過去幾年里,我們一直在秘密開發AR音樂技術,現在通過Scan Band,終于將成果正式發布。

據青亭網了解,Scan Band顧名思義,結合了Scan和Band兩種玩法,首先它通過Snapchat的視覺識別功能Scan來掃描環境中的物體,然后將識別到的物體轉化成“折紙風格”的3D模型,接著在3D模型上加入各種樂器的音效,當你用手觸碰或輕拍3D模型時,可模擬演奏樂器的效果。

細節方面,Scan Band可識別的物體包括飛機、寵物、食物等等,它可模擬的聲音效果則包括吉他、合成器、鼓、音符等等。也就是說,你可以將AR氣球當合成器來使用,將AR橙子當吉他來演奏,或是在地上放置可模擬鼓聲的香蕉、一系列音符等等??傊?,Scan Band主要是用于創作有創意的音樂視頻,你可以制作結合舞蹈動作、搞笑動作等元素的視頻。

來源:青亭網

發表評論

相關文章

周末同床