Camera Array Tool
ToppiNapin kehittämä ensimmäinen lisäosa suositulle Blender 3D ohjelmistolle on nyt olut tovin jo valmiina ja tätä postausta kirjoitettaessa se menee versiossa 3.1.2. Camera Array Tool on monipuolinen työkalu joka luo kameroita minkä tahansa objektin pinnalle. Jos esimerkiksi luot yksinkertaisen primitiivi objektin Blenderissä voit muuttaa sen “kamera häkiksi” ja päättää osoittavatko kamerat objektin sisäpuolelle, ulkopuolelle vai kumpaankin suuntaan. Tämä kaikki on saanut ideansa oikean maailman Kamera Array setupeista joita nähdään käytettävän esimerkiksi elokuva-alan studioissa tai tekniikan tutkimuskeskuksissa. Näitä useita kameroita sisältäviä “kuvaus koneita” käytetään 3D skannaamiseen, missä valokuvamallinnuksella pyritään kuvattavasta kohteesta luomaan 3D malli. Camera Array Tool on virtuaalinen versio kyseisestä kokonaisuudesta ja sen avulla vastavan kamera-arsenaalin voi virittää 3D ohjelman sisään ja laskea kuvia eri kuva kulmista. Tämän avulla voi siis edullisesti harjoitella, testata ja simuloida miten monella kameralla kolmiulotteinen esine, hahmo tai jopa ympäristö voidaan tallentaa. Renderöityjä kuvia voi sitten hyödyntää esimerkiksi uusien Gaussian Splatting 3D mallien luomisessa.
Camera Array Tool onkin kehitetty erityisesti Gaussian Splatting laskentaa varten ja yhdistettynä Postshot ohjelmaan tästä ns. synteettisestä datasta saakin luotua varsin hienoja ja mielenkiintoisa Gaussian Splatting käännöksiä. Hyödyt tulevat esiin erityisesti silloin kun haluamme muuntaa jotakin vaikeasti laskettavaa (kuten hiuksia, karvoja, läpinäkyvyyksiä, heijastumia) tai muuten raskasta renderöityä tulosta reaaliaikaiseksi 3D malliksi. Koska Gaussian Splatting mallit koostuvat pistepilvistä on niiden esittäminen huomattavasti kevyempää ja mahdollisempaa näyttää reaaliajassa. Ja koska Gaussian Splatting mallit kykenevät esittämään myös läpinäkyvyyksiä ja heijastumia joita perinteinen photogrammetria ei taas pysty näyttämään on synteettisten Gaussian mallien tekeminen myös tästä näkökulmasta kiehtovaa. Kun käytämme aikaa ja laskenta tehoa tuottamaan Gaussian käännöksen mallista vain kerran. Voimme sen jälkeen katsella 3D mallia täydellä laadulla reaaliajassa jopa nettiselaimessa.
Tätä varten Camera Array Tool on siis olemassa ja nyt sen kautta on myös mahdollista tuottaa datasetit myös niin kutsutulle 4DGS aineistolle, joka tarkoittaa liikkuvia Gaussian Splatting malleja. Blenderistä voidaan renderöidä paitsi animoituja objekteja, myös array objektien kamerakulmat ja objektin pistepilvidata. Tässä käytetään avoimenlähdekoodin COLMAP muotoa jota postshot ohjelma voi hyödyntää Gaussian treenauksessa. Animoiduissa Gaussianeissa mallit lasketaan PLY sekvensseissä. PLY on tiedosto muoto joka on nyt vakiintunut Gaussian Splatting mallien tallennusformaatiksi. PLY sekvenssit toimivat siis samaan tapaan kuin vaikkapa animaation framet tai kuvasarjoiksi puretut videot. 4DGS:ssä jokainen PLY Freimi pitää vain sisällään 3D informaation luodusta mallista, ja siitä syystä sekvenssit voivat kasvaa data määrältää myös hyvin suuriksi. Tämä tekniikka on vielä hyvin uutta ja tuoretta, eikä siihen ole kehitetty vielä kunnollista pakkausmenetelmää kuten videokuvalle on jo olemassa. Siksi liikkuvan Gaussian aineiston toteuttaminen vaatii kovasti tehoja ja etenkin VRAM muistia näytönohjaimelta.
Camera Array Tool on myynnissä Gumroad ja Blender Market verkkokauppa-alustoilla.
Olen tehnyt myös aiheeseen johdattavia tutoriaalivideoita Youtube kanavalleni joita voit katsoa tästä:
