Verslag van de Structure Sensor – Room Capture

Objecten en kamers in 3D scannen, virtual-reality spellen spelen en mobiele 3D-apps ontwikkelen, dit is allemaal mogelijk met de Structure Sensor van Occipital die je simpelweg op je iPad kan schuiven. Maar hoe goed werkt het nou eigenlijk, en hoe zou het apparaat of de apps eventueel verbeterd kunnen worden?

Voor nu focussen we op de app ‘Room Capture’ waarmee je complete kamers van maximaal 15.0×10.0x15.0m kan inscannen. Wanneer je de app opent krijg je camera view; rechts een knop met ‘Scan’ om met het scannen te beginnen en rechts onder staat een schuifbalk met de optie om de reikwijdte van de scanner te vergroten of te verkleinen. De minimale afmetingen zijn 3.0×3.0x3.0m en dit kan vergroot worden tot de maximale afstanden die eerder zijn genoemd.

1sr

Het scannen begint en door middel de iPad rustig te kantelen en te draaien (op dezelfde plek) vergroot je een netwerk van (zogenoemde) groene driehoeken die alle texturen van die specifieke kamer nabootsen. Vervolgens, als elk hoekje van de kamer is gescand en het groene netwerk geen gaten meer heeft, kan op er ‘Done’ geklikt worden en krijg je een realistische 3D weergave van de kamer waarin je staat, alleen dan op je iPad. In deze weergave kan je vervolgens kiezen om eventuele gaten te vullen met ‘Hole Filling’, de kamer van bovenaf weer te geven met ‘Top View’ of met ‘X-Ray View’ het weer terug te veranderen in een netwerk van driehoeken. Ook is er de optie om afstanden tussen bepaalde muren of voorwerpen te meten door middel van de ‘Measure’ optie. Hiermee plaats je twee punten ergens in de gescande ruimte en op je scherm krijg je dan de afstand tussen beide objecten te zien. Ook is er een navigatieknop linksonder om als het ware door de kamer te kunnen bewegen, zelf kan je ook met vingercommando’s de kamer bewegen en in- en uitzoomen etc. Als er uiteindelijk tevredenheid is over de scan bestaan er de opties om deze dan te delen via AirDrop, te openen in Dropbox of te openen in MeshLab (een app om de 3D-modellen te bekijken).

2sr

Voor ons project Smart Replicas reisden we afgelopen 3 oktober af naar Amsterdam om Herengracht 476 van binnen te bekijken en om een aantal kamers in te scannen. Dit huis staat namelijk in verbinding met de theepot en de tafel die we de dag ervoor in het Boijmans van Beuningen museum in Rotterdam hadden bekeken en ook met de Structure Sensor hadden gescand. In het huis in de zogeheten Gouden Bocht zit tegenwoordig het Prins Bernhard Fonds gevestigd, en van hun hadden we toestemming gekregen om te werk te gaan met de Structure Sensor in dit grote pand.

3sr

We hebben 2 verschillende kamers gescand en dit ging vrij moeizaam. In beide vertrekken stond een grote tafel in het midden van de kamer, en we ondervonden de moeite om met de Room Capture een kamer te scannen als er (grote) objecten dicht in de buurt staan van het midden van de kamer, daar waar de persoon staat met de iPad met structure scanner. De scanner raakt dan in de war door de afstandsverschillen die de scanner meet tussen het apparaat en de verschillende objecten in een kleine omgeving. Hierdoor wordt het uiteindelijke 3D-model van de kamer nogal vreemd omdat de scanner verschillende delen meerdere keer scant en dan het model door de war brengt. Dit was ook het geval in allebei de kamers die we in het Herengracht-pand gingen scannen. In een van de kamers moesten we zelfs het middendeel van de tafel weghalen om ook maar enigszins in het midden van de kamer te kunnen staan, wat de voorkeur heeft naar onze mening. Ideaal zou zijn om een kamer te hebben zonder enige objecten in het midden, alleen voorwerpen die dicht bij de muren staan. Op deze manier heeft het 3D-model uiteindelijk de minste gaten.

Ook merkten we dat de scanner moeite had met glas, plastic of spiegels. Dit is waarschijnlijk zo omdat de scanner werkt met behulp van infraroodlicht dat op de verschillende objecten wordt afgeketst. Door deze ‘ongewone’ materialen raakt de scanner in de war en scant hij bijna niets op deze plekken. Wij ervoeren dat er óf een gat in het 3D-model zat óf er zat een soort uitstulping op de plek van het raam als je de kamer vanuit Top View bekeek. Dit alles maakte de uiteindelijke scan ook veel minder ‘leesbaar’, ook omdat de kamers voor ons project nou net toevallig veel en immense ramen moesten bevatten. Hier moet dus ook rekening mee worden gehouden als je met deze app Room Capture te werk zou gaan.

4sr

Hiernaast ondervonden we ook dat de kleur van verschillende objecten of muren in de kamer wel degelijk effect heeft op de mate van ‘scanbaarheid’. Donkere objecten werden vaak niet gescand, waarschijnlijk omdat deze het infrarood-licht absorberen als het ware. Hierdoor ontstonden er nog meer gaten in de uiteindelijke scan en werd de kamer nog meer een soort van gatenkaas. Een kamer met voldoende licht en niet al te donkere objecten is dus erg aan te raden om tot betere eindresultaten te komen.

5sr

Dan is er ook nog de vorm van de kamer. Ideaal is namelijk om een vierkante of rechthoekige kamer te scannen zonder enige ‘uitstulpsels’, wat in ons geval gelukkig zo was. Voorafgaand aan ons bezoek aan Amsterdam hebben wel we wat dingen uitgeprobeerd en zo ook in een kamer met een L-vorm. Als je dan in de hoek van de L gaat staan, als het ware, heb je de meeste kans om het merendeel van de kamer in de kunnen scannen maar het is vrij moeilijk om elk stukje mee te kunnen pakken. Hier zou misschien niet snel iets op verzonnen kunnen worden maar bij nog gecompliceerdere kamers zou dit apparaat dus niet snel van pas kunnen komen.

FOTOS VAN DE KAMERS!!!!!!!!

Als laatste, wanneer je tevreden bent over je scan kan je hem openen in MeshLab, om je net gemaakte 3D-model te bekijken. Het grote nadeel is dan dat al het kleur ineens verloren gaat. Wat er dan op je scherm te zien is heeft grote gelijkenis met een soort gatenkaas-grot. Omdat het model ineens volledig in een bruine pot verf is gedoopt is er moeilijk te zien welk deel nou wat moet voorstellen. Pas als je inzoomt en in de kamer staat als het ware, en als je de kamer (waar in je inmiddels misschien niet meer bent) weer even inbeeld, krijg je weer een beetje een idee wat verschillende onderdelen moet voorstellen. Dit is natuurlijk wel een groot nadeel als je je model wil laten zien aan een persoon die geen idee heeft van de lay-out en inhoud van de betreffende kamer. Als de kleur dus ook meegenomen zou kunnen worden naar MeshLab dan zou het al een heel stuk beter zijn.

Al met al is er dus zeker ruimte voor verbetering als het gaat om je kamer in te scannen met de Structure Sensor. Maar omdat dit nog de bèta-versie is, kan elke programmeur met een beetje verstand van zaken zèlf de app bijwerken en verbeteren door hem te hacken. Wel is het apparaat al een grote stap in de goeie richting als je het vergelijkt met soortgelijke producten op de markt. De Structure Sensor is dan een stuk compacter en makkelijker in gebruik dan wat er tot nu toe bestond. Met de vernieuwingssnelheid in de technologie-wereld zal dit apparaat zeker snel een hele hoop meer kunnen en voor veel verschillende doeleinden gebruikt kunnen worden. Een goeie basis is er in ieder geval al!

 

 

Be Sociable, Share!

    Comments are closed.