Taktiler Tisch im dunklen Raum mit Overhead-Projektor, projizierter Benutzeroberflaeche, Gebaeudemodellen und rotem Puck
Computer Vision & InteraktionComputer Vision & Interaction IAAC · MAIA01

GUIDED COMPARATIVE
ASSEMBLY

ProgrammProgram

MAIA01 · Hardware III

TeamTeam

7 (IAAC)

LeistungRole

Vision · TouchDesigner · FSM

ToolsTools

TouchDesigner · OpenCV · MediaPipe · ArUco · RFID

PROJEKTBESCHREIBUNGPROJECT DESCRIPTION

KATEGORIECATEGORY
Akademisch · Computer VisionAcademic · Computer Vision

PROGRAMMPROGRAM
IAAC · MAIA01 2025/2026

Die folgenreichsten Entscheidungen eines Gebäudes — Material, Methode, Grundfläche, Höhe — fallen ganz am Anfang, im Dunkeln, lange bevor belastbare Daten vorliegen. Bis zu 80 % der Lebenszyklus-Wirkung sind dann bereits festgelegt. Guided Comparative Assembly macht diese Konsequenzen sichtbar: ein taktiler Tisch, der Kosten, CO₂ und Zeit live zeigt, während man das Gebäude konfiguriert — nicht als scheinbar exakte Einzelzahl, sondern als ehrliche Spannen mit Quelle und Konfidenz. A building's most consequential decisions — material, method, footprint, height — are made right at the start, in the dark, long before reliable data arrives. By then up to 80% of the lifecycle impact is already locked in. Guided Comparative Assembly makes those consequences visible: a tangible table that shows cost, carbon and time live as you configure the building — not as a single, falsely precise number, but as honest ranges with provenance and a confidence level.

Die Bedienung passiert auf der Tischoberfläche selbst, ein Overhead-Projektor spielt das Feedback auf ein Neun-Felder-Layout zurück. Fünf physische Handgriffe führen durch den Entwurf: ein gedrucktes Modell auf den RFID-Sockel stellen (Methode), mit einem roten Puck die Eckpunkte der Grundfläche setzen, einen Schieber für die Geschosszahl bewegen, Material wählen und bestätigen, dann die Bauphasen bis zum direkten Vergleich durchgehen. Jeder Schritt wird von der Kamera gegen ein projiziertes Ziel bestätigt — nichts passiert, bevor der Tisch es gesehen hat. Configuration happens on the table surface itself; an overhead projector returns feedback onto a nine-panel layout. Five physical moves guide the design: place a printed model on the RFID pedestal (method), dwell a red puck to drop each footprint corner, push a slider for the floor count, choose a material and confirm, then walk the build phases to a side-by-side comparison. Every step is camera-confirmed against a projected target — nothing happens until the table has seen it happen.

Unter den fünf sichtbaren Schritten arbeitet eine bewusst dreigeteilte Logik. Eine lineare Vision-Pipeline (Capture → ArUco-Erkennung → Homographie → OSC) streamt Puck-Positionen und einen Heartbeat per UDP an eine TouchDesigner-Laufzeit; eine zweite Spur liest mit MediaPipe die Hand für Sekundäraktionen. Eine Acht-Zustands-Maschine steuert die Reise, ein Wrapper fängt Kalibrierung und Fehler ab — bleibt der Heartbeat zehn Frames aus, gelten die Daten als veraltet und das System fällt sauber in den Fehlerzustand. Beneath the five visible moves runs a deliberately three-layered logic. A linear vision pipeline (capture → ArUco detection → homography → OSC) streams puck positions and a heartbeat over UDP to a TouchDesigner runtime; a parallel track reads the hand with MediaPipe for secondary actions. An eight-state machine drives the journey while a wrapper handles calibration and error — if the heartbeat goes quiet for ten frames the data is treated as stale and the system trips cleanly to an error state.

Jede Zahl stammt aus einer einzigen, kuratierten Datenbasis (über 40 Quellen, EN-15978-/EN-15804-Lebenszyklusphasen) und wird als Spanne mit Konfidenz ausgegeben — bewusst gegen die trügerische Sicherheit einer einzelnen Kennzahl. Der eigentliche Horizont ist der Client-Table: Standardausstattung in Studio und Baufirma, der im Kundengespräch Plan und Phasen samt Kosten, CO₂ und Zeit zeigt, damit alle gemeinsam und auf Basis der Zahlen entscheiden. Every figure comes from a single curated database (40+ sources, EN 15978 / EN 15804 lifecycle stages) and is delivered as a range with a confidence level — deliberately resisting the false certainty of a single metric. The real horizon is the client table: standard kit in studios and contractors that, in the client meeting, shows the plan and each phase's cost, carbon and time so everyone decides together, on the numbers.

01 — DAS PROBLEM01 — THE PROBLEM

Entschieden, bevor die Daten da sindDecided Before the Data Arrives

Jedes Gebäude beginnt mit einer Handvoll Entscheidungen, die im Dunkeln getroffen werden — Material, Methode, Grundfläche, Höhe. Sie werden zuerst festgelegt, bevor jemand die Daten konsultiert, und sie binden den größten Teil dessen, was das Gebäude Planet und Bauherrn kosten wird. Genau dort, wo die Weichen gestellt werden, sind die Zahlen am wenigsten präsent — sie kommen zu spät, um die Wahl noch zu ändern. Every building starts with a handful of decisions made in the dark — material, method, footprint, height. They are committed first, before anyone consults the data, and they lock in most of what the building will cost the planet and the client. Exactly where the course is set, the numbers are least present — they arrive too late to change the choice.

  • 37 % der globalen energiebezogenen CO₂-Emissionen stammen aus Gebäuden. (UN Environment Programme · 2022) 37% of global energy-related CO₂ emissions come from buildings. (UN Environment Programme · 2022)
  • Bis zu 80 % der Lebenszyklus-Wirkung eines Projekts werden im frühen Entwurf festgelegt. (McKinsey · 2023) Up to 80% of a project's lifecycle impact is locked in during early design. (McKinsey · 2023)
  • Bis zu 282 % kann sich der CO₂-Wert eines Materials allein durch einen Datenbankwechsel verschieben. (Building & Environment · 2023) Up to 282% — how much a material's carbon figure can shift just by switching database. (Building & Environment · 2023)
  • ~200 % kann sich dasselbe Ergebnis bewegen, wenn nur die Berechnungsmethode wechselt. (Renewable & Sustainable Energy Reviews · 2021) ~200% — how much the same result can move when only the calculation method changes. (Renewable & Sustainable Energy Reviews · 2021)

Eine einzelne Zahl, selbstbewusst präsentiert, führt in die Irre. Also stellten wir eine andere Frage: Was, wenn man die Konsequenzen sehen könnte — als ehrliche Spannen statt Einzelwerte — während man das Gebäude selbst konfiguriert? A single number, presented with confidence, misleads. So we asked a different question: what if you could see the consequences — as honest ranges, not single figures — while you configure the building itself?

02 — DER ABLAUF02 — THE JOURNEY

Fünf physische HandgriffeFive Physical Moves

Guided Comparative Assembly ist eine Tisch-Installation: Die Bedienung passiert auf der Oberfläche selbst, ein Overhead-Kurzdistanz-Projektor spielt das Feedback auf ein Neun-Felder-Layout zurück. Die Erfahrung besteht aus fünf physischen Handgriffen — jeder eine Aktion, die die Kamera gegen ein projiziertes Ziel bestätigen muss, bevor die Projektion weiterschaltet. Guided Comparative Assembly is a tabletop installation: configuration happens on the surface itself, while an overhead short-throw projector returns feedback onto a nine-panel layout. The experience is five physical moves — each an action the camera must confirm against a projected target before the projection advances.

  • Methode — ein gedrucktes Modell auf den RFID-Sockel stellen, um die Bauweise zu wählen. Method — place a printed model on the RFID pedestal to choose the construction method.
  • Grundfläche — einen roten Puck verweilen lassen, um Eckpunkt für Eckpunkt den Grundriss zu zeichnen. Footprint — dwell a red puck to drop each corner point, drawing the plan.
  • Höhe — einen linearen Schieber bewegen, um die Geschosszahl festzulegen. Height — push a linear slider to set the floor count.
  • Bestätigen — Material setzen und die Zusammenfassung bestätigen. Validate — set the material and confirm the summary.
  • Vergleichen — die Bauphasen durchgehen und auf einem direkten Nebeneinander-Vergleich enden. Compare — walk the build phases, then end on a side-by-side comparison.

Jede Phase liefert fünf belegte Metriken — CO₂e (kg), Energie (MJ), Arbeit (Stunden), Zeit (Tage) und Kosten (EUR 2026) — jeweils als Spanne mit Herkunft und Konfidenz, nie als Einzelwert. Every phase outputs five sourced metrics — CO₂e (kg), Energy (MJ), Labour (hours), Time (days) and Cost (EUR 2026) — each as a range with provenance and a confidence level, never a single figure.

03 — DIE LOGIK03 — THE LOGIC

Drei Schichten, bewusst getrenntThree Layers, Separated on Purpose

Unter den fünf sichtbaren Handgriffen läuft eine Acht-Zustands-Maschine — idle, method, footprint, height, materials, validate, phase, compare — mit genau einem aktiven Zustand. Drei Schichten: die inhaltliche FSM (die besucherseitige Reise, jeder Vorwärtsschritt kamerabestätigt); der Wrapper (Kalibrierung, Fehler und Reset — bleibt der Vision-Heartbeat zehn Frames lang still, gelten die Daten als veraltet und der Wrapper fällt in den Fehlerzustand); und die visuellen Feedback-Codes der Projektion. Beneath the five visible moves runs an eight-state machine — idle, method, footprint, height, materials, validate, phase, compare — with exactly one state active at a time. Three layers: the content FSM (the visitor-facing journey, every forward transition camera-confirmed); the wrapper (calibration, error and reset — if the vision heartbeat goes quiet for ten frames the data is stale and the wrapper trips to error); and the projection's visual feedback codes.

Die Vision-Pipeline ist linear mit einem einzigen Ausgang: Capture → ArUco-Erkennung → Homographie → Grace-Fenster → OSC, die drei Nachrichten per UDP an TouchDesigner trägt — Puck-Positionen, Puck-verloren und einen Heartbeat. Eine parallele Skizzen-Spur liest mit MediaPipe die Hand für Sekundäraktionen: rückgängig, Fenster hinzufügen, extrudieren, zurücksetzen — jeweils auf gehaltene Zeit. The vision pipeline is linear with a single exit: capture → ArUco detect → homography → grace window → OSC, carrying three messages to TouchDesigner over UDP — puck positions, puck-lost and a heartbeat. A parallel sketch path uses MediaPipe to read the hand for secondary actions: undo, add a window, extrude, reset — each on a timed hold.

04 — DATEN & AUSBLICK04 — DATA & OUTLOOK

Eine Quelle der WahrheitOne Source of Truth

Drei Methoden — Mauerwerk, 3D-Druck, Vorfertigung — jede mit Primärquellen, bekannter Streuung und fünf Metriken pro Phase. Jede Zahl ist als Spanne mit Konfidenz und Annahme-Notizen gespeichert. Eine einzige Methoden-Datenbank speist eine Pipeline, die die Zahlen normalisiert und auf Spannen bringt; eine Metrik-Engine liefert sie wahlweise im Phasen-Modus (Fundament → Wände → Dach → Öffnungen → Ausbau) oder im Lebenszyklus-Modus (A1–A3 → A4 → A5 → B → C) und gibt panel-fertige Strings an die neun Projektionsfelder aus. Three methods — masonry, 3D-printed, prefab — each with primary sources, known wobble and five metrics per phase. Every figure is stored as a range with a confidence level and assumption notes. A single methods database feeds a pipeline that normalizes and ranges the numbers; a metrics engine returns them in either phase mode (foundation → walls → roof → openings → finishing) or lifecycle mode (A1–A3 → A4 → A5 → B → C), emitting panel-ready strings to the nine projection panels.

Jede Spanne stützt sich auf eine kuratierte Basis von über 40 Quellen entlang der EN-15978-/EN-15804-Lebenszyklusphasen — bewusst gegen die trügerische Sicherheit einer einzelnen Kennzahl. Den Bezug liefern zwei taktile Tisch-Vorbilder: reacTable (UPF, 2007) las Pucks per Kamera und konfigurierte Klang in Echtzeit; Urp (MIT, 1999) stellte Modelle auf den Tisch und verfolgte ihre Schatten gegen eine simulierte Sonne. Wir übernahmen ihre Schleife — projizieren, platzieren, bestätigen, weiterschalten — und richteten sie neu aus. Each range rests on a curated base of 40+ sources along the EN 15978 / EN 15804 lifecycle stages — deliberately resisting the false certainty of a single metric. Two tangible-table precedents set the reference: reacTable (UPF, 2007) read pucks with a camera and reconfigured sound in real time; Urp (MIT, 1999) put models on a table and tracked their shadows against a simulated sun. We borrowed their loop — project, place, confirm, advance — and aimed it somewhere new.

Der eigentliche Horizont ist der Client-Table: Standardausstattung in Studio und Baufirma, der im Kundengespräch Plan und Phasen samt Kosten, CO₂ und Zeit zeigt, damit Bauherr und Berater gemeinsam und auf Basis der Zahlen entscheiden. The real horizon is the client table: standard kit in studios and contractors that, in the client meeting, shows the plan and each phase's cost, carbon and time so client and consultant decide together, on the numbers.

IHR PROJEKTYOUR PROJECT

Etwas Ähnliches zu bauen?Something similar to build?

VORHERIGESPREVIOUS ← HUMAN-ROBOT METAL FABRICATION NÄCHSTES PROJEKTNEXT PROJECT THE CHESTERFIELD CHAIR →