Menschliche Haende und ein UR-Robotergreifer halten gemeinsam Bewehrungsstahl in der Metallwerkstatt
Robotik & FabrikationRobotics & Fabrication IAAC · MRAC01

HUMAN–ROBOT
METAL FABRICATION

ProgrammProgram

MRAC01 · Workshop 3.1

TeamTeam

5 (IAAC)

LeistungRole

HRI · Vision · Aggregation

ToolsTools

UR · MediaPipe · Grasshopper · FSM

PROJEKTBESCHREIBUNGPROJECT DESCRIPTION

KATEGORIECATEGORY
Akademisch · RobotikAcademic · Robotics

PROGRAMMPROGRAM
IAAC · MRAC01 2025/2026

Der Workshop denkt architektonische Produktion als aktive Zusammenarbeit von Mensch und Roboter — weg von vollautomatischer Fertigung, hin zu hybriden Systemen geteilter Entscheidung. Im Zentrum steht das Prinzip Human-in-the-Loop: der menschliche Eingriff ist nicht Störung, sondern fundamentaler Teil des Ergebnisses. Statt einen Unterstand als fertiges Objekt zu entwerfen, wächst hier eine menschenmaßstäbliche Schale schrittweise um den Körper herum — Raum, der im Prozess der Aggregation entsteht. The workshop frames architectural production as active human-robot collaboration — moving beyond full automation toward hybrid systems of shared decision-making. At its core is the Human-in-the-Loop principle: human intervention is not noise to be removed but a fundamental part of the outcome. Rather than designing a shelter as a finished object, a human-scale shell grows progressively around the body — space defined through a continuous process of aggregation.

Ein rekursives Aggregationssystem besetzt die Schalengeometrie mit vertikalen Vektoren entlang ihrer Krümmung; eine kontrollierte Zufälligkeit nimmt der mechanischen Strenge ihre Härte. Drei Regeln steuern den Aufbau: ein Vektorfeld definiert die erlaubten Positionen, drei diskrete Stablängen (250, 500 und 750 mm) erlauben Variation bei voller Kontrolle, und jedes neue Element wird aus den drei nächstgelegenen Optionen gewählt. Innerhalb dieser Grenzen entscheidet der Mensch, der Roboter führt aus. A recursive aggregation system populates the shell geometry with vertical vectors along its curvature; controlled randomness softens the rigidity of the machine. Three rules govern the build: a vector field defines the allowed positions, three discrete bar lengths (250, 500 and 750 mm) allow variation under full control, and each new element is chosen from the three closest available options. Within these constraints the human decides and the robot executes.

Üblicherweise sitzt der Mensch hinter den Sensoren und greift nur bei Fehlern ein. Dieses Projekt kehrt das um: der Mensch ist der Sensor. Eine einzelne Kamera liest die Hand, MediaPipe extrahiert 21 Landmarken, und ein vierstufiger Filter macht aus rohen Gesten eindeutige Befehle — ein 3-Sekunden-Halten gegen Zufallsgesten, Flankenerkennung für genau ein Ereignis pro Geste, eine Konfidenzschwelle gegen unscharfe Frames und ein manueller Slider als Override. Daumen runter blättert, Victory bestätigt, Faust speichert, Zeigefinger startet die Simulation, Daumen hoch schickt die Bewegung an den Roboter. Die Zustandsmaschine dahinter sieht nie eine Hand — nur bestätigte Entscheidungen. Normally the human sits behind the sensors and only intervenes on failure. This project inverts that: the human is the sensor. A single camera reads the hand, MediaPipe extracts 21 landmarks, and a four-stage filter turns raw gestures into unambiguous commands — a 3-second hold against passing gestures, rising-edge detection for exactly one event per gesture, a confidence threshold against blurred frames, and a manual slider override. Thumb-down browses, victory accepts, fist saves, point-up plays the simulation, thumb-up uploads the motion to the robot. The state machine downstream never sees a hand — only confirmed decisions.

Der UR-Roboter bringt Präzision, Reichweite und Wiederholgenauigkeit ein, ohne die menschliche Arbeit zu ersetzen — Unschärfen des Handschweißens werden bewusst Teil des Systems statt eliminiert. Aus dem Wechselspiel von menschlicher Intuition und robotischer Konstanz entsteht eine aggregierte Stahlschale im 1:1-Maßstab, abgeglichen gegen ihren digitalen Zwilling. Das Ergebnis ist weniger ein fertiges Bauteil als ein Verfahren: eine Fertigung, in der Körper, Bewegung und Wahrnehmung zu gestalterischen Eingaben werden. The UR robot contributes precision, reach and repeatability without replacing human labor — the deviations of manual welding are deliberately integrated rather than eliminated. From the interplay of human intuition and robotic consistency, a full-scale (1:1) aggregated steel shell emerges, checked against its digital twin. The result is less a finished component than a method: a fabrication in which body, movement and perception become design inputs.

01 — KONZEPT01 — CONCEPT

Von innen nach außenFrom the Inside Out

Statt einen Unterstand als äußeres Objekt zu entwerfen, das man im Nachhinein zusammensetzt, fragt das Projekt nach Räumen, die man bewohnt, während sie entstehen. Daraus wird eine Schale: eine Hülle, die schrittweise um den Körper herum wächst und Raum durch fortlaufende Aggregation definiert. Rather than designing a shelter as an external object assembled afterward, the project asks about spaces one inhabits as they form. This becomes a shell: an enclosure that grows progressively around the body, defining space through continuous aggregation.

Zwei Referenzen halten die Idee zusammen — David Hockneys „The Boy Hidden in a Fish", in dem eine Figur in eine Form eingebettet ist, und Frederick Kieslers „Endless House", ein Innenraum ohne Anfang und Ende. Beide lesen Architektur vom Inneren her, nicht von der Fassade. Two references hold the idea together — David Hockney's "The Boy Hidden in a Fish," where a figure is embedded inside a form, and Frederick Kiesler's "Endless House," an interior with no beginning and no end. Both read architecture from the inside, not from the façade.

02 — AGGREGATION02 — AGGREGATION

Rekursive AggregationRecursive Aggregation

Das System besetzt die Schalengeometrie mit vertikalen Vektoren entlang ihrer Krümmung. Eine kontrollierte Zufälligkeit nimmt der mechanischen Strenge die Härte und lässt den Aufbau handgemacht wirken — innerhalb klar definierter Regeln. The system populates the shell geometry with vertical vectors following its curvature. Controlled randomness softens the rigidity of the machine and lets the build read as hand-made — all within clearly defined rules.

Drei Prinzipien steuern den Prozess: ein Vektorfeld definiert die erlaubten Positionen; drei diskrete Stablängen (250, 500 und 750 mm) erlauben Variation bei voller Kontrolle; und jedes neue Element wird aus den drei nächstgelegenen Optionen gewählt. Eine Proposal-Engine schlägt vor, Mensch und Roboter verhandeln, der Zustand aktualisiert sich — und die Schleife läuft erneut. Three principles govern the process: a vector field defines the allowed positions; three discrete bar lengths (250, 500 and 750 mm) allow variation under full control; and each new element is chosen from the three closest available options. A proposal engine suggests, human and robot negotiate, the state updates — and the loop runs again.

03 — INTERAKTION03 — INTERACTION

Der Mensch als SensorThe Human as Sensor

In einer typischen Roboterzelle sitzt der Mensch hinter den Sensoren, liest Dashboards und greift bei Fehlern ein. Dieses Projekt kehrt das Modell um: der Mensch ist der Sensor. Eine einzelne Kamera beobachtet die Hand, MediaPipe extrahiert 21 Landmarken samt Gesten-Label, und das System reagiert. In a typical robotic cell the human sits behind the sensors, reading dashboards and intervening on failure. This project inverts the model: the human is the sensor. A single camera watches the hand, MediaPipe extracts 21 landmarks with a gesture label, and the system responds.

Rohe Labels werden nie zu Befehlen. Ein vierstufiger Filter schiebt sich zwischen Hand und Roboter: ein 3-Sekunden-Halten gegen flüchtige Gesten, eine Flankenerkennung für genau ein Ereignis pro Geste, eine Konfidenzschwelle gegen unscharfe Frames und ein manueller Slider, der das Sehen jederzeit überstimmt. Erst danach gewinnen die fünf Gesten Bedeutung: Raw labels never become commands. A four-stage filter sits between hand and robot: a 3-second hold against passing gestures, rising-edge detection for exactly one event per gesture, a confidence threshold against blurred frames, and a manual slider that always overrides vision. Only then do the five gestures gain meaning:

  • Daumen runter — zum nächsten Stück blättern Thumb down — browse the next piece
  • Victory — das Stück in den Speicher übernehmen Victory — accept the piece into memory
  • Geschlossene Faust — die aktuelle Auswahl sichern Closed fist — save the current selection
  • Zeigefinger nach oben — die Simulation abspielen Point up — play the simulation
  • Daumen hoch — die Bewegung an den Roboter schicken Thumb up — upload the motion to the robot

Die Zustandsmaschine dahinter sieht nie eine Hand. Sie sieht bestätigte Ereignisse. Der Roboter reagiert nicht auf einen Körper im Raum — er reagiert auf eine Entscheidung, die der Mensch bereits getroffen hat. The state machine downstream never sees hands. It sees confirmed events. The robot doesn't react to a body in the room — it reacts to a decision the human has already made.

04 — FERTIGUNG04 — FABRICATION

Die Schleife: vier plus vierThe Loop: Four Plus Four

Die Fertigung läuft als geschlossene Acht-Schritt-Schleife im Schlangenlauf — vier digitale, vier physische Stationen. Während ein Operator die nächste Länge aus der digitalen Shortlist sucht, prüft ein zweiter parallel die Robotersimulation auf Kollisionsfreiheit. Fabrication runs as a closed eight-step snake loop — four digital, four physical stations. While one operator searches the next length from the digital shortlist, a second checks the robot simulation for collisions in parallel.

Der Stab wird auf Länge geschnitten und an die Roboterzelle übergeben; eine Thumb-Up-Geste lädt die Bewegung an den UR10e. Eine Feuerschutzdecke schützt den Arm, der Schweißer heftet und verschweißt das Stück mit der Struktur, löst den Greifer per I/O — und der Pendant-Operator fährt den Roboter zurück in die Aufnahmeposition. Die Schleife beginnt von vorn. The bar is cut to length and handed to the robot cell; a thumb-up gesture uploads the motion to the UR10e. A fire blanket shields the arm, the welder tacks and commits the weld to the structure, releases the gripper via I/O — and the pendant operator walks the robot back to the pickup pose. The loop starts again.

05 — ERGEBNIS05 — RESULT

Digital gegen physischDigital versus Physical

Am Ende steht eine aggregierte Stahlschale im 1:1-Maßstab — und ihr digitaler Zwilling. Der direkte Vergleich macht sichtbar, was das System leistet: Die Abweichungen des Handschweißens bleiben erhalten, statt eliminiert zu werden, und werden so selbst zum Teil der Struktur. The outcome is a full-scale (1:1) aggregated steel shell — and its digital twin. The side-by-side comparison shows what the system delivers: the deviations of manual welding are preserved rather than eliminated, becoming part of the structure itself.

Das Ergebnis ist weniger ein fertiges Bauteil als ein Verfahren — eine Fertigung, in der Körper, Bewegung und Wahrnehmung zu gestalterischen Eingaben werden und der Mensch die entscheidende Instanz im Loop bleibt. The result is less a finished component than a method — a fabrication in which body, movement and perception become design inputs, and the human remains the decisive instance in the loop.

IHR PROJEKTYOUR PROJECT

Etwas Ähnliches zu bauen?Something similar to build?

VORHERIGESPREVIOUS ← THE LIVING FIBERS NÄCHSTES PROJEKTNEXT PROJECT GUIDED COMPARATIVE ASSEMBLY →