Das erste Problem ist das Retargeting. Der Großteil des Roboterlernens stützt sich auf Motion-Capture oder Teleoperation, wobei menschliche Bewegungen anschließend mathematisch auf die Roboterhardware übertragen werden. Dies führt zu geometrischen Verlusten (insbesondere im Bereich der Daumen- und Fingergelenke) sowie zu dynamischem Rauschen durch Teleoperatoren, die sich nicht so flüssig bewegen können wie bei direkter Aktion. Die DexHand von Tars Robotics löst dieses Problem durch native kinematische Ausrichtung – die Hand wird als nahezu 1:1 biomimetische Nachbildung der menschlichen Anatomie konstruiert, sodass Bewegungsdaten mit geringem Verlust übertragen werden.
Zweitens vermeidet Tars Robotics beim Getriebedesign sehnenangetriebene Systeme, die zwar nachgiebig, aber teuer und in großem Maßstab schwer herzustellen sind, zugunsten einer quasi-direkten Antriebsarchitektur mit rückwärtsfahrbaren Getrieben und maßgeschneiderten Motoren mit geringem Cogging. Da in der gesamten Hand nur drei Motor-/Getriebetypen zum Einsatz kommen, unterstützt das Design die automatisierte Montage.
Drittens stellt der Vortrag TacForeSight vor, ein prädiktives taktiles Modell, das gemeinsam mit Forschungsinstituten aus Singapur und China entwickelt wurde. Es nutzt die Verzögerung von etwa 200 Millisekunden zwischen Kraftsignalen auf Handgelenkebene und taktilen Reaktionen an den Fingerspitzen und prognostiziert zukünftige Kontaktzustände in einem kompakten latenten Raum, anstatt erst nach auftretenden Fehlern zu reagieren. Bei Tests mit kontaktintensiven Manipulationsaufgaben erzielte es Berichten zufolge hohe Erfolgsraten, auch unter Störbedingungen, und übertraf dabei mehrere Basismethoden.
Viertens wird AWE 3.0 als natives verkörpertes Modell beschrieben, das von Grund auf über die Modalitäten Sehen, Sprache, Tastsinn und Handlung trainiert wurde, anstatt bestehende Seh/Sprach-Modelle anzupassen. Berichten zufolge verbessert es die Generalisierung auf unbekannte Blickwinkel, reduziert Bewegungsschwankungen erheblich und arbeitet in einem Near-Zero-Shot-Regime. Ding vergleicht seine potenzielle Bedeutung mit der Rolle von GPT-3 beim Nachweis der Skalierbarkeit von Sprachmodellen und führt einen Guinness-Weltrekord vom März für die robotergestützte Kabelbaummontage als Validierung in der Praxis an.
Der Vortrag schließt mit einem Hinweis auf offene Fragen in diesem Forschungsgebiet – Datenqualität, taktile Weltmodelle und die Frage, ob Physical AI einheitliche oder duale Systemarchitekturen benötigt – und positioniert den kombinierten Hardware/Software-Ansatz von Tars Robotics als notwendige Grundlage für Physical AI, die unter realen Bedingungen zuverlässig funktioniert.
