Master's thesis: Resilient Vision-Language-Action Models for Real-World Collaborative Robots
Teknik, data och digitalt · Mjukvaru- och webbutveckling · Mjukvaruutveckling · Robotik och automation · Maskininlärning
I korthet
Ansvarsområden
- Granska befintlig litteratur om VLA-modeller, imitation learning policies och distribuerade cloud-edge robotikarkitekturer.
- Göra sig bekant med RISE:s befintliga ramverk för multi-agent system, verktyg för datainsamling och kommunikationsgränssnitt.
- Samla in, synkronisera och förbearbeta multimodala demonstrationsdata (multi-view kameraströmmar, robotproprioception, naturliga språkinstruktioner) på fysiska robotmanipulatorer.
- Implementera och optimera policy inference- och kontrollpipelines på edge computing-plattformar (t.ex. NVIDIA Jetson) som gränssnittar mot robotikshårdvara.
- Designa och benchmarka kommunikationslager över cloud-edge continuum, utvärdera dataserialisering, nätverkslatens och buffert hantering under varierande anslutning.
- Utveckla och utvärdera tillsyns- eller verifieringsmekanismer för att säkerställa fysisk säkerhet, upptäcka operationella fel och stödja robust återhämtning av uppgifter.
- Genomföra empiriska fysiska experiment för att benchmarka end-to-end-latens, jämnhet i banan och uppgiftsgenomförandefrekvenser över multi-stegs manipulation benchmarks.
- Dokumentera systemarkitekturer, benchmark-dataset och empiriska resultat i en omfattande masterexamensrapport.
- Presentera och demonstrera det fungerande systemet vid RISE och partneruniversitetet.
Krav
- Starka programmeringskunskaper i Python och praktisk kännedom om moderna deep learning-ramverk (t.ex. PyTorch).
- Solid teoretisk förståelse och praktiska kurser i maskininlärning, datorseende och/eller robotik.
- Erfarenhet av Linux-miljöer, Git-versionskontroll och containeriserade eller modulära mjukvaruarkitekturer.
- Hög motivation att genomföra fysiska experiment på verklig robotikshårdvara i en laboratoriemiljö.
- God verbal och skriftlig kommunikationsförmåga på engelska.
Önskade kvalifikationer
- Hands-on erfarenhet av robotinlärningsbibliotek (t.ex. Hugging Face LeRobot, ACT, Diffusion Policy) eller robotmanipuleringsramverk.
- Tidigare exponering för industriell robotik eller kollaborativa robotar (cobots), inklusive lågnivå rörelsekontroll, kinematik eller socket-baserade kommunikationsprotokoll.
- Erfarenhet av att driftsätta och accelerera deep learning-modeller på embedded/edge-hårdvara (såsom NVIDIA Jetson, TensorRT, ONNX Runtime).
- Kännedom om multi-kameraskystem, realtids datorseende (t.ex. Intel RealSense, OpenCV, YOLO) eller multi-agent orkestreringsramverk (t.ex. LangGraph).
- Bakgrund inom nätverksprotokoll (t.ex. REST, gRPC, ZeroMQ) och principer för edge-cloud computing.
Förmåner
- Ekonomisk kompensation enligt RISE riktlinjer: 30 000 SEK per student om projektet utförs av två studenter, eller 39 990 SEK om det utförs av en enskild student.
- Tillgång till high-end edge AI-hårdvara, robotmanipulatorer, sensorsystem, beräkningskluster och labbfaciliteter.
- Flexibel startdatum (vanligtvis vårterminen).
Färdigheter
Om RISE Research Institutes of Sweden
As the challenges facing us as a society become increasingly complex, innovation alone is not enough; you need a strong innovation partner who can provide comprehensive support and a broad range of perspectives. This is where RISE comes in. RISE is a unique mobilisation of resources to increase the pace of innovation in our society. By gathering a number of research institutes and over a hundred test beds and demonstration environments under the umbrella of a single innovation partner, we create improved conditions for society’s problem solvers. We gather around challenges and organise…
Publicerade jobb
för 1 dag sedan
Upphör
om 1 månad
Anställningstyp
Praktik
Arbetsform
Hybrid
Lön
30 000–39 990 kr engångsbelopp
Erfarenhetsnivå
Mellannivå
Platser
Stockholm, Sweden
Kista, Sweden
Kvalifikation
Sökande
Ansök tidigt