Master's thesis: Resilient Vision-Language-Action Models for Real-World Collaborative Robots
Technology, Data & Digital · Software & Web Development · Software Engineering · Robotics & Automation · Machine Learning
In short
Detta masterexamensprojekt, i samarbete med RISE och KTH, fokuserar på att designa, implementera och benchmarka robusta, distribuerade Vision-Language-Action (VLA) arkitekturer för verkliga kollaborativa robotar. Målet är att möjliggöra tillförlitlig fysisk exekvering under begränsningar som nätverkslatens och oväntade störningar, genom att integrera stora multimodala modeller med realtidsmotorstyrning på edge-enheter.
Responsibilities
- Granska befintlig litteratur om VLA-modeller, imitation learning policies och distribuerade cloud-edge robotikarkitekturer.
- Göra sig bekant med RISE:s befintliga ramverk för multi-agent system, verktyg för datainsamling och kommunikationsgränssnitt.
- Samla in, synkronisera och förbearbeta multimodala demonstrationsdata (multi-view kameraströmmar, robotproprioception, naturliga språkinstruktioner) på fysiska robotmanipulatorer.
- Implementera och optimera policy inference- och kontrollpipelines på edge computing-plattformar (t.ex. NVIDIA Jetson) som gränssnittar mot robotikshårdvara.
- Designa och benchmarka kommunikationslager över cloud-edge continuum, utvärdera dataserialisering, nätverkslatens och buffert hantering under varierande anslutning.
- Utveckla och utvärdera tillsyns- eller verifieringsmekanismer för att säkerställa fysisk säkerhet, upptäcka operationella fel och stödja robust återhämtning av uppgifter.
- Genomföra empiriska fysiska experiment för att benchmarka end-to-end-latens, jämnhet i banan och uppgiftsgenomförandefrekvenser över multi-stegs manipulation benchmarks.
- Dokumentera systemarkitekturer, benchmark-dataset och empiriska resultat i en omfattande masterexamensrapport.
- Presentera och demonstrera det fungerande systemet vid RISE och partneruniversitetet.
Requirements
- Starka programmeringskunskaper i Python och praktisk kännedom om moderna deep learning-ramverk (t.ex. PyTorch).
- Solid teoretisk förståelse och praktiska kurser i maskininlärning, datorseende och/eller robotik.
- Erfarenhet av Linux-miljöer, Git-versionskontroll och containeriserade eller modulära mjukvaruarkitekturer.
- Hög motivation att genomföra fysiska experiment på verklig robotikshårdvara i en laboratoriemiljö.
- God verbal och skriftlig kommunikationsförmåga på engelska.
Desired Qualifications
- Hands-on erfarenhet av robotinlärningsbibliotek (t.ex. Hugging Face LeRobot, ACT, Diffusion Policy) eller robotmanipuleringsramverk.
- Tidigare exponering för industriell robotik eller kollaborativa robotar (cobots), inklusive lågnivå rörelsekontroll, kinematik eller socket-baserade kommunikationsprotokoll.
- Erfarenhet av att driftsätta och accelerera deep learning-modeller på embedded/edge-hårdvara (såsom NVIDIA Jetson, TensorRT, ONNX Runtime).
- Kännedom om multi-kameraskystem, realtids datorseende (t.ex. Intel RealSense, OpenCV, YOLO) eller multi-agent orkestreringsramverk (t.ex. LangGraph).
- Bakgrund inom nätverksprotokoll (t.ex. REST, gRPC, ZeroMQ) och principer för edge-cloud computing.
Benefits
- Ekonomisk kompensation enligt RISE riktlinjer: 30 000 SEK per student om projektet utförs av två studenter, eller 39 990 SEK om det utförs av en enskild student.
- Tillgång till high-end edge AI-hårdvara, robotmanipulatorer, sensorsystem, beräkningskluster och labbfaciliteter.
- Flexibel startdatum (vanligtvis vårterminen).
Skills
PythonPyTorchLinuxGitMachine LearningComputer VisionRoboticsDeep LearningNVIDIA JetsonTensorRTONNX RuntimeOpenCVYOLOgRPCZeroMQ
#Robotics#AI#Machine Learning#Vision-Language-Action Models#Edge Computing#Thesis#Master's Thesis#Research#Sweden#Stockholm#KTH Royal Institute of Technology#RISE Research Institutes of Sweden
About RISE Research Institutes of Sweden
As the challenges facing us as a society become increasingly complex, innovation alone is not enough; you need a strong innovation partner who can provide comprehensive support and a broad range of perspectives. This is where RISE comes in. RISE is a unique mobilisation of resources to increase the pace of innovation in our society. By gathering a number of research institutes and over a hundred test beds and demonstration environments under the umbrella of a single innovation partner, we create improved conditions for society’s problem solvers. We gather around challenges and organise…
Job Posted
1 day ago
Expires
in 1 month
Employment Type
Internship
Work mode
Hybrid
Salary
SEK 30,000–39,990 one-time
Experience Level
Mid-Senior
Locations
Stockholm, Sweden
Kista, Sweden
Qualification
Master
Applicants
Be an early applicant
Similar Jobs
HCLTech
Hyderabad, IndiaSenior Technical Architect
Full Time Be an early applicant Posted 4 days ago
HCLTech
Hyderabad, IndiaSenior Technical Architect
Full Time Be an early applicant Posted 4 days ago
Google
Bengaluru, IndiaStaff Software Engineer, Cloud AI Gemini Enterprise
Full Time Be an early applicant Posted 4 days ago
Qualcomm
Bangalore, IndiaXR Software Senior Engineer
Full Time Be an early applicant Posted 4 days ago
Amazon
Bengaluru, India +1 moreApplied Scientist I, International Seller Services
Full Time Be an early applicant Posted 4 days ago
Synopsys Inc
Bengaluru, IndiaSenior Staff Digital Methodology Engineer - Design for Testability (DFT)
Full Time Be an early applicant Posted 4 days ago