论文工作 - 在虚拟 3D 环境中使用多模态 AI 助手加速机器人单元设置
Thesis Work - Accelerated Robot Cell Setup with a Multimodal AI Assistant in a Virtual 3D Environment
- 地点
- 默恩达尔，瑞典
- 工作方式
- 混合办公
- 类型
- 实习
- 部门
- 软件团队
- 编号
- JOB_POSTING-3-31734
职责
- 回顾多模态人工智能（语言+视觉）、代理框架以及与机器人软件和 CAD/3D 工作流程相关的工具使用的最新方法。
- 探索与 RobotStudio 的集成选项（例如，SDK/API、插件、自动化接口）并为单元设置任务定义安全、增量的代理操作空间。
- 设计并实现一个原型多模态 AI 代理，该代理可以解释输入（图纸、CAD、布局、BOM、文本规范）并在 RobotStudio 中推荐或执行设置操作。
- 为组件识别、设备/夹具放置、基本 I/O 映射和模拟配置等任务构建数据和提示/工具管道。
- 制定评估协议和基线，以量化代表性单元场景的加速度（例如，设置时间、错误率、返工）。
- 与 RobotStudio 用户进行小规模用户研究或专家评审，以验证可用性、安全性和对工作流程的影响。
- 记录架构、设计决策、数据集和结果；提供进一步开发和工业化的演示和建议。
- 与 ABB 主管密切合作，同时独立推动工作，定期沟通进展、风险和发现。
- 体现 ABB 的安全和诚信核心价值观，对自己的行为负责，同时关心同事和企业。
必备要求
- 正在攻读计算机科学、机器人技术、人工智能/机器学习、机电一体化或相关领域的硕士学位。
- 熟练掌握 C# 和 .NET 编程技能；具有构建插件/加载项和与 SDK/API 集成的经验。
- 了解 .NET 环境中的现代 AI/ML，尤其是大型语言模型和/或计算机视觉。
- 具有以下一项或多项经验：Microsoft Semantic Kernel、Azure OpenAI Service、Azure AI Vision/Document Intelligence、ML.NET、Emgu CV（NET/OpenCV）、CAD/3D 几何处理或 RobotStudio API，以及 .NET 中的代理/工具使用模式。
- 对机器人仿真和离线编程感兴趣。
- 能够轻松地用英语设计实验、评估结果并清晰地传达研究结果。
- 积极主动、善于合作，能够按照商定的时间表在 Mölndal 现场进行部分工作。
优先条件
- RobotStudio 生态系统经验是加分项。
- 具有使用 Microsoft Semantic Kernel 协调 LLM 和工具的经验是一大优势。
- 有接触过 RobotStudio 或类似工具者优先。
Responsibilities
- Review state-of-the-art methods in multimodal AI (language + vision), agent frameworks, and tool use related to robot software and CAD/3D workflows.
- Explore integration options with RobotStudio (e.g., SDK/API, plugins, automation interfaces) and define a safe, incremental agent action space for cell setup tasks.
- Design and implement a prototype multimodal AI agent that can interpret inputs (drawings, CAD, layouts, BOMs, text specifications) and recommend or execute setup actions in RobotStudio.
- Build data and prompt/tool pipelines for tasks such as component recognition, equipment/fixture placement, basic I/O mapping, and simulation configuration.
- Develop evaluation protocols and baselines to quantify acceleration (e.g., setup time, error rate, rework) on representative cell scenarios.
- Conduct small-scale user studies or expert reviews with RobotStudio users to validate usability, safety, and impact on workflows.
- Document architecture, design decisions, datasets, and results; provide demos and recommendations for further development and industrialization.
- Work closely with ABB supervisors while independently driving work, regularly communicating progress, risks, and findings.
- Embody ABB's core values of safety and integrity, taking responsibility for your actions while caring for colleagues and the business.
Must Have
- Currently pursuing a master's degree in computer science, robotics, AI/machine learning, mechatronics, or a related field.
- Proficient in C# and .NET programming; experience building plugins/add-ins and integrating with SDKs/APIs.
- Knowledge of modern AI/ML in .NET environments, especially large language models and/or computer vision.
- Experience with one or more of: Microsoft Semantic Kernel, Azure OpenAI Service, Azure AI Vision/Document Intelligence, ML.NET, Emgu CV (NET/OpenCV), CAD/3D geometry processing, or RobotStudio API, and agent/tool use patterns in .NET.
- Interest in robot simulation and offline programming.
- Ability to easily design experiments, evaluate results, and clearly communicate research findings in English.
- Proactive, collaborative, and able to work partially on-site in Mölndal according to an agreed schedule.
Preferred
- Experience with the RobotStudio ecosystem is a plus.
- Experience using Microsoft Semantic Kernel to orchestrate LLMs and tools is a strong advantage.
- Exposure to RobotStudio or similar tools is preferred.
公司简介
在 ABB，我们帮助各行各业保持竞争优势——更高效、更可持续地运营。进步是我们的标准——为了您、您的团队，以及全世界。作为全球领导者，我们为您提供实现这一目标所需的一切。这并非易事，成长需要决心。但在 ABB，您永远不会孤军奋战。掌控推动世界发展的动力。在 ABB，你不仅仅是开始一份工作，更是开启一段个人和职业发展的旅程。我们的文化建立在强大的价值观之上，每个人都受到重视，并被赋予充分发挥其潜力的权力。我们相信，持续发展能够赋能每个人，使其有所作为。我们的“学习、连接、成长”体系和互助文化赋能 ABB 的每一位员工，帮助他们实现个人目标和抱负。在 ABB，我们关心员工及其故事。我们营造安全、公平、公正、包容的工作环境，让每个人都能蓬勃发展、获得成功，无论性别、种族或文化背景、性取向、宗教或社会背景如何。多元化的团队使我们更加强大。ABB 也致力于在所做的每一件事中秉持高标准的道德。