Phds in Perception-action in Bcis, Robotic

2 maanden geleden


Groningen, Nederland Rijksuniversiteit Groningen Voltijd

In this interdisciplinary project, we create models of the world, conduct visual data analysis to understand them better, and use machine learning models to yield optimized Brain-computer interfaces (BCI), visualization representations and interfaces, as well as robotic task planning.

This overarching research direction is split into two PhD project topics.

PhD Project 1: Context-specific Grasping Control and Adaptive Visual Interfaces
In robotic manipulation, human-robot, and human-computer interaction, recent research endeavors are concentrated on advancing context-specific grasping control and adaptive visual interfaces. These interfaces incorporate intricate feedback mechanisms utilizing 2D/3D visualizations on computer screens and augmented reality overlays on physical objects. A critical aspect of this research involves the incorporation of multimodal representations, spanning from neural to behavioral patterns associated with the object interaction task, and integrating visual, auditory, and tactile sensory inputs to construct a comprehensive model of the environment. Developing and analyzing such models further refine our understanding of interaction-specific properties between (i) the human or the robotic hand and (ii) the objects or a visualization, enabling nuanced control strategies.

Both in the context of brain-computer interfaces (BCI) and visualization, leveraging multimodal data and machine learning methods can be employed to enable real-time adaptation and optimization. This multidisciplinary project aims to propel the scientific frontier, fostering the integration of non-invasive BCI, computer vision, and machine learning for more sophisticated and context-aware human-machine collaborations and visualization interfaces.

The goal of this project is to address these questions:

- What is the impact of context on the neural correlates of movement? How can a computational model capture these context-related features?
- To what extent are multimodal (e.g., neural and behavioral) patterns resembling during context-specific tasks? How can data visualization techniques be used most effectively to analyze this?
- How can the obtained multimodal representations and the identification of intent enable the dynamic adaptation of a visualization? Can we go beyond adaptively showing controls that allow users to make certain changes or even carry them out automatically (e.g., for rotating a 3D representation)? Would it be beneficial to even switch between whole different visual representations (like switching from a 3D volumetric representation to a 2D slice-based view for medical data analysis)?
- Can adaptive visual interfaces modulate the motor decision-making processes in the presence of multiple competing, potential actions? What is the interplay between the perception of action opportunities and other processes such as action selection, planning, and execution?

PhD Project 2: Neural Task Planning for Optimizing Visualization and Robot Interaction

We will leverage the power of Large Multimodal Models (LMMs) for continual task planning/modeling and visualization design. In robotic domains and visualization alike, a task is often specified in various forms, such as language and visual instructions. We aim to develop a multimodal model that accommodates both textual and visual modalities, overcoming issues of conventional approaches: reliance on complex programming and data collection processes-coupled with limited adaptability and scalability and the involvement of domain experts to explicitly train the robot or adapt a visualization for specific tasks and integrate (rule-based) mechanisms for explanation. To achieve this, we employ LMMs to act as a continual task planner and visualization designer. Our model takes natural task descriptions and the current state as input and generates a hierarchical task plan or visualization as output.

The goal of the project is to address these questions:

- How can we design a process of prompt learning/engineering that allows LMMs to generate task plans that align with the robot’s physical capabilities and motion primitives?
- How can we employ LMMs to transform natural task descriptions into visualizations that enable humans to efficiently address the respective analysis task?
- How can the recursive decomposition of tasks into subtasks be optimized to minimize hallucinations in task planning by LMMs?
- In both simulated and real-robot environments, in what ways can virtual scenarios improve the adaptability and execution success of task plans generated by LMMs? What role does the iterative generation of synthetic images play in enhancing the accuracy and success rate of hierarchical task planning? How can we effectively integrate such a synthetic model into the task-planning process to improve the robot's predictive capabilities?

Organisation
Founded in 1614, the University of Groningen enjoys an international reputation as a dynamic and innovative inst



  • Groningen, Nederland In Person Voltijd

    **Servicemonteur liften regio Noord**: Groningen MBO 36 tot 40 uren per week **Wat zoeken we?**: In deze dynamische en uitdagende rol binnen het snelgroeiende bedrijf is geen enkele dag hetzelfde. Je staat voortdurend in direct contact met klanten en collega's, waarbij je nauw samenwerkt om preventief onderhoud aan bestaande liftinstallaties uit te voeren...

  • Huishoudelijke Hulp Groningen

    2 maanden geleden


    Groningen, Nederland Hulp in Huis Voltijd

    Ben jij op zoek naar nieuwe, goedbetaalde opdrachten? Bij ons vind je precies wat je zoekt! We hebben in Groningen maar liefst 23 schoonmaakopdrachten beschikbaar. Je kan daar tot wel €18 per uur kunt verdienen. Waarom inschrijven? - Loon tot €18 per uur: - Verdien een eerlijk en goed loon voor jouw harde werk. - Direct beschikbare opdrachten: Begin...


  • Groningen, Groningen, Nederland Nanny in het Noorden Voltijd

    Jobomschrijving:We zijn op zoek naar een enthousiaste nanny die zich goed kan vinden in ons gezellige gezin met vier kinderen. Je werkt vanuit je hart en bent opgewekt, eerlijk en betrouwbaar.Je biedt de kinderen een herkenbare dagstructuur: ontbijt, klaar maken voor naar school, thuis gekomen even wat voorlezen, spelen, fruit en daarna er even op uit: naar...


  • Groningen, Groningen, Nederland Nanny in het Noorden Voltijd

    Beschrijving van de baan We zijn op zoek naar een enthousiaste onderwijsassistent voor onze 4 kinderen. Je werkt vanuit je hart en bent opgewekt, eerlijk en betrouwbaar. Daarnaast is het fijn als je ook wat flexibel bent. Aan jou de taak om de kinderen een herkenbare dagstructuur te bieden: ontbijt, klaar maken voor naar school, thuis gekomen even wat...

  • Gezinsnanny in Groningen

    2 weken geleden


    Groningen, Groningen, Nederland Nanny in het Noorden Voltijd

    We zoeken een enthousiaste nanny voor onze gezellige woning in Groningen!Ons gezin bestaat uit een vader, een moeder, een tweeling van 3 maanden oud en een zoon van 2,5 jaar. Er zijn geen huisdieren.Jij bent verantwoordelijk voor de opvang van onze kinderen en biedt hen een veilige en liefdevolle omgeving waarin ze kunnen groeien.Het is belangrijk dat jij...

  • Pedagogische opvoedster

    1 maand geleden


    Groningen, Groningen, Nederland Nanny in het Noorden Voltijd

    Wij zijn op zoek naar een enthousiaste en betrouwbare nanny voor ons gezin met 4 kinderen. Je zult een herkenbare dagstructuur bieden, van ontbijt tot slapen, en zorgen voor een veilige en gezonde omgeving.Je zult de kinderen helpen met hun dagelijkse activiteiten, zoals het klaarmaken van ontbijt, het brengen van de kinderen naar school en het verzorgen van...


  • Groningen, Groningen, Nederland Nanny in het Noorden Voltijd

    We zoeken een ervaren en enthousiaste nanny die kan bieden wat we nodig hebben: stabiliteit en pedagogisch maatwerk.Je zult werken in een gezellige omgeving met vier kinderen, waarvan drie schoolgaande dochters en een zoontje van 2 jaar. Het is belangrijk dat je structuur kunt bieden, maar ook meebewegen met de behoeften van de kinderen.We verwachten van jou...

  • Leerling Hovenier Groningen

    3 maanden geleden


    Groningen, Nederland TRI groei in groen Voltijd

    **Wat verwachten we van jou?** Wordt elke mooie tuin die je ziet een bron van inspiratie voor je? Zie je jezelf al samenwerken met een vakexpert om elke dag iets nieuws te leren over het creëren van groene paradijsjes? Dan zoeken we jou! We verwachten dat je: - **Een hart voor groen hebt**: Je passie voor tuinen gaat verder dan alleen bewonderen; je wilt...