(English below)
Hoe weet je of kunstmatige intelligentie precies doet wat je vraagt? Die vraag wordt steeds belangrijker nu AI vaker wordt gebruikt in bijvoorbeeld zelfrijdende auto’s en medische apparatuur. Panagiotis Kalogeropoulos (Panos), masterstudent aan Fontys Hogeschool in Eindhoven, ontwikkelde een methode om de betrouwbaarheid van AI te testen. Op 4 mei presenteerde hij zijn onderzoek tijdens een workshop van het NASA Formal Methods Symposium in Los Angeles.
“Bedrijven met zeer dure en/of gevaarlijke apparatuur willen de voordelen van kunstmatige intelligentie benutten, zonder mensenlevens of de veiligheid van de apparatuur toe te vertrouwen aan een LLM dat niet betrouwbaar is,” zegt Kalogeropoulos. “Je kunt niet vertrouwen op een ‘black box’. Je moet kunnen controleren of AI doet wat je denkt dat het doet.”
Het probleem waar de Fontys-student aan werkt, raakt steeds meer organisaties. De opkomst van AI verandert fundamenteel de manier waarop we werken, ook in omgevingen met hoge risico’s. Organisaties in die omgevingen willen ook de voordelen van Generatieve AI benutten, en het is cruciaal om onderzoek te versnellen naar het genereren van duurzame, veilige en betrouwbare output van LLM’s.
Controlemethode voor veilige AI
Samen met docent en onderzoeker Herman Jurjus ontwikkelde Kalogeropoulos een methode om de output van AI te controleren voordat systemen operationeel worden. Het onderzoek werd uitgevoerd binnen de onderzoeksgroep Fontys High Tech Embedded Systems.
Hoe werkt de methode?
De methode van Kalogeropoulos werkt als een dubbele veiligheidscheck. Voordat een AI-systeem een opdracht uitvoert, controleert zijn framework twee dingen: heeft de AI de instructie goed begrepen, en is de actie veilig uit te voeren? Dit werkt zo: de AI maakt eerst code aan op basis van de menselijke instructie. Het systeem evalueert vervolgens deze gegenereerde code en komt tot een risico-evaluatie vanuit verschillende stakeholdersperspectieven. Aan de hand van die risico-evaluatie kunnen mensen het gebruik van de code goedkeuren of afkeuren.
Tegelijkertijd beoordeelt een panel van meerdere AI-systemen vanuit verschillende perspectieven of de voorgestelde actie gevaarlijk is en kent aan elk potentieel faalscenario een ricofactor toe, bijvoorbeeld of een robot ergens tegenaan kan botsen. Alleen wanneer beide checks onder een bepaalde risicodrempel blijven, mag de actie doorgaan. Bij twijfel of gevaar blokkeert het systeem de actie en vraagt het om menselijke controle. Zo kunnen organisaties AI-systemen inzetten zonder blind te vertrouwen op een ‘black box’.
NASA Formal Methods Symposium 2026
Zijn onderzoekspaper werd geaccepteerd voor de RE×AI-workshop, specifiek gericht op betrouwbare AI in veiligheidskritische toepassingen. De workshop maakte deel uit van het NASA Formal Methods Symposium 2026, georganiseerd door NASA Jet Propulsion Laboratory en de University of Southern California. “Ik was vereerd,” zegt Kalogeropoulos over de acceptatie. “Dit is een workshop van een NASA-conferentie, waar de beste onderzoekers ter wereld samenkomen. Ik had geen verwachtingen, maar ben blij dat mijn onderzoek een plek heeft tussen hun werk.”
Van gimmick naar betrouwbaar hulpmiddel
De student begon zes maanden voor het symposium met zijn onderzoek, in september 2025, als onderdeel van zijn masteropleiding Applied IT. Wat hem dreef was de overtuiging dat AI meer moet zijn dan een technologische snufje. “Als een nieuwe technologie niet te vertrouwen is met de informatie die het geeft, is het niet meer dan een gimmick,” stelt hij. “AI kan, en moet, veel meer zijn dan dat.” De methode kan nuttig zijn voor organisaties die de overstap naar veilige, betrouwbare AI willen maken. “Bedrijven kunnen dit gebruiken als een makkelijke manier om veilige AI in hun werk te gebruiken.”
Positieve ontvangst en nieuwe samenwerkingen
Na zijn presentatie ontving Kalogeropoulos constructieve feedback van zowel NASA-medewerkers als onderzoekers uit de industrie. “Veel vragen waren technisch, zoals specifieke vragen over mijn experimentele methoden, maar veel waren meer gericht op de algemene toepasbaarheid van het framework in verschillende contexten,” legt hij uit. De dag na zijn presentatie had hij gesprekken met senior onderzoekers uit de industrie die werken aan LLM-evaluatie en automatisch testen op wereldschaal. “Ze overwogen serieus om mijn onderzoek in de echte wereld te gebruiken. Dat maakte me erg blij,” zegt Kalogeropoulos.
Tijdens het symposium legde hij ook waardevolle contacten voor potentiële stages, werkgelegenheid en onderzoekssamenwerking rond formele methoden.
Memorabel moment
Het meest memorabele moment voor Kalogeropoulos was een lezing over de geschiedenis van NASA’s Formal Methods-groep. Deze groep bestaat al sinds de jaren 90 en waren onderdeel van verschillende belangrijke missies. “Als luchtvaartliefhebber was ik enthousiast toen ik ontdekte dat de Formal Methods-groep het Traffic Alert and Collision Avoidance System (TCAS) versie 2 formeel had geverifieerd, dat nu in gebruik is bij vrijwel elk vliegtuig dat momenteel wereldwijd in de lucht is.”
‘AI blijft veilig’
De student is niet bang voor de risico’s van AI, integendeel. “Achter AI staan teams van slimme, toegewijde onderzoekers. Hun taak is ervoor te zorgen dat AI veilig is en blijft, zodat de samenleving alle voordelen kan plukken.” Na zijn afstuderen wil Kalogeropoulos graag verder in het vakgebied van formele methoden en duurzame AI. Zijn advies aan andere studenten die onderzoek willen doen? “Accepteer dat je veel zult falen. Ik heb heel veel dingen geprobeerd. Sommige werkten en andere niet. Als je houdt van wat je doet, en je blijft proberen, dan kun je niet anders dan slagen.”
Eindhoven Fontys student presents research on reliable AI at NASA symposium
Master’s student develops method to check whether artificial intelligence does what you ask
How do you know whether artificial intelligence does precisely what you ask? This question is becoming increasingly important as AI is used more frequently in applications such as self-driving cars and medical equipment. Panagiotis Kalogeropoulos (Panos), a master’s student at Fontys University of Applied Sciences in Eindhoven, developed a method to test the reliability of AI. On 4 May, he presented his research during a workshop at the NASA Formal Methods Symposium in Los Angeles.
“Companies that own very expensive and/or dangerous equipment want to reap the benefits of Artificial Intelligence, whilst not putting human lives, or the safety of the equipment, in the hands of an LLM that cannot be trusted,” says Kalogeropoulos. “You cannot trust a ‘black box’. You must be able to verify whether AI does what you think it does.” The problem the Fontys student is working on affects an increasing number of organisations. The advent of AI is fundamentally changing the way we work, even in high-risk environments. Organisations that find themselves in these environments want to equally reap the benefits of Generative AI, and it’s pivotal to accelerate research on generating durable, safe, and reliable outputs from LLMs.
Control method for safe AI
Together with lecturer and researcher Herman Jurjus, Kalogeropoulos developed a method to check the output of AI before systems become operational. The research was conducted within the Fontys High Tech Embedded Systems research group.
How it works
Kalogeropoulos’s method works as a double safety check. Before an AI system executes a command, his framework checks two things: has the AI understood the instruction correctly, and is the action safe to perform? This works as follows: The AI first generates code based on the human instruction. The system then evaluates this generated code and comes up with a risk evaluation from different stakeholder perspectives. Using that risk evaluation, humans can approve or disapprove the usage of the code. At the same time, a panel of multiple AI systems assesses potential dangers from different stakeholder perspectives and assigns a risk factor to each potential failure mode; for example, whether a robot might collide with something. Only when the code generated stays below a certain risk threshold, is the action allowed to proceed. In case of doubt or danger, the system blocks the action and requests human oversight. This enables organisations to deploy AI systems without blindly trusting a ‘black box’.
NASA Formal Methods Symposium 2026
His research paper was accepted for the RE×AI workshop, specifically focused on reliable AI in safety-critical applications. The workshop was part of the NASA Formal Methods Symposium 2026, organised by NASA Jet Propulsion Laboratory and the University of Southern California. “I was honoured,” says Kalogeropoulos about the acceptance. “This is a workshop of a NASA conference, where the best researchers in the world come together. I had no expectations, but I’m pleased that my research has a place amongst their work.”
From gimmick to reliable tool
The student began his research six months before the symposium, in September 2025, as part of his master’s programme in Applied IT. What drove him was the conviction that AI must be more than a technological novelty. “If a new technology cannot be trusted with the information it provides, it can be used as no more than a gimmick,” he states. “AI can, and should, be much more than that.” The method can be useful for organisations wanting to transition to safe, reliable AI. “Companies can use this as an easy way to integrate safe AI into their work.”
Positive reception and new collaborations
Following his presentation, Kalogeropoulos received constructive feedback from both NASA personnel and industry researchers. “A lot of the questions were more technical, like specific questions about my experimental methods, but many of them were more focused on the general applicability of the framework in various contexts,” he explains. The day after his presentation, he had discussions with senior industry researchers who are working on LLM evaluation and automatic testing at a global scale. “They were seriously considering using my research in the real world. This made me very happy,” says Kalogeropoulos. During the symposium, he also established valuable contacts for potential internships, employment opportunities, and research collaborations around formal methods.
A memorable moment
The most memorable moment for Kalogeropoulos was a talk about the history of NASA’s Formal Methods group. This group has existed since the 1990s and has been part of various important missions. “As an aviation person, I was excited to find out that the Formal Methods group formally verified the Traffic Alert and Collision Avoidance System version 2, which is now in use by effectively every aircraft currently in the skies around the world.”
‘AI remains safe
The student is not afraid of the risks of AI, quite the opposite. “Behind AI are teams of smart and dedicated researchers. Their job is to ensure that AI is and remains safe, so that society can reap all its benefits.” After graduation, Kalogeropoulos would like to continue in the field of formal methods and sustainable AI. His advice to other students who want to conduct research? “Be comfortable with failing much and a lot. I tried many things. Some worked and others didn’t. If you love what you do, and you keep trying, then there is no way you will not succeed.”
Auteur: Stefanie van de Ven
