Gabriël Shamon

Ontwikkeling van een AI-systeem voor het analyseren van ongestructureerde medische data en het identificeren van patiëntengroepen met behulp van GraphQL en vectordatabases.

Situatie: Massachusetts General Hospital (MGH) is een vooraanstaand ziekenhuis en al meer dan 10 jaar klant bij ICT. Ze hadden een applicatie ontwikkeld voor radiologie waarmee artsen precies konden zien in welke fase een patiënt zich bevond tijdens radiotherapie. MGH had te maken met grote hoeveelheden ongestructureerde data, zoals klinische notities, waaruit veel waardevolle informatie gehaald kon worden maar waarvoor geen efficiënt analysesysteem bestond.

Taak: Mijn taak was om een AI-oplossing te ontwikkelen die MGH zou helpen bij het analyseren van ongestructureerde data om waardevolle inzichten te verkrijgen. Het doel was om soortgelijke patiënten te kunnen identificeren die ziek waren geworden na een bepaalde behandeling, een proces dat normaal gesproken een cohortstudie van 9 maanden zou vereisen.

Activiteiten:

• Analyseerde de huidige data-analyseprocessen en identificeerde knelpunten
• Ontwikkelde een vectordatabase in de vorm van een grafiek om de data efficiënt te organiseren en te doorzoeken
• Implementeerde een GraphQL interface om de juiste informatie uit de vectordatabase te extraheren
• Ontwikkelde een multi-agent workflow met gespecialiseerde agents voor data-extractie, validatie, en analyse
• Bouwde een RAG-systeem zonder het gebruik van LangChain, volgens de specifieke vereisten van MGH
• Waarborg compliance met healthcare data security standards en implementeerde toegangscontroles volgens HIPAA-protocollen
• Zorgde voor on-premises deployment om patiëntgegevens binnen de ziekenhuisinfrastructuur te houden

Resultaat: De AI-oplossing stelde MGH in staat om binnen enkele minuten patiëntengroepen te identificeren die vergelijkbare behandelingen hadden ondergaan en soortgelijke complicaties hadden ervaren. Dit verkortte het proces van cohortstudies van 9 maanden naar enkele minuten, waardoor artsen sneller evidence-based beslissingen konden nemen en de patiëntenzorg significant verbeterd werd.

Implementatie van een lokaal draaiend RAG-systeem voor het doorzoeken van PDF-documentatie in een beveiligde CIDT-omgeving.

Situatie: ASML is een toonaangevend bedrijf in de halfgeleiderindustrie, waar ICT-medewerkers werken in een CIDT-omgeving. In deze omgeving was alle documentatie alleen beschikbaar in PDF-formaat, wat het moeilijk maakte om snel en efficiënt informatie te vinden en te gebruiken.

Taak: Mijn taak was om een RAG-systeem te implementeren dat de efficiëntie van de ICT-medewerkers zou verhogen door hen in staat te stellen snel informatie te verkrijgen van hun omgeving. Dit systeem moest geïntegreerd worden in de bestaande infrastructuur en voldoen aan de strenge veiligheidsnormen van ASML.

Activiteiten:

• Voerde technische evaluatie uit van 3 commerciële RAG-oplossingen vs. custom development, adviseerde in-house oplossing op basis van security requirements en TCO-analyse
• Ontwikkelde een RAG-systeem dat de status van processen en projecten visueel weergeeft
• Integreerde het RAG-systeem met de bestaande infrastructuur van ASML (Zowel met image embeddings en ColPali als text embeddings met o.a. OCR)
• Implementeerde een lokaal draaiende LLM met strikte compliance aan industrial security protocols (Quantization, offloading)
• Zette CI/CD pipeline op voor ML model deployment en beheerde containerized AI services met Docker/Kubernetes
• Waarborg naleving van ASML’s data security frameworks en industrial compliance standaarden

Resultaat: Het geïmplementeerde RAG-systeem heeft de efficiëntie van de ICT-medewerkers aanzienlijk verhoogd door hen in staat te stellen snel en gemakkelijk de status van verschillende processen en projecten te zien. De lokale implementatie van de LLM heeft ervoor gezorgd dat gevoelige gegevens veilig blijven, wat voldoet aan de strenge veiligheidsnormen van ASML.

Automatisering en optimalisatie van data-analyseprocessen voor fotonicabiosensor technologie met een versnelling van 20 minuten naar 1 seconde.

Situatie: Surfix Diagnostics ontwikkelde innovatieve diagnostische technologieën, waaronder de fotonicabiosensor. De organisatie had behoefte aan snellere en efficiëntere data-analyseprocessen om de volle potentie van deze technologie te benutten. De bestaande analyseprocessen namen te veel tijd in beslag en vormden een bottleneck in het onderzoeks- en ontwikkelingsproces.

Taak: Mijn taak was om de data-analyseprocessen te automatiseren en te optimaliseren om de analyse van grote datasets te versnellen en de efficiëntie te verbeteren. Het doel was om de doorlooptijd drastisch te verkorten zonder verlies van nauwkeurigheid.

Activiteiten:

• Voerde data-opschoning en -inladen uit om de kwaliteit van de datasets te waarborgen
• Implementeerde automatische drift-, slope- en tableau bepaling
• Optimaliseerde de analyse-algoritmes voor snelheidsverbetering
• Paste machine learning technieken toe om verbanden te identificeren en voorspellende modellen te ontwikkelen

Resultaat: Ik realiseerde een significante versnelling van de data-analyse, van 20 minuten naar 1 seconde per dataset. Dit stelde Surfix Diagnostics in staat om sneller en efficiënter diagnoses te stellen en onderzoek uit te voeren, wat de ontwikkelcyclus van nieuwe diagnostische tests aanzienlijk verkortte.

Ontwikkeling van een YOLO OBB-model voor het detecteren van meerdere objecten, inclusief hun coördinaten, hoek en labels voor een fysieke LEGO terminal replica.

Situatie: Ik werkte aan het project “Physical Twin Terminal” waarbij we een fysieke replica van een terminal bouwen met LEGO, inclusief kranen en autonoom rijdende voertuigen. Het doel was om een systeem te ontwikkelen dat meerdere objecten op een oppervlak (in dit geval een tafel) tegelijk kan detecteren.

Taak: Mijn taak was om een oplossing te vinden voor het detecteren van meerdere objecten op een oppervlak, met als doel om de coördinaten, hoek en labels van de objecten te kunnen bepalen. Ik werkte als onderzoeker en ontwikkelaar aan dit project en heb Python als programmeertaal gebruikt.

Activiteiten:

• Dataset aanmaken en annoteren met de nodige labels
• Training van een YOLO OBB-model om de coördinaten, hoek en labels van de objecten te kunnen bepalen
• Gebruik gemaakt van de OpenCV-bibliotheek in Python om het model te trainen en te testen
• Toepassing van verschillende technieken, zoals data-augmentatie en hyperparameter-tuning, om de prestaties van het model te verbeteren

Resultaat: Het resultaat was een getraind YOLO OBB-model dat in staat is om meerdere objecten op een oppervlak tegelijk te detecteren en hun coördinaten, hoek en labels te bepalen. Dit model kan nu gebruikt worden om de kranen en voertuigen in de fysieke twin te controleren en te besturen.

Conversie van ruwe website data naar een ORPO dataset door middel van LLMs voor het fine-tunen van een hypotheekadvies model.

Situatie: Stater biedt hypotheekdiensten aan en wilde hun dienstverlening verbeteren met AI-technologie. Het bedrijf had ruwe, ongestructureerde data van websites verzameld, maar deze data was niet geschikt voor directe verwerking door Large Language Models (LLMs). Er was behoefte aan een gestructureerde dataset om een gespecialiseerd model te kunnen trainen voor hypotheekadvies.

Taak: Mijn taak was om de ruwe website scraped data om te zetten naar een ORPO (Odd Ratio Preference Optimization) dataset die geschikt was voor het fine-tunen van een LLM. Het doel was om een kwalitatief hoogwaardige dataset te creëren die gebruikt kon worden om een model te trainen dat accurate hypotheekinformatie kon verstrekken.

Activiteiten:

• Ontwikkelde prompts voor het omzetten van ongestructureerde data naar gestructureerd formaat
• Paste LLM customization technieken toe inclusief Supervised Fine-Tuning (SFT) en prompt engineering voor hypotheek domein-adaptatie
• Implementeerde RLHF (Reinforcement Learning from Human Feedback) workflows om modeloutput te optimaliseren
• Ontwikkelde validatiechecks zoals halucination score en token similariteitsanalyses om de kwaliteit te waarborgen
• Zette LLMOps pipeline op met geautomatiseerde model evaluatie en deployment monitoring
• Optimaliseerde de prestaties van de LLMs en verbeterde de nauwkeurigheid van de resultaten iteratief

Resultaat: Ik produceerde een hoogwaardige ORPO dataset die gebruikt werd voor het fine-tunen van een LLM specifiek voor hypotheekadvies. De validatiechecks toonden aan dat de gegenereerde data van hoge kwaliteit was met minimale hallucinaties. Dit stelde Stater in staat om een gespecialiseerd AI-model te implementeren dat klanten kon ondersteunen bij hypotheekvragen.

Ontwikkeling van een AI-systeem voor de Nationale Politie en Koninklijke Marechaussee om camerabeelden om te zetten naar doorzoekbare tekstbeschrijvingen.

Situatie: De Nationale Politie en Koninklijke Marechaussee hadden grote hoeveelheden camerabeelden die handmatig moesten worden doorzocht, een tijdrovend en inefficiënt proces. Er was behoefte aan een systeem dat automatisch objecten in camerabeelden kon detecteren en omzetten naar tekstbeschrijvingen, zodat er legaal en efficiënt naar specifieke objecten gezocht kon worden. Ik werkte aan dit project in een multidisciplinair team van 10 studenten gedurende een half jaar.

Taak: Mijn taak was om de Back-End architectuur te ontwikkelen die camerabeelden kon verwerken en omzetten naar gestructureerde tekstbeschrijvingen. Ik was verantwoordelijk voor de implementatie van objectdetectie-, tracking- en attribuutherkenningsmodellen.

Activiteiten:

• Implementeerde objectdetectie en tracking algoritmes om objecten door videomateriaal te volgen
• Trainde een custom model voor kledingdetectie om specifieke kledingstukken te herkennen
• Ontwikkelde een kleurendetectie algoritme om kleuren van objecten nauwkeurig te bepalen
• Werkte met Scrum en Agile methodologieën, inclusief regelmatige Retro's
• Implementeerde de oplossing met Docker, Python en versiebeheer via GitHub
• Zorgde voor de integratie van alle componenten in een werkend systeem

Resultaat: Ik leverde een werkend Back-End systeem dat camerabeelden automatisch kon analyseren en omzetten naar doorzoekbare tekstbeschrijvingen. Het systeem stelde de politie in staat om efficiënt te zoeken naar personen op basis van kledingkenmerken en kleuren, wat de onderzoekstijd significant verkortte. Het eindproduct werd succesvol gedemonstreerd aan de opdrachtgevers, zoals te zien is in de projectvideo.

Ontwikkeling van op maat gemaakte websites voor verschillende bedrijven en professionals via mijn eigen webontwikkelbedrijf Polezait.nl.

Situatie: Als eigenaar van Polezait.nl ontving ik verzoeken van verschillende klanten die een professionele online aanwezigheid nodig hadden. Restaurants, kappers, makelaars, zonnepanelenbedrijven en zzp’ers hadden behoefte aan moderne, functionele websites die hun diensten effectief presenteerden. Veel zzp’ers hadden daarnaast ook behoefte aan geautomatiseerde facturatie-oplossingen om hun administratie te vereenvoudigen.

Taak: Mijn taak was om voor elke klant een op maat gemaakte website te ontwerpen en ontwikkelen die aansloot bij hun specifieke behoeften, merkidentiteit en doelgroep. Ik was verantwoordelijk voor het volledige ontwikkelproces, van requirements-analyse tot deployment en onderhoud.

Activiteiten:

• Voerde intakegesprekken met klanten om hun visie, doelen en functionele vereisten te begrijpen
• Ontwierp en implementeerde responsive websites met HTML, CSS en JavaScript
• Creëerde voor zzp’ers een geautomatiseerd facturatiesysteem dat facturen kon genereren en beheren
• Optimaliseerde websites voor performance, SEO en gebruiksvriendelijkheid
• Onderhield voortdurende communicatie met klanten om feedback te verwerken en aanpassingen door te voeren
• Verzorgde de deployment en hosting van de websites

Resultaat: Ik leverde moderne, functionele websites die de identiteit en doelen van mijn klanten effectief weerspiegelden. De facturatie-tool voor zzp’ers verkortte hun administratietijd aanzienlijk. Klanten rapporteerden verbeterde online zichtbaarheid en klantenwerving. Deze projecten versterkten mijn vaardigheden in webontwikkeling en klantcommunicatie, en bouwden mijn portfolio als veelzijdige webontwikkelaar verder uit.

Ontwikkeling van een route-optimalisatie applicatie voor Disneyland Paris met pathfinding algoritmes en database-integratie.

Situatie: Disneyland Paris bezoekers hadden moeite om hun parkbezoek efficiënt te plannen, wat resulteerde in lange wachttijden en gemiste attracties. Er was behoefte aan een tool die automatisch de optimale route door het park kon berekenen rekening houdend met wachttijden, attractielocaties en gebruikersvoorkeuren. Dit was mijn introductieproject waarin ik voor het eerst in teamverband werkte aan een groter softwareproject.

Taak: Mijn taak was om bij te dragen aan de ontwikkeling van een route-optimalisatie applicatie die bezoekers de snelste route door Disneyland Paris kon berekenen. Ik was verantwoordelijk voor het implementeren van pathfinding algoritmes en de database-integratie.

Activiteiten:

• Implementeerde snelste route-algoritmes (zoals Dijkstra’s algoritme) om optimale paden te berekenen
• Ontwikkelde de database structuur voor het opslaan van attractiegegevens, locaties en wachttijden
• Werkte in teamverband met andere studenten en leerde effectief te communiceren en taken te verdelen
• Programmeerde de applicatie in C# en maakte gebruik van object-georiënteerd programmeren
• Integreerde verschillende componenten tot een werkend geheel

Resultaat: Ik leverde een werkende route-optimalisatie applicatie die gebruikers hielp hun Disneyland Paris bezoek efficiënter te plannen. Het project gaf mij waardevolle eerste ervaring met algoritmes, databases, teamwerk en softwareontwikkeling in C#. De applicatie wordt gedocumenteerd op de bijbehorende Instagram en GitHub pagina.