Dr. Atser Damsma, associate lector Muziek van de Amsterdamse Hogeschool voor de Kunsten
Hoe musici met AI kunnen samenwerken
Op het conservatorium leren studenten om hun muzikale carrière zo vorm te geven dat ze niet alleen als kunstenaar, maar ook zakelijk, fysiek, mentaal en technologisch toegerust zijn op de toekomst. Associate lector Atser Damsma onderzoekt de laatste mogelijkheden.
Sinds maart 2024 houdt hij zich bij het lectoraat Muziek van het Conservatorium van Amsterdam bezig met de vraag wat we in de muziekpraktijk, het onderwijs en onderzoek aan moeten met AI en andere grote veranderingen in technologie. ‘Generatieve AI creëert een compleet nieuwe werkelijkheid. Het is niet meer iets voor alleen wetenschappers, het is sinds de komst van ChatGPT iets voor iedereen geworden’, aldus de onderzoeker. Atser ziet de ontwikkelingen op de verschillende terreinen waarop hij actief is. Hij is zowel muzikant als onderzoeker, met een achtergrond in kunstmatige intelligentie en cognitieve neurowetenschappen. In 2020 promoveerde hij aan de Rijksuniversiteit Groningen met zijn proefschrift ‘Adaptive Timing’. Als postdoctoraal onderzoeker bij de Music Cognition Group aan de Universiteit van Amsterdam onderzocht hij hoe ritme door het brein wordt verwerkt wanneer we naar muziek luisteren.
Onderzoek, zoals Damsma dat op de Amsterdamse Hogeschool voor de Kunsten doet, is onderdeel van een breder onderwijsaanbod. Het conservatorium wil studenten namelijk maximaal voorbereiden op de maatschappij. De curriculumontwikkeling is daarbij gebaseerd op de traditionele taakopvatting van de instelling, maar dat wordt aangevuld met onderwijs waarbij ondernemershap, fysieke en mentale weerbaarheid en onderzoek een vitaal aspect vormt. Dat onderwijs maakt bijvoorbeeld gebruik van kennis uit sport- en bewegingswetenschappen, sociale en evolutionaire psychologie en gezondheidswetenschappen. Ook kennis van technologische ontwikkelingen hoort bij de bredere taakopvatting. Damsma: ‘Ons onderzoek biedt studenten en docenten handvatten om ontwikkelingen op het gebied van kunstmatige intelligentie te integreren in hun praktijk. Ik geef een mastercursus waarin studenten zelf AI-systemen leren bouwen. Een student ontwikkelt bijvoorbeeld een systeem dat pianobegeleiding maakt op basis van wat hij op zijn basgitaar speelt.’
Real time
AI klinkt heel hedendaags, maar wetenschappers zijn er al veel langer mee bezig, aldus Damsma, juist ook in de muziek. ‘Eind jaren veertig was er al de Turingtest, een imitatiespel waarbij het vermogen van een machine werd getest om intelligent gedrag te vertonen dat gelijkwaardig is aan dat van een mens. Als mensen niet meer het verschil kunnen achterhalen tussen mens en machine, dan zou er sprake moeten zijn van intelligentie, zo was de theorie. In diezelfde geest worden AI-systemen vaak ontwikkeld om bestaande componisten of artiesten zo goed mogelijk te imiteren. Zo worden ze bijvoorbeeld getraind op de koralen van Bach, omdat hij bij het schrijven van zijn muziek al redelijk mathematisch te werk ging. Uit muzikale Turingtesten blijkt dat nieuwe “Bach-koralen” gemaakt door het AI-systeem DeepBach nauwelijks te onderscheiden zijn van de echte Bach, alleen de echte kenners lukt dat nog wel. Voor mij ligt de interessantere uitdaging echter niet in dit soort pogingen tot imitatie: hoe kunnen we de technologie gebruiken om nieuwe muziek te maken? En hoe kunnen we dat doen met het talent dat we hier aan het conservatorium hebben, bijvoorbeeld in liveoptredens? Zo onderzoek ik hoe AI-systemen in real time naar muziek kunnen “luisteren” om vervolgens te voorspellen welke akkoorden en ritmes er vandaaruit kunnen ontstaan.’
Muzikant en onderzoeker
Naast zijn onderzoek is Damsma als muzikant betrokken bij verschillende elektronische muziek- en kunstprojecten, waarmee hij optrad op internationale podia zoals Glastonbury, Sziget en Amsterdam Dance Event. Zijn plezier in muziek maken komt hier samen met zijn werk als onderzoeker: ‘Als muzikant en als onderzoeker ben ik geïnteresseerd in een interactieve manier van AI-gebruik. Ik ben nu bijvoorbeeld met dr. Oded Ben-Tal, componist en onderzoeker van Kingston University London, bezig om een model dat ritmes voorspelt in zijn systeem te integreren. Dat is een systeem dat samen met pianisten improviseert. Hiermee onderzoeken we welke nieuwe esthetiek dat kan meebrengen. Samen met AI kun je hybride mengvormen van instrumenten creëren die je in de echte wereld nooit zou kunnen maken. Juist door de kunstmatige glitches van technologie te gebruiken ontstaat iets nieuws. Je kunt de technologische veranderingen zien als een bedreiging, je kunt ze ook omarmen en onderzoeken wat voor creatieve dingen je ermee kunt doen. Silicon Valley is niet geïnteresseerd in het belang van kunstenaars, wij hier op het conservatorium wel. Onze masters Live Electronics en Immersive Audio brengen live toepassingen van technologie juist naar studenten. Op die manier proberen we onze studenten voor te bereiden op de maatschappij waarin AI sowieso al is opengesteld voor iedereen. Muzikanten zoals Holly Herndon maken al interessante muziek met deze nieuwe technologie. Die ontwikkelingen gaan natuurlijk door. Mooi als je die in het onderwijsprogramma kunt meenemen.’
Creativiteit blijft
In de muziekindustrie worden dit soort ontwikkelingen wel als bedreigend gezien, zo erkent Damsma. ‘Dat is in zekere zin ook terecht. Achtergrondmuziek - musique d’ameublement, zoals Erik Satie dat noemde - kan namelijk al best goed door machines worden gemaakt. Het zijn ook de ‘chill playlists’ en ‘homework playlists’ op Spotify die vermoedelijk voor een deel al zijn gemaakt met AI. Het is heel mistig hoe je hier de copyrights kunt ontrafelen.’ Dat is problematisch, en heeft invloed op de carrière van studenten die hier opgeleid worden, zo stelt de onderzoeker. ‘Het is de realiteit waarmee we onze studenten kennis laten maken. Maar ook met AI in het muziekonderwijs blijft het creatieve proces bestaan, zoals technologische ontwikkelingen in de geschiedenis heel vaak het creatieve proces hebben geactiveerd. Volgens professor Cognitieve Wetenschappen Margaret Boden zijn er drie soorten van creativiteit. De eerste is dat je twee losse dingen combineert en daaruit iets nieuws maakt, de tweede is dat je iets bestaands verder brengt en de derde variant is transformationele creativiteit. Dat is het soort creativiteit waarmee je een paradigmaverschuiving creëert. In de muziek gebeurde dit bijvoorbeeld door de tonaliteit los te laten, wat Schönberg deed met zijn twaalftoonstechniek, en door hoe componisten als Steve Reich en Philip Glass een draai maakten naar minimal music. Het is maar de vraag of AI zelfstandig zo’n paradigmaverschuiving kan veroorzaken. Ik denk dat dit vooral mogelijk is door de samenwerking tussen mens en machine, een vorm van co-creatie.’
Atser denkt dat mensen altijd muziek zullen blijven maken: ‘Zoals een partituur altijd een kapstok is geweest waaraan je creativiteit kan ophangen, zo zou ook AI een kapstok kunnen zijn.’ Het onderzoek gaat hierin verder, zo concludeert Damsma. Onlangs werd bekend dat het project ‘Beyond the Prompt: Exploring Embodied Co-Creation with AI’ subsidie ontvangt van SIA en het Stimuleringsfonds Creatieve Industrie. Damsma werkt hierin met het lectoraat Kunsteducatie, het AHK IDlab, Sonic Acts en de Universiteit van Amsterdam aan nieuwe, gelijkwaardige vormen van samenwerking tussen kunstenaars en AI. ‘In dit project willen we onderzoeken hoe we AI aan het lichaam kunnen verbinden. Met sensoren willen we lichaamsbewegingen detecteren om een dialoog tussen mens en machine te creëren. Met die zogenaamde ‘embodied cognition’ kan de aansturing van de muziek minder rationeel en meer intuïtief worden gemaakt. Dat kan kinderen dan weer helpen in hun ontwikkelingen en het kan nuttig zijn in relatie tussen kinderen en hun verzorgers. We willen dat dan ook een plek geven in ons onderwijs op de AHK.’
Interview: Koos de Wilt