Bill Joy
D66-leider Thom de Graaf is niet de enige die vraagtekens plaatst bij de huidige 'genetische revolutie'. De 21ste-eeuwse technologieën - genetica, nanotechnologie en robotica - zijn zo krachtig, dat er geheel nieuwe soorten ongelukken en vormen van misbruik uit kunnen voortkomen, zo waarschuwt de computerexpert Bill Joy. Is de genetisch gemodificeerde mens nog wel menselijk? Zullen intelligente robots de mensheid overbodig maken? Suizen we de nieuwe eeuw in zonder plan, zonder controle en zonder remmen?

Al sinds ik me bezighoud met de ontwikkeling van nieuwe technologieën, denk ik na over de ethische kanten daarvan, maar pas in de herfst van 1998 werd ik me angstig bewust van de gevaren die ons in de 21ste eeuw bedreigen. Ik kan het ontstaan van dat onbehagen traceren tot de dag waarop ik Ray Kurzweil ontmoette, de met recht beroemde uitvinder van de eerste leesmachine voor blinden en tal van andere verbazende vindingen.

Ray en ik waren allebei als spreker gevraagd voor het door George Gilder georganiseerde congres Telecosm, en ik ontmoette hem bij toeval na onze lezingen in de bar van het hotel. Ik zat te praten met John Searle, een filosoof van Berkeley die zich bezighoudt met bewustzijn; Ray kwam erbij en er ontstond een gesprek dat me zou heugen.

Ik had Rays lezing gemist, en ook de forumdiscussie met Ray en John in het panel, en met hun tweeën gingen ze verder waar ze gebleven waren. Ray zei dat het technologische ontwikkelingstempo zich verder zou versnellen en dat wij robots zouden worden of één zouden worden met robots of iets dergelijks, en John bracht daartegen in dat dat niet kon, omdat robots geen bewustzijn kunnen hebben.

Ik had dit soort discussies wel eerder gehoord, en had altijd gemeend dat robots tot het rijk van de science fiction behoorden. Maar nu zat naast mij iemand die met kracht van argumenten betoogde dat robots binnenkort realiteit zouden kunnen zijn. Ik schrok ervan, vooral omdat Ray zelf bewezen had dat hij de toekomst niet alleen kon voorzien, maar ook kon realiseren. Ik wist wel dat nieuwe technologieën als genetische manipulatie en nanotechnologie ons in staat stelden de wereld te herscheppen, maar Rays realistische scenario voor een binnenkort te verwachten komst van intelligente robots verraste me.

We worden langzamerhand blasé van alle technische doorbraken. Bijna dagelijks horen we over nieuwe technologische of wetenschappelijke vorderingen. Maar dit was niet zomaar een voorspelling. Tijdens ons gesprek gaf Ray me een voorpublicatie uit zijn toen nog niet verschenen boek The Age of Spiritual Machines, waarin hij een utopia schetste dat hem voor ogen stond, en waarin de mens zichzelf vrijwel onsterfelijk zou maken door één te worden met robottechnologie. Toen ik het las, nam mijn onbehagen alleen maar toe; ik wist zeker dat hij de gevaren had gebagatelliseerd, het risico dat het fout zou gaan.

Vooral het volgende dystopische visioen baarde me zorgen: ,,Als de machines in staat worden gesteld al hun besluiten zelfstandig te nemen, zijn de resultaten van het beslissingsproces niet te voorzien, omdat onmogelijk te raden valt hoe zulke machines zich zullen gedragen. We wijzen er slechts op dat het lot van de mensheid in handen van de machines zou zijn. [...] Naarmate de samenleving en de problemen waarmee ze kampt steeds ingewikkelder worden en machines steeds intelligenter, zullen de mensen steeds meer beslissingen aan machines overlaten, eenvoudig omdat machinaal genomen beslissingen betere resultaten opleveren dan menselijke. Uiteindelijk kan er dan een fase aanbreken waarin de beslissingen die nodig zijn om het systeem draaiende te houden zo complex zijn geworden, dat mensen niet meer in staat zullen zijn een rationeel besluit te nemen. Op dat moment zal de machine in feite aan de macht zijn.''

In het boek ontdek je pas een pagina verderop dat deze passage is geschreven door Theodore Kaczynski, de Unabomber. Ik wil geen lans voor Kaczynski breken. De bommen die hij in een 17 jaar durende campagne heeft laten afgaan, hebben drie levens geëist en veel anderen verwond. Door een van zijn bommen is mijn vriend David Gelernter, een van de briljantste, meest visionaire computerwetenschappers van deze tijd, zwaar verwond. Net als veel van mijn collega's denk ik dat ik zelf heel goed het volgende doelwit van de Unabomber had kunnen zijn.

Wat Kaczynski heeft gedaan was moord en naar mijn mening het werk van een criminele gek. Hij is duidelijk een Luddite - een verwoed tegenstander van mechanisering - maar die constatering weerlegt niet zijn betoog. Hoe ongaarne ook, ik moet erkennen dat ik me in de redenering in deze ene passage wel kon vinden. Of ik wilde of niet, ik moest naar tegenargumenten zoeken.

Kaczynski's onheilsvisioen beschrijft onbedoelde gevolgen, een bekend probleem bij het ontwerpen en het gebruik van technologieën, dat verwant is aan de wet van Murphy: ,,Alles wat fout kan gaan, zal ook fout gaan.'' (Eigenlijk is het trouwens de wet van Finagle, waarmee diens gelijk is aangetoond.) Ons excessieve gebruik van antibiotica heeft geleid tot wat wellicht het grootste probleem tot op heden is: het ontstaan van antibiotica-resistente en daardoor veel gevaarlijker bacteriën. Soortgelijke fouten zijn gemaakt bij het streven de malariamug uit te roeien: de malariaparasiet heeft genen ontwikkeld die resistent zijn tegen allerlei geneesmiddelen.

De oorzaak van zulke verrassingen is in veel gevallen duidelijk: het gaat om ingewikkelde processen waarin tal van bestanddelen onderling reageren en elkaar beïnvloeden. Elke verandering in zo'n proces veroorzaakt een keten van onvoorspelbare gevolgen. En dat geldt des te sterker voor menselijk ingrijpen.

Al pratend en nadenkend over Kurzweil en Kaczynski, moest ik opeens denken aan een roman die ik bijna twintig jaar geleden heb gelezen, De witte pest van Frank Herbert, waarin een moleculair bioloog tot waanzin wordt gedreven door de zinloze moord op zijn gezin. Om zich te wreken bouwt en verspreidt hij een nieuwe, zeer besmettelijke ziekte die effectief maar selectief mensen doodt. (Het is maar goed dat Kaczynski wiskundige was en geen moleculair bioloog.) Ook moest ik denken aan de Borg uit Star Trek, een kolonie van half-biologische, half-technologische wezens met een sterk destructieve inslag.

Catastrofes à la Borg zijn vaste kost in science-fictionland, dus waarom had ik me niet al eerder zorgen gemaakt over dit soort dystopische visioenen? Waarom maakten anderen zich niet meer zorgen?

Voor een deel ligt dat aan de manier waarop we het nieuwe tegemoet treden: onze neiging ons dadelijk met alles wat nieuw is vertrouwd te maken en het klakkeloos te accepteren. Gewend als we zijn aan een haast constante stroom wetenschappelijke doorbraken, zijn we nog niet toe aan het besef dat de meest revolutionaire 21ste-eeuwse technologieën - robotica, genetische manipulatie en nanotechnologie - een ander soort gevaar in zich houden dan eerdere technologische vernieuwingen. Met name robots, GM-organismen en nanobots hebben een versterkende factor gemeen: ze kunnen zichzelf kopiëren. Een bom ontploft één keer, maar een 'bot' kan zich vermenigvuldigen en onbeheersbaar worden.

Tijdens de afgelopen kwarteeuw heb ik me vooral beziggehouden met computernetwerken, waar bij het zenden en ontvangen van berichten oncontroleerbare vermenigvuldiging kan optreden. Maar al kan zo'n vermenigvuldiging in een computer of een computernetwerk vervelend zijn, het zal op zijn hoogst een machine onbruikmaar maken of een netwerk lamleggen. Bij de nieuwste technologieën brengt oncontroleerbare zelfkopiëring een veel groter risico met zich mee: het risico van aanzienlijke fysieke schade aan de buitenwereld.

Anderzijds houdt elk van de nieuwe technologieën ook ongekende beloften in. De haast ongelimiteerde levensduur die Kurzweil in zijn dromen over robots voorziet, stuwt de mens vooruit; genetische manipulatie maakt wellicht binnenkort behandeling, zo niet regelrechte genezing, van de meeste ziekten mogelijk; en met nanotechnologie en nanogeneeskunde kunnen weer andere aandoeningen worden aangepakt. In combinatie zouden ze onze gemiddelde levensduur aanmerkelijk kunnen verlengen en de kwaliteit van het leven flink kunnen verhogen. Toch leidt bij al deze technologieën een reeks van kleine, op zichzelf zinnige vorderingen tot een ontzaglijke samenballing van macht, en daarmee van gevaar.

Wat was er in de 20ste eeuw anders? De technologieën (atomair, biologisch en chemisch) die ten grondslag lagen aan de massavernietigings- of ABC-wapens, waren zeer potent, en de wapens vormden een ontzaglijke dreiging. Maar het bouwen van kernwapens vergde, althans gedurende enige tijd, de beschikking over zowel zeldzame (in feite niet te verkrijgen) grondstoffen en streng geheimgehouden informatie, terwijl ook voor de ontwikkeling van biologische en chemische wapens doorgaans grootschalige faciliteiten nodig waren.

De 21ste-eeuwse technologieën - genetica, nanotechnologie en robotica (of GNR) - zijn zo krachtig dat er geheel nieuwe soorten ongelukken en vormen van misbruik uit kunnen voortkomen. Het grootste gevaar is dat die ongelukken en dat misbruik voor het eerst en ruimschoots binnen het bereik van individuen of kleine groepjes mensen komen. Er zijn geen omvangrijke installaties of zeldzame grondstoffen voor nodig. Kennis volstaat om ze te kunnen toepassen. En daarmee ontstaat de dreiging van massavernietigingswapens op basis van kennis alleen, waarvan de vernietigingskracht des te groter zal zijn doordat ze zichzelf verveelvoudigen. Het is naar mijn mening niet overdreven te stellen dat thans een extreem kwaad tot een graad van perfectie wordt gebracht, waarvan de dreiging verder strekt dan die waartoe massavernietigingswapens regeringen in staat hebben gesteld, doordat ze een verschrikkelijk machtsmiddel in handen legt van extremistische individuen.

Misschien is het voor wie in een draaikolk van veranderingen zit altijd moeilijk de diepere consequenties te overzien. Een gebrek van veel wetenschappers en technologen is dat zij niet de gevolgen van hun uitvindingen beseffen; al heel lang worden zij gedreven door de alles overheersende dorst naar kennis, die heilige graal van de natuurwetenschap, zonder oog voor het feit dat de opmars naar steeds nieuwer, steeds machtiger technologieën een eigen leven kan gaan leiden.

Door mijn werk als medeontwerper van drie microprocessor-bouwplannen - SPARC, picoJava en MAJC - en als ontwerper van verschillende implementaties voor die processoren, heb ik van zeer nabij de geldigheid van de wet van Moore mogen ondervinden. Al sedert tientallen jaren voorspelt de wet van Moore correct het exponentiële ontwikkelingstempo van de halfgeleidertechnologie - elke 18 maanden een verdubbeling van het rekenvermogen. Tot vorig jaar meende ik dat de vordering die deze wet voorziet tot ongeveer het jaar 2010 zou kunnen voortduren, en dat men dan tegen bepaalde natuurkundige grenzen aan zou lopen. Wat ik niet in de gaten had, was dat zich tijdig een nieuwe technologie zou aandienen waardoor de prestatieverbetering in gelijk tempo zou kunnen voortduren.

Maar gezien de recente snelle en radicale vorderingen op het gebied van moleculaire elektronica en de daaraan verwante nanotechnologie, ziet het ernaar uit dat de wet van Moore nog wel dertig jaar mee kan. Over dertig jaar zullen we dus waarschijnlijk machines kunnen bouwen, in grote aantallen, die 2 tot de macht 20, of ongeveer een miljoen keer, zo krachtig zijn als de huidige pc.

Die gigantische rekenkracht, gepaard aan vorderingen in de moleculaire en nanotechnologieën en nieuwe, diepgaande inzichten in de moleculaire genetica, zal een kolossale macht tot ingrijpen in levensprocessen tot gevolg hebben. Deze combinatie zal de mens in staat stellen de wereld van de grond af opnieuw te ontwerpen - met alle heilzame of kwalijke gevolgen van dien. De processen van zelfreproductie en evolutie, die voorheen aan de natuur waren voorbehouden, zullen weldra behoren tot het domein van het menselijk streven.

Bij het ontwerpen van programmatuur en microprocessoren heb ik nooit het gevoel gehad dat ik een intelligente machine zat te bedenken. De hard- en software is zo primitief en 'denk'-vermogen is bij de machine zo totaal afwezig, dat ik zo iets altijd als op zijn minst heel verre toekomstmuziek heb beschouwd.

Thans echter, nu rekenvermogen op het niveau van de menselijke hersenen binnen 30 jaar in zicht lijkt te komen, dringt zich een nieuwe gedachte op: de gedachte dat ik wellicht nu bezig ben het gereedschap te maken waarmee technologieën zullen worden gebouwd die de plaats van de mens zullen gaan innemen. En dat geeft me een zeer onbehaaglijk gevoel. Ik heb mijn hele werkende leven lang mijn best gedaan betrouwbare software te bouwen, maar nu heeft het er veel van weg dat onze toekomst er niet zo rooskleurig uitziet als sommigen wel denken. Mijn persoonlijke ervaring zegt me dat we geneigd zijn ons constructief vermogen te overschatten.

Zouden we ons, gezien het ontzaglijke potentieel van deze nieuwe technologieën, niet eens gaan afvragen hoe we daar het best mee kunnen leven? En als de kans bestaat, of zelfs groot is, dat onze technologische ontwikkeling tot onze eigen ondergang leidt, zouden we dan niet de grootste voorzichtigheid moeten betrachten?

Het ideaal van de robotica is om te beginnen dat intelligente machines ons werk uit handen zullen nemen, zodat wij onze tijd vrij kunnen besteden in een paradijs op aarde. Hoe lang duurt het nog voordat we zulke machines kunnen bouwen? De vorderingen in de computertechniek lijken dat rond 2030 mogelijk te gaan maken. En zodra de intelligente robot er is, is het nog slechts een kleine stap naar een robotpopulatie - intelligente robots die zich al evoluerend kunnen vermenigvuldigen.

Het tweede ideaal van de robotica is dat we onszelf geleidelijk zullen vervangen door onze robottechnologie, dat we onszelf nagenoeg onsterfelijk zullen maken door ons bewustzijn over te brengen naar het robotlichaam. Maar als wij kunnen worden 'gedownload' in onze technologie, wat is dan de kans dat we nadien nog onszelf, of zelfs dat we nog mens zullen zijn? Mij zelf lijkt de kans veel groter dat een robotbestaan niet te vergelijken zal zijn met een mensenbestaan; dat de robots in geen enkel opzicht onze kinderen zouden zijn; dat langs deze weg onze menselijkheid wel eens teloor zou kunnen gaan.

We weten nu al zeker dat deze ingrijpende veranderingen in de biowetenschappen ophanden zijn en al onze opvattingen over wat leven is op losse schroeven zullen zetten. Vooral technologieën zoals het klonen van mensen hebben ons geconfronteerd met diepgaande ethische en morele vraagstukken. Stel bijvoorbeeld dat we onszelf met behulp van genetische manipulatie zouden ombouwen tot een aantal afzonderlijke, ongelijke soorten. We zouden het begrip gelijkheid aantasten dat de hoeksteen bij uitstek van onze democratie vormt.

Er doen zich hier nog tal van andere belangrijke kwesties voor, maar mijn eigen ongerustheid geldt in het bijzonder de zorg dat genetische manipulatie mensen in staat zal stellen - hetzij in militair verband, hetzij per ongeluk dan wel door een opzettelijke terreurdaad - een Witte Pest te veroorzaken.

Het boek dat in medio jaren tachtig grote indruk op me heeft gemaakt was Engines of Creation van Eric Drexler, waarin hij prachtig beschrijft hoe door manipulatie van materie op atoomniveau een utopisch land van overvloed zou kunnen worden geschapen, waar zo'n beetje alles goedkoop te maken zou zijn en vrijwel alle denkbare ziekten en ongemakken zouden kunnen worden bestreden met nanotechnologieën en kunstmatige intelligentie. In een volgend boek Unbounding the Future: the Nanotechnology Revolution, laat Drexler zien wat voor veranderingen er zouden kunnen optreden in een wereld waarin we beschikken over 'assemblanten' op moleculair niveau. De mogelijkheden van deze assemblanten zouden uiteenlopen van onvoorstelbaar goedkope zonne-energie en genezing van kanker en verkoudheid door uitbreiding van het menselijk afweersysteem tot een nagenoeg complete reiniging van het milieu en vrijwel niets kostende supercomputers in zakformaat - eigenlijk ieder product zou kunnen worden gemaakt door assemblanten tegen een kostprijs niet hoger dan die van hout; ruimtevaart zou voor meer mensen zijn weggelegd dan verre vliegreizen thans; en uitgestorven biologische soorten zouden kunnen worden herschapen.

De essentiële doorbraak naar het maken van assemblanten kan al in de komende 20 jaar plaatsvinden. De moleculaire elektronica - het nieuwe deelgebied van de nanotechnologie waarin schakelingen bestaan uit individuele moleculen - zal vermoedelijk nog dit decennium volwassen en vervolgens reusachtig winstgevend worden, met als neveneffect de massale toestroom van investeringskapitaal naar andere nanotechnologieën.

Helaas geldt voor de nanotechnologie hetzelfde als voor de nucleaire technologie: destructieve toepassingen zijn veel gemakkelijker te realiseren dan constructieve. Er zijn zonder moeite militaire en terroristische toepassingen van nanotechnologie te bedenken, en het loslaten van een massaal verwoestend nanotechnologisch product hoeft geen zelfmoordactie te zijn: er kan een selectief destructieve werking worden ingebouwd, zodat bijvoorbeeld slechts een bepaald geografisch gebied wordt getroffen, of een genetisch herkenbare groep mensen. Het faustiaanse contract waarbij wij de nanotechnologie en haar ongekende macht verwerven, brengt een zeer zwaar risico met zich mee: het risico dat we de biosfeer, waarvan alle leven afhankelijk is, verwoesten.

Het is vooral het destructief zelfkopiërende vermogen van de nieuwe technologieën dat ons zorgen zou moeten baren. Zelfkopiëring is de methodiek van de genetische manipulatie, die de machinerie van de cel gebruikt om haar doel te bereiken, en ook het primaire gevaar van de nanotechnologie. In feite worden we al jarenlang duidelijk gewaarschuwd voor de gevaren die een brede verbreiding van kennis over de nieuwe technologieën met zich meebrengt - het gevaar dat louter kennis massale vernietiging mogelijk maakt. Maar aan die waarschuwingen is geen ruchtbaarheid gegeven, en het openbare debat erover schiet duidelijk te kort. Met openheid valt immers geen winst te maken.

De ABC-technologieën waarop de 20ste-eeuwse massavernietigingswapens zijn gebaseerd, waren en zijn in hoofdzaak voor militair gebruik ontwikkeld in opdracht van regeringen. Lijnrecht hiertegenover staan de 21ste-eeuwse GNR-technologieën, die evidente commerciële toepassingen kennen en vrijwel uitsluitend door particuliere ondernemingen worden ontwikkeld. In deze tijd van zegevierend kapitalisme produceert de technologie - met de wetenschap als dienstmaagd - een hele reeks bijna magische en ongekend lucratieve vindingen. Agressief jagen we de beloften van deze nieuwe technologieën na, binnen het thans onbetwiste stelsel van mondiaal kapitalisme en zijn veelheid aan financiële en competitieve prikkels.

Het is voor het eerst in de geschiedenis van onze planeet dat een biologische soort door eigen, zelfgekozen toedoen tot een gevaar voor zichzelf is geworden - evenals voor talloze andere soorten. De evidente kwetsbaarheid en inefficiëntie van door mensen gecreëerde systemen zou ons allen aan het denken moeten zetten; de kwetsbaarheid van de systemen die ik heb gebouwd heeft me in elk geval de nodige nederigheid bijgebracht.

We hadden lering moeten trekken uit de vervaardiging van de eerste atoombom en de daarop volgende wapenwedloop. We hebben het er toen niet best afgebracht, en de parallellen met onze huidige situatie zijn onrustbarend. Opnieuw zijn we de scheppers van nieuwe technologieën en de helden van ons eigen toekomstvisioen - dit keer gedreven door hoge financiële beloning en mondiale concurrentie - ondanks de in het oog lopende gevaren en haast zonder te onderzoeken hoe het zal zijn om te moeten leven in een wereld zoals die er straks naar verwachting zal uitzien, als gevolg van wat we nu bezig zijn tot stand te brengen en te bedenken.

Het enige realistische alternatief, voorzover ik kan zien, is onthouding: beperking van de ontwikkeling van technologieën die te gevaarlijk zijn, door beperking van onderzoek op bepaalde kennisgebieden. Zeker, kennis is goed, ik weet het, net als het zoeken naar de waarheid. Maar als blijkt dat de vrije beschikbaarheid en de onbeperkte ontwikkeling van kennis het bestaan van de mensheid bedreigt, dan eist het gezond verstand dat we ook zulke fundamentele, aloude overtuigingen opnieuw overwegen.

Wanneer wij, de mensheid als geheel, het erover eens kunnen worden wat we willen, welke koers we varen en waarom, dan kunnen we de toekomstige wereld zeer veel minder gevaarlijk maken - dan zouden we in staat zijn te begrijpen wat we kunnen, en moeten, nalaten. Zo niet, dan is een nieuwe wapenwedloop in de GNR-technologieën heel wel denkbaar. En dat is wellicht het grootste risico, want is die race eenmaal begonnen, dan is er vrijwel geen houden meer aan. Dit keer, anders dan tijdens het Manhattan Project, zijn we niet in oorlog met een onverzoenlijke vijand die onze beschaving bedreigt; dit keer worden we voortgedreven door onze gewoonten, onze verlangens, ons economische systeem, en onze competitieve ontdekkingsdrang.

De deksel van de nieuwe doos van Pandora vol genetica, nanotechnologie en robotica is al bijna open, maar het schijnt ons nauwelijks op te vallen. Ideeën laten zich niet meer in de doos terugstoppen; anders dan uranium of plutonium hoeven ze niet uit de aarde gedolven en verrijkt te worden, en ze zijn vrijelijk te kopiëren. Eruit is eruit. Een van Churchills vermaarde averechtse complimenten luidde eens dat het Amerikaanse volk en zijn leiders ,,altijd weer de juiste beslissingen nemen, na alle alternatieven te hebben onderzocht.'' In dit geval zullen we een meer vooruitziende blik moeten hebben, want de juiste beslissing op het allerlaatst zou wel eens te laat kunnen zijn.

Zoals Thoreau zei: ,,Wij rijden niet met de trein, de trein rijdt met ons''; en daartegen zullen we ons thans moeten verzetten. Want de grote vraag luidt: wie is er de baas? Willen wij onze technologieën overleven? We suizen de nieuwe eeuw in zonder plan, zonder controle, zonder remmen. Zijn we al te ver doorgeschoten om nog van koers te kunnen veranderen? Ik denk van niet, maar we doen niet eens ons best, en de laatste gelegenheid om bij te sturen - het point of no return - nadert snel. We hebben al onze eerste speelgoedrobotjes, de eerste commercieel verkrijgbare genetische manipulatietechnieken, en technische toepassingen op nanoformaat zijn in ontwikkeling. De ontwikkeling van deze technologieën moet weliswaar een aantal fasen doorlopen, maar het hoeft zeker niet zo te zijn - als bij het Manhattan Project en de Trinity test - dat de uiteindelijke beproeving van een techniek een langdurige en zware taak is. Een uitbarsting van ongecontroleerd zelfkopiërend gedrag kan in de nieuwe technologieën zomaar opeens plaatsvinden, met hetzelfde verrassingseffect dat uitging van de eerste geslaagde poging een zoogdier te klonen.

Toch ben ik ervan overtuigd dat er gegronde reden tot hoop is. Onze pogingen om massavernietigingswapens te beteugelen bieden een schoolvoorbeeld van 'onthouding': het eenzijdige besluit van de Verenigde Staten om onvoorwaardelijk de ontwikkeling van biologische wapens te staken. Deze daad van onthouding kwam voort uit het besef dat de ontwikkeling van die afschuwelijke wapens weliswaar een reusachtige inspanning zou vergen, maar dat die daarna gemakkelijk na te maken zouden zijn en in handen van kwaadwillende regeringen of terroristen zouden kunnen vallen. De heldere conclusie luidde dat we onszelf door het ontwikkelen van dit soort wapens aan nieuwe dreigingen zouden blootstellen, en dat we veiliger af zouden zijn als we die ontwikkeling staakten.

Ik ben er overigens van overtuigd dat de situatie in 1945 eenvoudiger was dan thans: de nucleaire technologieën waren nog redelijk te scheiden in commerciële en militaire toepassingen, en de verificatie werd vergemakkelijkt door de aard van kernproeven en de goede meetbaarheid van radioactiviteit. De GNR-technologieën kennen die duidelijke verdeling niet; gezien het marktpotentieel ervan is het haast ondenkbaar dat ze uitsluitend in overheidslaboratoria zouden worden ontwikkeld. Omdat er allerwegen aan commerciële toepassingen wordt gewerkt, zal een politiek van onthouding eenzelfde inspectieregime vergen als dat voor biologische wapens, maar dan op ongekende schaal. Zo iets zou onvermijdelijk tot spanningen leiden tussen de privé-sfeer en de bescherming van bedrijfskennis enerzijds, en de behoefte aan controle en inspectie ter bescherming van de mensheid anderzijds. We zullen zeker stuiten op fel verzet tegen het verlies aan bescherming van de privé-sfeer en de vrijheid van handelen. Controle op naleving zal daarnaast vereisen dat wetenschapsbeoefenaren en technisch specialisten een strenge gedragscode onderschrijven, te vergelijken met de hippocratische eed, en dat ze zo moedig zijn om aan de bel te trekken als dat nodig is, ook als dat ernstige persoonlijke gevolgen heeft.

Mijn eerste ontmoeting met Ray Kurzweil en John Searle is nu meer dan een jaar geleden. Om me heen bespeur ik redenen tot hoop in de roep om voorzichtigheid en onthouding, en in de mensen die ik heb leren kennen en wie de huidige situatie evenveel zorgen baart. Ook ervaar ik een geïntensiveerd besef van persoonlijke verantwoordelijkheid - niet voor het werk dat ik al gedaan heb, maar voor het werk dat ik nog kan doen in het brandpunt van de natuurwetenschappen.

Beroepshalve blijf ik werken aan zo betrouwbaar mogelijke software. Software is gereedschap, en als gereedschapmaker moet ik in het reine zien te komen met datgene waarvoor het door mij gemaakte gereedschap wordt gebruikt. Ik heb altijd gemeend dat ik door de betrouwbaarheid van software te vergroten de wereld tot een veiliger, aangenamer oord zou maken; als ik tot de tegenovergestelde overtuiging zou komen, zou ik moreel verplicht zijn dat werk te staken. Ik kan me inmiddels voorstellen dat zo'n dag ooit zal aanbreken.

Dit alles maakt me niet boos, maar op zijn minst ietwat melancholiek. Vooruitgang zal voor mij voortaan een bitter bijsmaakje hebben.

Dit is een bewerkte versie van een artikel dat oorspronkelijk in het Amerikaanse tijdschrift Wired is verschenen. Bill Joy is medeoprichter en wetenschappelijk hoofd van het computerbedrijf Sun Microsystems. Hij is een van de ontwerpers van de programmeertaal Java, die een belangrijke rol speelt in de ontwikkeling van internet. In M, het magazine van deze krant, zal de filosoof Hans Achterhuis aanstaande zaterdag reageren op het betoog van Joy.

( a d v e r t e n t i e s )