De val die Anthropic voor zichzelf heeft gebouwd

Vrijdagmiddag, net toen dit interview aan de gang was, flitste er een nieuwswaarschuwing over mijn computerscherm: de regering-Trump verbrak de banden met Anthropic, het AI-bedrijf uit San Francisco dat in 2021 werd opgericht door Dario Amodi. Minister van Defensie Pete Hegseth had er een beroep op gedaan nationale veiligheidswetgeving om het bedrijf op de zwarte lijst te zetten om zaken te doen met het Pentagon nadat Amodei weigerde toe te staan ​​dat de technologie van Anthropic werd gebruikt voor massale surveillance van Amerikaanse burgers of voor autonome bewapende drones die doelen konden selecteren en doden zonder menselijke inbreng.

Het was een verbazingwekkende reeks. Anthropic loopt het risico een contract ter waarde van maximaal $ 200 miljoen te verliezen en zal worden uitgesloten van samenwerking met andere defensiecontractanten nadat president Trump op Truth Social de opdracht heeft gegeven aan alle federale agentschappen om “onmiddellijk elk gebruik van Anthropic-technologie te staken.” (Anthropic heeft sindsdien gezegd dat dit zal gebeuren daag het Pentagon voor de rechtbank uit.)

Max Tegmark heeft het grootste deel van een decennium gewaarschuwd dat de race om steeds krachtigere AI-systemen te bouwen het vermogen van de wereld om ze te controleren overtreft. De MIT-natuurkundige heeft opgericht Instituut voor de Toekomst van het Leven in 2014 en hielp bij het organiseren van een open brief – uiteindelijk ondertekend door meer dan 33.000 mensen, waaronder Elon Musk – roept op tot een pauze in de geavanceerde AI-ontwikkeling.

Zijn visie op de antropische crisis is mild: het bedrijf heeft, net als zijn rivalen, de kiem gelegd voor zijn eigen hachelijke situatie. Het argument van Tegmark begint niet bij het Pentagon, maar bij een jaren eerder genomen besluit – een keuze die door de hele sector wordt gedeeld – om zich te verzetten tegen bindende regelgeving. Anthropic, OpenAI, Google DeepMind en anderen beloven al lang dat ze zichzelf op verantwoorde wijze zullen beheren. Antropisch viel deze week zelfs centraal principe in zijn eigen veiligheidsbelofte – de belofte om geen steeds krachtigere AI-systemen uit te brengen totdat het bedrijf er zeker van was dat ze geen schade zouden aanrichten.

Nu er geen regelgeving is, is er weinig om deze spelers te beschermen, zegt Tegmark. Hier is meer uit dat interview, bewerkt voor lengte en duidelijkheid. Het hele gesprek kun je komende week horen op TechCrunch’s StriktVC downloaden podcast.

Wat was uw eerste reactie toen u dit nieuws over Anthropic zag?

De weg naar de hel is geplaveid met goede bedoelingen. Het is zo interessant om terug te denken aan tien jaar geleden, toen mensen zo enthousiast waren over hoe we kunstmatige intelligentie gingen inzetten om kanker te genezen, de welvaart van Amerika te vergroten en Amerika sterk te maken. En hier zijn we nu, met de Amerikaanse regering die boos is op dit bedrijf omdat het niet wil dat kunstmatige intelligentie wordt gebruikt voor binnenlandse massale surveillance van Amerikanen, noch omdat het moordende robots wil hebben die autonoom – zonder enige menselijke inbreng – kunnen beslissen wie er wordt vermoord.

Anthropic heeft zijn volledige identiteit ingezet om een ​​toonaangevend AI-bedrijf te zijn, maar werkte toch samen met defensie- en inlichtingendiensten (daterend uit minstens 2024). Vindt u dat überhaupt tegenstrijdig?

Het is tegenstrijdig. Als ik hier een enigszins cynische kijk op mag geven: ja, Anthropic is er erg goed in geweest zichzelf op de markt te brengen als het om veiligheid gaat. Maar als je daadwerkelijk naar de feiten kijkt in plaats van naar de beweringen, zul je zien dat Anthropic, OpenAI, Google DeepMind en xAI allemaal zeer uitgesproken zijn over de manier waarop zij om beveiliging geven. Geen van hen heeft zich uitgesproken voor bindende veiligheidsregelgeving zoals in andere sectoren. En alle vier deze bedrijven hebben nu hun eigen beloften gebroken. Eerst hadden we Google, met deze grote slogan: ‘Wees niet slecht.’ Toen lieten ze het vallen. Toen lieten ze nog een langere toezegging vallen, waarin ze feitelijk beloofden geen kwaad te zullen doen met AI. Ze lieten dat vallen zodat ze kunstmatige intelligentie konden verkopen voor surveillance en wapens. OpenAI heeft zojuist het woord veiligheid uit hun missieverklaring geschrapt. xAI heeft hun hele beveiligingsteam uitgeschakeld. En nu, eerder deze week, liet Anthropic hun belangrijkste veiligheidsverplichting vallen: de belofte om geen krachtige AI-systemen vrij te geven voordat ze er zeker van waren dat ze geen schade zouden aanrichten.

Hoe zijn bedrijven die zulke prominente veiligheidstoezeggingen hebben gedaan in deze positie terechtgekomen?

Al deze bedrijven, met name OpenAI en Google DeepMind, maar tot op zekere hoogte ook Anthropic, hebben voortdurend gelobbyd tegen de regulering van AI en gezegd: ‘Vertrouw ons maar, we zullen onszelf reguleren.’ En ze hebben met succes gelobbyd. Dus op dit moment hebben we in Amerika minder regulering van AI-systemen dan van sandwiches. Weet je, als je een broodjeszaak wilt openen en de gezondheidsinspecteur vindt vijftien ratten in de keuken, dan laat hij je geen broodjes verkopen totdat je het hebt gerepareerd. Maar als je zegt: ‘Maak je geen zorgen, ik ga geen broodjes verkopen, ik ga AI-vriendinnen verkopen aan 11-jarigen, en ze zijn in het verleden in verband gebracht met zelfmoord, en dan ga ik iets genaamd superintelligentie vrijgeven dat de Amerikaanse regering zou kunnen ten val brengen, maar ik heb een goed gevoel over mijn’, ga inspecteren, Fiorne’ smørrebrød.’

Er is regelgeving voor voedselveiligheid en geen AI-regelgeving.

En ik heb het gevoel dat al deze bedrijven daar echt de schuld voor delen. Want als ze al deze beloften die ze vandaag hebben gedaan over hoe we zo veilig en goed kunnen zijn, hadden overgenomen en bij elkaar waren gekomen en vervolgens naar de regering waren gegaan en hadden gezegd: ‘Neem alstublieft onze vrijwillige toezeggingen en zet ze om in Amerikaanse wetten die zelfs onze meest slordige concurrenten binden’ – dan zou dit in plaats daarvan zijn gebeurd. We bevinden ons in een compleet wetgevingsvacuüm. En we weten wat er gebeurt als er een volledige bedrijfsamnestie komt: je krijgt thalidomideJe hebt tabaksfabrikanten die kinderen sigaretten opdringen, je krijgt asbest dat longkanker veroorzaakt. Het is dus nogal ironisch dat hun eigen verzet tegen het hebben van wetten die zeggen wat wel en niet goed is met AI nu terugkomt om hen te bijten.

Er bestaat op dit moment geen wet tegen het bouwen van AI om Amerikanen te doden, dus de overheid kan er plotseling om vragen. Als de bedrijven zelf eerder naar buiten waren gekomen en hadden gezegd: ‘Wij willen deze wet’, zouden ze niet in deze problemen zitten. Ze hebben zichzelf echt in de voet geschoten.

Het tegenargument van het bedrijfsleven is altijd de race met China: als Amerikaanse bedrijven dit niet doen, zal Peking het wel doen. Houdt dat argument stand?

Laten we het analyseren. De meest voorkomende uitspraak van de lobbyisten voor de AI-bedrijven – ze zijn nu beter gefinancierd en zijn talrijker dan de lobbyisten uit de fossiele brandstoffenindustrie, de farmaceutische industrie en het militair-industriële complex samen – is dat wanneer iemand enige vorm van regulering voorstelt, ze zeggen: ‘Maar China.’ Dus laten we ernaar kijken. China is bezig AI-vriendjes volledig te verbieden. Niet alleen leeftijdsgrenzen; ze kijken ook naar verboden allemaal antropomorfe AI. Waarom? Niet omdat ze Amerika een plezier willen doen, maar omdat ze vinden dat dit de Chinese jeugd vernietigt en China zwak maakt. Natuurlijk maakt het de Amerikaanse jeugd ook zwak.

En als mensen zeggen dat we moeten racen om superintelligentie op te bouwen, zodat we van China kunnen winnen – terwijl we eigenlijk niet weten hoe we superintelligentie moeten beheersen, zodat het standaardresultaat is dat de mensheid de controle over de aarde verliest aan buitenaardse machines – raad eens? De Chinese Communistische Partij houdt erg van controle. Wie denkt bij zijn volle verstand dat Xi Jinping zal tolereren dat een Chinees AI-bedrijf iets bouwt dat de Chinese regering omver zal werpen? Echt niet. Het is uiteraard ook erg slecht voor de Amerikaanse regering als deze wordt omvergeworpen door een staatsgreep door het eerste Amerikaanse bedrijf dat superintelligentie heeft opgebouwd. Dit is een bedreiging voor de nationale veiligheid.

Het is een overtuigend kader: superintelligentie als een bedreiging voor de nationale veiligheid, niet als een troef. Ziet u dat deze visie steeds meer terrein wint in Washington?

Ik denk dat als mensen in de nationale veiligheidsgemeenschap luisteren naar Dario Amodei die zijn visie beschrijft – hij heeft een beroemde toespraak gehouden waarin hij zegt dat we binnenkort een het land van genieën in een datacenter – zouden ze kunnen gaan denken: wacht, gebruikte Dario zojuist het woord ‘land’? Misschien moet ik dat land van genieën in een datacenter op dezelfde dreigingslijst zetten die ik monitor, omdat het bedreigend klinkt voor de Amerikaanse regering. En ik denk dat genoeg mensen in de Amerikaanse nationale veiligheidsgemeenschap vrij snel zullen beseffen dat oncontroleerbare superintelligentie een bedreiging is, en geen hulpmiddel. Dit is volledig analoog aan de Koude Oorlog. Er was een race om dominantie – economisch en militair – tegen de Sovjet-Unie. Wij Amerikanen hebben het gewonnen zonder ooit deel te nemen aan de tweede race, waarin werd gekeken wie de meeste nucleaire kraters in de andere supermacht kon plaatsen. Mensen beseften dat het gewoon zelfmoord was. Niemand wint. Hier geldt dezelfde logica.

Wat betekent dit alles voor het tempo van de AI-ontwikkeling in bredere zin? Hoe dicht denk je dat we bij de systemen zijn die je beschrijft?

Zes jaar geleden voorspelde bijna elke AI-expert die ik kende dat we tientallen jaren verwijderd waren van een AI die taal en kennis op menselijk niveau zou kunnen beheersen – misschien in 2040, misschien in 2050. Ze hadden het allemaal mis, want we hebben het nu al. We hebben gezien dat AI zich op sommige terreinen vrij snel heeft ontwikkeld van middelbare schoolniveau tot universitair niveau, van PhD-niveau tot universiteitsprofessorniveau. Vorig jaar won AI de gouden medaille op de Internationale Wiskundeolympiade, wat ongeveer net zo moeilijk is als menselijke taken kunnen zijn. I schreef een paper samen met Joshua Bengio, En die van Hendrycken andere top-AI-onderzoekers van slechts een paar maanden geleden die een strikte definitie van AGI opleverden. Volgens dit was GPT-4 27% van de weg daarheen. GPT-5 was 57% van de weg daarheen. We zijn er dus nog niet, maar als we van 27% naar 57% gaan, duidt dit er al snel op dat het misschien niet zo lang meer zal duren.

Toen ik mijn studenten gisteren aan het MIT een lezing gaf, vertelde ik hen dat zelfs als het vier jaar duurt, dit betekent dat ze na hun afstuderen wellicht geen andere baan kunnen krijgen. Het is zeker niet te vroeg om je daarop voor te bereiden.

Anthropic staat nu op de zwarte lijst. Ik ben benieuwd wat er daarna gebeurt: zullen de andere AI-giganten achter hen staan ​​en zeggen dat we dit ook niet zullen doen? Of steekt iemand als xAI zijn hand op en zegt dat Anthropic het contract niet wilde, we nemen het aan? (Noot van de redactie: uren na het interview maakte OpenAI het bekend eigen overeenkomst met het Pentagon.)

Gisteravond kwam Sam Altman naar buiten en zei dat hij achter Anthropic staat en dezelfde rode lijnen deelt. Ik bewonder hem vanwege de moed om dat te zeggen. Google had niets gezegd toen we aan dit interview begonnen. Als ze gewoon hun mond houden, denk ik dat het ongelooflijk gênant is voor hen als bedrijf, en veel van hun werknemers zullen hetzelfde voelen. Ook van xAI hebben we nog niets gehoord. Het zal dus interessant zijn om te zien. Kortom, er is een moment waarop iedereen zijn ware aard moet laten zien.

Is er een versie hiervan waarbij het resultaat echt goed is?

Ja, en daarom ben ik eigenlijk op een vreemde manier optimistisch. Er is hier dus duidelijk een alternatief. Als we AI-bedrijven gewoon gaan behandelen zoals elk ander bedrijf – en de bedrijfsamnestie laten vallen – zouden ze duidelijk zoiets als een klinische proef moeten doen voordat ze zoiets krachtigs uitbrengen en aan onafhankelijke experts laten zien dat ze weten hoe ze het moeten controleren. Dan krijgen we een gouden eeuw met al het goede van AI, zonder de existentiële angst. Dat is niet het pad dat we nu volgen. Maar het zou kunnen.