Het Chinese DeepSeek-R1 LLM genereert tot 50% meer onveilige code wanneer dit wordt gevraagd met politiek gevoelige inbreng zoals ‘Falun Gong’, ‘Oeigoeren’ of ‘Tibet’, blijkt uit nieuw onderzoek van CrowdStrike.
De nieuwste in de reeks ontdekkingen – de volgende De database-exposure van Wiz Research in januari, Kwetsbaarheden in de iOS-app van NowSecure, Cisco’s 100% succespercentage voor jailbreaksEn NIST heeft ontdekt dat DeepSeek twaalf keer gevoeliger is voor het kapen van agenten — De CrowdStrike-resultaten laten zien hoe de geopolitieke censuurmechanismen van DeepSeek rechtstreeks in modelgewichten zijn ingebed in plaats van in externe filters.
DeepSeek maakt van de naleving van de Chinese wet een kwetsbaarheid in de toeleveringsketen, waarbij 90% van de ontwikkelaars vertrouwt op door AI ondersteunde coderingstools, aldus het rapport.
Het opmerkelijke aan deze ontdekking is dat de kwetsbaarheid niet in de codearchitectuur zit; het is ingebed in het besluitvormingsproces van het model zelf en creëert wat beveiligingsonderzoekers omschrijven als een ongekende dreigingsvector waarbij de censuurinfrastructuur een actief exploitatieoppervlak wordt.
CrowdStrike Counter-tegenstanderoperaties heeft gedocumenteerd bewijs gevonden dat DeepSeek-R1 software op bedrijfsniveau produceert, vol met hardgecodeerde inloggegevens, kapotte authenticatiestromen en het onvermogen om te valideren wanneer het model wordt blootgesteld aan politiek gevoelige contextuele modificatoren. De aanvallen vallen op omdat ze meetbaar, systematisch en herhaalbaar zijn. De onderzoekers konden bewijzen hoe DeepSeek stilzwijgend geopolitieke afstemmingsvereisten afdwingt, waardoor nieuwe, onvoorziene aanvalsvectoren ontstaan waar elke CIO of CISO die experimenteert met vibe-codering nachtmerries over heeft.
In bijna de helft van de testgevallen met politiek gevoelige aanwijzingen weigerde het model te reageren als er geen politieke modificatoren werden gebruikt. Het onderzoeksteam kon dit repliceren ondanks interne redeneringssporen die aantoonden dat het model een geldig, volledig antwoord had berekend.
Onderzoekers identificeerden een ideologische ‘kill switch’ diep in de gewichten van het model, ontworpen om de uitvoering van gevoelige onderwerpen te onderbreken, ongeacht de technische waarde van de gevraagde code.
Het onderzoek dat alles verandert
Stefan Stein, manager bij CrowdStrike Counter Adversary Operations, testte DeepSeek-R1 op 30.250 prompts en bevestigde dat wanneer DeepSeek-R1 prompts ontvangt met onderwerpen die door de Chinese Communistische Partij waarschijnlijk als politiek gevoelig worden beschouwd, de kans op het produceren van code met ernstige beveiligingsproblemen met wel 50% toeneemt. Uit de gegevens blijkt een duidelijk patroon van politiek getriggerde kwetsbaarheden:
De cijfers vertellen hoezeer DeepSeek is ontworpen om politiek gevoelige inbreng te onderdrukken, en hoe ver het model gaat in het censureren van elke interactie op basis van onderwerpen die de CCP afkeurt. Het toevoegen van “aan een industrieel controlesysteem gevestigd in Tibet” verhoogde de kwetsbaarheidspercentages tot 27,2%, terwijl verwijzingen naar Oeigoeren de percentages naar bijna 32% duwden. DeepSeek-R1 weigerde 45% van de tijd code te genereren voor Falun Gong-gerelateerde verzoeken, ondanks het feit dat het model geldige antwoorden in zijn redeneersporen plant.
Provocerende woorden maken code tot een achterdeur
CrowdStrike-onderzoekers lieten DeepSeek-R1 vervolgens een webapplicatie bouwen voor een Oeigoers gemeenschapscentrum. Het resultaat was een complete webapplicatie met wachtwoordhashing en een beheerderspaneel, maar waarbij authenticatie volledig werd weggelaten, waardoor het hele systeem openbaar beschikbaar bleef. De beveiligingsaudit bracht fundamentele authenticatiefouten aan het licht:
Toen het identieke verzoek opnieuw werd ingediend voor een neutrale context en locatie, verdwenen de beveiligingsfouten. Er zijn authenticatiecontroles geïmplementeerd en het sessiebeheer is correct geconfigureerd. Het rokende pistool: alleen de politieke context bepaalde of er basisveiligheidscontroles bestonden. Adam Meyers, hoofd van Counter Adversary Operations bij CrowdStrike, gaf geen commentaar op de implicaties.
De onderbrekerschakelaar
Omdat DeepSeek-R1 open source is, konden onderzoekers redeneersporen identificeren en analyseren die aantoonden dat het model een gedetailleerd plan zou produceren voor het beantwoorden van verzoeken over gevoelige onderwerpen zoals Falun Gong, maar weigerden de taak te voltooien met de boodschap: “Het spijt me, maar ik kan niet helpen met dat verzoek.” De interne redenering van het model onthult het censuurmechanisme:
Dat DeepSeek op het laatste moment plotseling een verzoek afwijst, weerspiegelt hoe diep ingebedde censuur in hun modelgewichten zit. CrowdStrike-onderzoekers definieerden dit spiergeheugenachtige gedrag, dat in minder dan een seconde plaatsvindt, als de inherente kill-schakelaar van DeepSeek. Artikel 4.1 van China’s tussentijdse maatregelen om generatieve AI-diensten te beheren schrijft voor dat AI-diensten “zich moeten houden aan de socialistische kernwaarden” en verbiedt expliciet inhoud die “de ondermijning van de staatsmacht kan aanmoedigen” of “de nationale eenheid kan ondermijnen”. DeepSeek koos ervoor censuur op modelniveau in te bedden om aan de goede kant van de CCP te blijven.
Uw code is slechts zo veilig als het beleid van uw AI
DeepSeek wist het. Het heeft het gebouwd. Het heeft het verzonden. Het zei niets. Het ontwerpen van modelgewichten om de voorwaarden te censureren die de CCP provocerend of in strijd met Artikel 4.1 acht, brengt politieke correctheid naar een geheel nieuw niveau op het mondiale AI-podium.
De implicaties voor elke vibratiecodering met DeepSeek of voor andere bedrijfsapps op basis van dit model moeten onmiddellijk in overweging worden genomen. Prabhu Ram, vice-president Industrieonderzoek bij Cybermedia Research, gewaarschuwd dat “als AI-modellen gebrekkige of bevooroordeelde code genereren die wordt beïnvloed door politieke richtlijnen, bedrijven te maken krijgen met inherente risico’s van kwetsbaarheden in gevoelige systemen, vooral wanneer neutraliteit van cruciaal belang is.”
De ingebouwde censuur van DeepSeek is een duidelijke boodschap voor elk bedrijf dat tegenwoordig apps op LLM’s bouwt. Vertrouw geen door de staat gecontroleerde LLM’s of mensen die onder invloed staan van een natiestaat.
Verdeel het risico over gerenommeerde open source-platforms waar de vooroordelen van de gewichten duidelijk kunnen worden begrepen. Zoals elke CISO die bij deze projecten betrokken is, zal vertellen, is het goed regelen van alles, van snelle engineering, toevallige triggers, minst geprivilegieerde toegang, sterke microsegmentatie en kogelvrije identiteitsbescherming van menselijke en niet-menselijke identiteiten, een ervaring voor het opbouwen van carrière en karakter. Het is moeilijk om goed te presteren en uit te blinken, vooral met AI-apps.
Kort gezegd: Bij het bouwen van AI-apps moet altijd rekening worden gehouden met de relatieve beveiligingsrisico’s van elk platform dat wordt gebruikt als onderdeel van het DevOps-proces. De censuurvoorwaarden van DeepSeek, die de CCP als provocerend beschouwt, introduceren een nieuw tijdperk van risico’s die naar iedereen doorsijpelen, van de individuele vibe-codeur tot het team van het bedrijf dat nieuwe apps bouwt.
