Voorspellingsmarkten Kalshi en Polymarket zijn doorgedrongen tot het publieke bewustzijn en hebben toezicht gekregen van toezichthouders en politici. Ze spreken ook tot de verbeelding van gebruikers van sociale media, van wie sommigen bizarre beweringen doen dat ze rijk worden door te wijzen AI modellen in voorspellingsmarkten en het bankwezen.
Maar één nieuwe studie gepubliceerd in het archief van Cornell University suggereert arXiv dat het niet zo eenvoudig is.
Via de Prediction Arena-benchmark hebben onderzoekers van Arcada Labs zes grensverleggende AI-modellen getest door elk 57 dagen eerder dit jaar 10.000 dollar te geven om te handelen op voorspellingsmarkten en bij te houden hoe zij omgaan met realtime informatie en besluitvorming op platforms als Kalshi.
“We wilden de meest realistische evaluatie ter wereld van de vraag of modellen realtime beslissingen konden nemen”, zegt Grace Li, medeoprichter van Arcada Labs en co-auteur van het onderzoek.
Het doel was om te zien hoe AI kon omgaan met “realtime informatie, realtime beslissingen kon nemen en precies beloond kon worden voor de omvang van hoe tegenstrijdig hun beslissing is”, voegt Li toe.
De resultaten waren niet goed voor uw 401(k)s. Binnen deze periode verloor elk model geld, tussen 16% en 30,8% op Kalshi, hoewel de modellen over een korter tijdsbestek minder verloren op Polymarket. Li gelooft dat de kloof te maken kan hebben met de manier waarop de systemen mochten werken: modellen zouden in een breder universum van markten op Polymarket kunnen zoeken versus een gestandaardiseerde set op Kalshi.
Bij Polymarket “hebben de modellen toegang tot handel op elke markt”, zegt ze, terwijl ze bij Kalshi “beginnen met slechts een set van 26 omdat we de markten expliciet moesten vermelden.” Achteraf gezien, voegt Li eraan toe, “realiseerden we ons niet hoe groot de impact zou zijn als we de modellen vrije uitloop zouden geven om hun eigen markten te kiezen.”
Daarom is ze van mening dat de berichten op sociale media die kraaien over grote rendementen hun impact misschien niet overschatten.
Li legt uit dat bij Polymarket “op dit moment (LLM-handel) feitelijk de hype waargemaakt wordt”, wijzend op recente interne runs waarbij “Opus 4.6 onlangs een aantal fenomenale transacties deed.”
Maar ze zegt dat zelfs deze successen geen bewijs zijn van plannen om snel rijk te worden, maar eerder een bewijs van waartoe steeds autonomere modellen binnenkort in staat zullen zijn. “We stellen ons voor dat de modellen in de loop van de tijd gestaag verbeteren en de menselijke basislijn inhalen”, zegt ze, “totdat AI-hedgefondsen de norm worden.”
Toch is dat niet waar ze het meest in geïnteresseerd is om erachter te komen. “We zijn minder geïnteresseerd in wat de absolute economische winst is van deze mogelijkheid en meer geïnteresseerd in wat deze extra intelligentie-eenheid voor de mensheid betekent”, zegt ze.
