- Thunderbolt 5-bandbreedte duwt externe GPU-hardware dichter naar het werkstationrijk
- Lokale AI-gevolgtrekking krijgt steeds meer aandacht nu de cloudkosten blijven stijgen
- Ontwikkelaars onderzoeken steeds vaker lopende taalmodellen rechtstreeks op persoonlijke hardware
Externe GPU-behuizingen bestaan al een tijdje – meestal geassocieerd met gaming-laptops en grafische versnellingstaken die de mogelijkheden van mobiele processors te boven gaan.
De onlangs uitgebrachte TBT5-AI van Plugable valt in deze categorie, maar introduceert een ontwerp dat is gericht op het verbinden van grafische hardware op desktops met laptops voor lokale AI-workloads.
De behuizing biedt een PCIe x16-slot over de volledige lengte waarmee gebruikers een grafische kaart van desktopklasse in de externe behuizing kunnen installeren.
Het artikel gaat hieronder verder
Hardware van desktopklasse in een externe behuizing
Een geïntegreerde voeding van 850 watt levert de energie die nodig is om krachtige GPU’s te laten draaien die normaal gesproken alleen in desktopwerkstations zouden functioneren.
Voor connectiviteit wordt dit apparaat geleverd met een enkele Thunderbolt 5-kabel, die directe verbinding met een laptop mogelijk maakt en tot 80 Gbps bidirectionele bandbreedte ondersteunt, terwijl een boost-modus de doorvoer voor bepaalde werklasten kan verhogen tot 120 Gbps.
In de behuizing verbindt deze bandbreedte de geïnstalleerde GPU via PCIe 4.0 x4-lanes, waardoor de knelpunten in de overdracht worden verminderd die eerdere externe GPU-ontwerpen beperkten.
Naast het huisvesten van de grafische kaart, fungeert het systeem als een hub die de verbinding met de aangesloten laptop verlengt.
Hij levert tot 96 watt laadvermogen en biedt tevens 2,5-gigabit Ethernet-netwerken en meerdere snelle USB-poorten.
Volgens Plugable willen veel ingenieurs steeds vaker de modelverwerking en het gegevensbeheer in hun eigen systemen houden, en TBT5-AI biedt precies dat, omdat het is ontworpen voor ontwikkelaars die experimenteren met lokale AI-inferentieomgevingen.
Met het apparaat kunnen ontwikkelaars grote taalmodellen rechtstreeks op lokale hardware uitvoeren in plaats van werklasten naar de cloudinfrastructuur te sturen.
Het ondersteunt algemene lokale AI-frameworks, waaronder llama.cpp, Hugging Face-modellen en Nvidia’s NIM-inferentieplatform.
Plugable Chief Technology Officer Bernie Thompson zei dat de hardware gericht is op industrieën waar het beschermen van gevoelige informatie een strikte operationele vereiste blijft.
“Gegevensbescherming is geen functie, maar een mandaat”, aldus Thompson, verwijzend naar sectoren als de gezondheidszorg, financiële dienstverlening en juridische organisaties.
Plugable bereidt ook bedrijfsversies voor, genaamd TBT5-AI16, TBT5-AI32 en TBT5-AI96, die gebundelde grafische processors zullen bevatten.
Deze configuraties zullen een softwareomgeving integreren genaamd Plugable Chat, beschreven als een air-gapped AI-orkestratieplatform voor gereguleerde organisaties.
Het bedrijf beweert dat deze systemen de AI-verwerking zullen verplaatsen van op abonnementen gebaseerde clouddiensten naar lokaal beheerde computerinfrastructuur.
De Plugable TBT5-AI-behuizing, die als zelfstandige eenheid $ 599,95 kost, werd een paar dagen geleden officieel uitgebracht en is nu verkrijgbaar via Amazon en Plugable.com.
Via Macsource
Volg TechRadar op Google Nieuws En voeg ons toe als voorkeursbron om ons deskundig nieuws, recensies en meningen in uw feeds te krijgen. Klik dan zeker op de knop Volgen!
En jij kunt dat natuurlijk ook Volg TechRadar op TikTok voor nieuws, recensies, video-unboxings en ontvang regelmatig updates van ons WhatsAppen Ook.
