- Thunderbolt 5-bandbreedte duwt externe GPU-hardware dichter naar het werkstationrijk
- Lokale AI-gevolgtrekking krijgt steeds meer aandacht nu de cloudkosten blijven stijgen
- Ontwikkelaars onderzoeken steeds vaker lopende taalmodellen rechtstreeks op persoonlijke hardware
Externe GPU-behuizingen bestaan al een tijdje – meestal geassocieerd met gaming-laptops en grafische versnellingstaken die de mogelijkheden van mobiele processors te boven gaan.
De onlangs uitgebrachte TBT5-AI van Plugable valt in deze categorie, maar introduceert een ontwerp dat is gericht op het verbinden van grafische hardware op desktops met laptops voor lokale AI-workloads.
De behuizing biedt een PCIe x16-slot over de volledige lengte waarmee gebruikers een grafische kaart van desktopklasse in de externe behuizing kunnen installeren.
Het artikel gaat hieronder verder
Hardware van desktopklasse in een externe behuizing
Een geïntegreerde voeding van 850 watt levert de energie die nodig is voor krachtig rijden GPU’s dat werkt normaal gesproken alleen op het bureaublad werkstations.
Voor connectiviteit wordt dit apparaat geleverd met een enkele Thunderbolt 5-kabel die directe verbinding mogelijk maakt met een draagbaaren ondersteunt tot 80 Gbps bidirectionele bandbreedte, terwijl een boost-modus de doorvoer kan verhogen tot 120 Gbps voor bepaalde werklasten.
In de behuizing verbindt deze bandbreedte de geïnstalleerde GPU via PCIe 4.0 x4-lanes, waardoor de knelpunten in de overdracht worden verminderd die eerdere externe GPU-ontwerpen beperkten.
Naast het huisvesten van de grafische kaart, fungeert het systeem als een hub die de verbinding met de aangesloten laptop verlengt.
Hij levert tot 96 watt laadvermogen en biedt tevens 2,5-gigabit Ethernet-netwerken en meerdere snelle USB-poorten.
Volgens Plugable willen veel ingenieurs steeds vaker de modelverwerking en het gegevensbeheer in hun eigen systemen houden, en TBT5-AI biedt precies dat, omdat het is ontworpen voor ontwikkelaars die experimenteren met lokale AI-inferentieomgevingen.
Op het apparaat kunnen ontwikkelaars draaien belangrijkste taalmodellen rechtstreeks op lokale hardware in plaats van werklasten naar de cloudinfrastructuur te sturen.
Het ondersteunt algemene lokale AI-frameworks, waaronder llama.cpp, Hugging Face-modellen en Nvidia’s NIM-inferentieplatform.
Plugable Chief Technology Officer Bernie Thompson zei dat de hardware gericht is op industrieën waar het beschermen van gevoelige informatie een strikte operationele vereiste blijft.
“Gegevensbescherming is geen functie, maar een mandaat”, aldus Thompson, verwijzend naar sectoren als de gezondheidszorg, financiële dienstverlening en juridische organisaties.
Plugable bereidt ook bedrijfsversies voor, genaamd TBT5-AI16, TBT5-AI32 en TBT5-AI96, die gebundelde grafische processors zullen bevatten.
Deze configuraties zullen een softwareomgeving integreren genaamd Plugable Chat, beschreven als een air-gapped AI-orkestratieplatform voor gereguleerde organisaties.
Het bedrijf beweert dat deze systemen de AI-verwerking zullen verplaatsen van op abonnementen gebaseerde clouddiensten naar lokaal beheerde computerinfrastructuur.
De Plugable TBT5-AI-behuizing, die als zelfstandige eenheid $ 599,95 kost, werd een paar dagen geleden officieel uitgebracht en is nu verkrijgbaar via Amazone en Plugable.com.
Via Macbronnen
Volg TechRadar op Google Nieuws En voeg ons toe als voorkeursbron om ons deskundig nieuws, recensies en meningen in uw feeds te krijgen. Klik dan zeker op de knop Volgen!
En jij kunt dat natuurlijk ook Volg TechRadar op TikTok voor nieuws, recensies, video-unboxings en ontvang regelmatig updates van ons WhatsAppen Ook.
