Hoe Anthropic de Managed Agents-infrastructuur bouwde

Anthropic publiceerde de engineering-architectuur achter Managed Agents, waarbij sessielogs, inference-harnassen en execution-sandboxes in onafhankelijk schaalbare componenten worden gescheiden. Het ontwerp behandelt harnassen als stateless en containers als wegwerpbaar - wanneer iets crasht, pakt een nieuwe instantie op vanaf een append-only event log zonder vooruitgang te verliezen. Credentials komen nooit in sandboxes; OAuth-tokens zitten in externe vaults en worden geïnjecteerd via proxies. De prestatiewinst was significant: p50 time-to-first-token daalde 60 procent, p95 meer dan 90 procent, omdat inference niet meer wacht op container-provisioning. De architectuur leent sterk van OS-niveau virtualisatiedenken, en de parallellen met hoe Kubernetes compute van state ontkoppelde voelen bewust. Dit is een van de meest gedetailleerde publieke beschrijvingen onder AI-labs van hoe de onderliggende infrastructuur echt werkt.