Voorbij capaciteitsbenchmarks: operationele vingerafdrukken van LLM-clouddiensten leren uit productie-incidentmetadata

arXiv:2608.26332v1 Aankondigingstype: nieuw Samenvatting: Beheerde LLM-diensten maken inmiddels deel uit van echte productiesystemen, maar modelselectie en serviceplanning leunen nog steeds sterk op capaciteitsbenchmarks die weinig prijsgeven over het operationele gedrag na uitrol. We presenteren Operational Embedding (OpEmbed), een raamwerk voor het leren van compacte operationele vingerafdrukken van LLM-clouddiensten uit gestructureerde, privacyvriendelijke metadata van supportcases, zonder de casetekst te gebruiken. OpEmbed aggregeert model-tijd- […]