chrille@linux:~$ apt show gomodel
GoModel
GoModel är en AI-gateway skriven i Go som ger dig ett enhetligt OpenAI-kompatibelt API för flera leverantörer, kostnadsuppföljning, budgetar och en adminpanel där du ser användningen.
GoModel är en gateway för språkmodeller som samlar flera leverantörer bakom ett enda OpenAI-kompatibelt API. Du kan fördela trafik mellan modeller, sätta budgetar, följa kostnader i realtid och aktivera cachning samt skyddsregler. Adminpanelen ger översikt över användning och utgifter. Perfekt för företag eller utvecklare som vill ha kontroll över LLM-kostnader och slippa låsa in sig hos en enda leverantör. Du ser var pengarna tar vägen och kan styra trafiken dit den är billigast eller bäst. Det är skrivet i Go och är snabbt och lätt att driftsätta.
MER UR AI & LLM
