LLM Harbor

LLM Harbor paketerar stora språkmodeller och tillhörande tjänster i containrar så att du kan köra allt lokalt eller på en egen server. Du startar backendar som Ollama eller vLLM, lägger till en chattfrontend och kopplar in hjälptjänster med ett fåtal kommandon. Det passar den som vill experimtera med flera modeller utan att manuellt installera beroenden. Allt körs via Docker, så uppsättningen blir återupprepningsbar. För den som vill ha en lokal LLM-lab är det här en smidig ingång. Du kan byta modeller och tjänster utan att pilla med systempaket.