Hallo Ihr Lieben,
ich habe vor ein paar Tagen meine Grafik Karte aktualisiert um die neuesten Sprachmodelle wie z.B. Llama 3 oder Mistral 7B über das Programm Ollama selbst im lokalen Netzwerk zu hosten.
Aktuell verwende ich dazu eine Ubuntu Instanz. Die Ports wurden in der Firewall von Ubuntu...