Baseten

Baseten dokumentiert „regionale Umgebungen“, die den Inferenz-Datenverkehr auf eine bestimmte geografische Region beschränken und direkt an Infrastruktur in der vorgesehenen Region weiterleiten. Darüber hinaus bewirbt Baseten Self-Hosted-/Hybrid-Bereitstellungen dahingehend, dass Bereitstellungen ausschließlich in US- und EU-Rechenzentren unterstützt werden und Modelldaten die Cloud des Kunden niemals verlassen; eine Primärquellen-Garantie dafür, dass Baseten Cloud standardmäßig für alle Dienste eine ausschließlich EU-basierte Verarbeitung anbietet, konnte jedoch nicht gefunden werden.

Baseten gibt an, Modell-Eingaben, -Ausgaben oder -Gewichte standardmäßig nicht zu speichern. Eingaben für asynchrone Inferenz werden vorübergehend gespeichert, bis sie verarbeitet sind; Ausgaben werden niemals gespeichert; Modellgewichte werden direkt in den GPU-Speicher geladen, wobei optionales Caching auf Anfrage dauerhaft gelöscht werden kann. Laut der Datenschutzerklärung auf der Website werden personenbezogene Daten nur so lange gespeichert, wie es für die angegebenen Zwecke erforderlich ist, und Nutzungsdaten werden im Allgemeinen für einen kürzeren Zeitraum gespeichert, sofern sie nicht für Sicherheit/Funktionalität oder zur Erfüllung rechtlicher Verpflichtungen benötigt werden.

Baseten erklärt, man sei „im Geschäft der Bereitstellung von ML-Inferenz-Infrastruktur, nicht der Nutzung von Kundendaten“, und dokumentiert gesondert, dass Modell-Eingaben, -Ausgaben oder -Gewichte standardmäßig nicht gespeichert werden.