Verantwortlichkeitsmatrix - LLMaaS

Dies ist die RACI-Matrix zur Aufteilung der Verantwortlichkeiten zwischen dem Kunden und Cloud Temple für die Nutzung der LLM as a Service (LLMaaS)-Plattform.

Definition der verschiedenen Rollen

Hier werden die verschiedenen Rollen des RACI noch einmal erläutert:

Rolle	Beschreibung
(R) Durchführt	__D__urchführt den Prozess
(A) Genehmigt	__G__enehmigt die Durchführung des Prozesses
(C) Konsultiert	__K__onsultiert während des Prozesses
(I) Informiert	__I__nformiert über die Ergebnisse des Prozesses

Definieren Sie Ihre Anforderungen

Aktivität	Kundenrolle	Cloud Temple-Rolle
Validieren, dass der LLMaaS-Service den Anforderungen der Anwendung entspricht	RA	CI
Service abonnieren und eine Abrechnungsebene auswählen	RA	I

Service implementieren

Aktivität	Kundenrolle	Cloud Temple-Rolle
Betrieb der LLMaaS-Plattform (API, GPU) gewährleisten	I	RA
Sicherheit der LLMaaS-Plattform gewährleisten	I	RA
Verwaltung von API-Zugriffsschlüsseln (Erstellung, Rotation, Widerruf)	RA
Entwicklung und Wartung des Codes der Client-Anwendung	RA

Wiederkehrende Operationen

Tätigkeit	Kundenrolle	Cloud Temple-Rolle
Verfügbarkeit der LLMaaS-API gewährleisten	I	RA
Funktionstüchtigkeit der Plattform und der Modelle überwachen	I	RA
Incidents auf der LLMaaS-Plattform verwalten	I	RA
Probleme auf der LLMaaS-Plattform verwalten	I	RA
Kapazität der GPU-Infrastruktur verwalten	I	RA
Modellentwicklungen verwalten (Hinzufügung, Deprecation)	C, I	RA
Verbrauch und Abrechnung nachverfolgen	RA	I

Sicherheitsmanagement

Aufgabe	Kundenrolle	Rolle Cloud Temple
Absichern der physischen Infrastruktur und der LLMaaS-Plattform	I	RA
Verwalten der Zugriffsrechte und Berechtigungen der Endanwender der Anwendung	RA
Absichern der an die API gesendeten Daten und Prompts	RA	C
Gewährleistung der Vertraulichkeit der von den Modellen verarbeiteten Daten	R	A
Sicherstellung der Konformität der Endanwendung (RGPD, etc.)	RA	I

Geschäftskontinuität

Aktivität	Rolle Kunde	Rolle Cloud Temple
Sicherstellung der Geschäftskontinuität der LLMaaS-Plattform	I	RA
Sicherstellung der Datensicherung der Kundenanwendung	RA
Aufrechterhaltung des Geschäftskontinuitätsplans für die Kundenanwendung	RA

Reversibilität

Aktivität	Kundenrolle	Cloud-Tempel-Rolle
Umsetzung des Reversibilitätsprojekts (Planung, Tools, Ziele)	RA	C
Exportieren der Daten und des Codes der Client-Anwendung	RA
Löschen der API-Schlüssel und des Dienstzugriffs	RA