AI-Proxy experimental@2.4.0

Der AI-Proxy vermittelt die Anfragen des Werkzeugs TerratwinAI (Chatbot) an den KI-Dienst. Über die Datei ai_proxy.json steuern Sie die Nutzungskontingente (Token-Budgets) je Portal-Gruppe.

Das Ziel des Proxys und die TLS-Einstellungen sind aus Sicherheitsgründen fest hinterlegt und nicht über die Konfigurationsdatei änderbar.

- - - - ai_proxy.json

Beispielkonfiguration


{
	"rateLimits": [
		{
			"groupId": "anonymous",
			"description": "anonymous",
			"perMinute": 5000,
			"perHour": 20000,
			"perDay": 100000
		},
		{
			"groupId": "org",
			"description": "authenticated users",
			"perMinute": -1,
			"perHour": 50000,
			"perDay": 1000000,
			"perMonth": 10000000
		},
		{
			"groupId": "b165caaef55341a56c655b0e378861f6",
			"description": "poweruser",
			"perMinute": -1,
			"perHour": -1,
			"perDay": 5000000,
			"perMonth": 50000000
		}
	]
}

Parameter

Eigenschaft	Typ	Beschreibung
`rateLimits`	Array	Liste von Token-Budgets je Portal-Gruppe. Siehe Details zu `rateLimits`

Details zu `rateLimits`

Eigenschaft	Typ	Beschreibung
`groupId` required	String	Gruppen-Id im primären Portal oder eines der Schlüsselwörter `org` bzw. `anonymous`. `org` greift als Auffangregel für angemeldete Benutzer, die keiner der übrigen hier konfigurierten Gruppen angehören; `anonymous` gilt für nicht angemeldete Benutzer
`description`	String	Beschreibung der Gruppe zur besseren Lesbarkeit der Konfiguration.
`perMinute`	Integer	Token-Budget pro Minute. Siehe Werte der Token-Budgets
`perHour`	Integer	Token-Budget pro Stunde. Siehe Werte der Token-Budgets
`perDay`	Integer	Token-Budget pro Tag. Siehe Werte der Token-Budgets
`perMonth`	Integer	Token-Budget pro Monat. Siehe Werte der Token-Budgets

Werte der Token-Budgets

Wert	Bedeutung
`>0`	Maximal zulässige Token in diesem Zeitfenster.
`-1`	Unbegrenzt - das Zeitfenster wird nicht geprüft.
ohne Angabe	Die Gruppe gibt für dieses Zeitfenster kein Budget vor.

Die Zeitfenster werden in der Reihenfolge perMinute, perHour, perDay, perMonth geprüft. Das erste überschrittene Fenster bestimmt, wie lange der Benutzer warten muss.

Ermittlung der zutreffenden Gruppen

Maßgeblich sind ausschließlich die Portal-Gruppen des Benutzers, die in rateLimits konfiguriert sind:

Trifft mindestens eine konfigurierte Gruppen-Id zu, gelten nur diese Einträge. org wird in diesem Fall nicht zusätzlich herangezogen.
Trifft keine konfigurierte Gruppen-Id zu, gilt für angemeldete Benutzer der Eintrag org, für nicht angemeldete der Eintrag anonymous.

Dadurch lassen sich einzelne Gruppen gezielt strenger begrenzen als die Allgemeinheit: Ein Mitglied von b165caaef55341a56c655b0e378861f6 wird nur nach diesem Eintrag bewertet, unabhängig davon, wie großzügig org konfiguriert ist.

Ist weder eine passende Gruppe noch org bzw. anonymous konfiguriert, greift keine Begrenzung. Legen Sie daher immer einen Eintrag für org und anonymous an.

Mehrfache Gruppenzugehörigkeit

Gehört ein Benutzer zu mehreren konfigurierten Portal-Gruppen, gilt je Zeitfenster das größte Budget:

-1 in einer dieser Gruppen setzt sich immer durch - der Benutzer ist für dieses Zeitfenster unbegrenzt.
Eine Gruppe ohne Angabe hebt kein Limit auf: Die Budgets der übrigen zutreffenden Gruppen bleiben wirksam. Nur wenn keine der zutreffenden Gruppen das Zeitfenster angibt, gilt es als unbegrenzt.