Direkte Antwort
Selection Delta misst den Auswahlunterschied nach einer definierten Datenänderung.
Bei gleicher Kundenfrage, gleichem Katalogausschnitt und möglichst gleichem Testaufbau wird verglichen, welche Produkte vorher und nachher qualifiziert, ausgeschlossen oder anders begründet werden. Der Trace ordnet die Änderung den zusätzlich bereitgestellten Fakten, Relationen oder Regeln zu.
Das ist mehr als Sichtbarkeit: Ein Produkt kann erwähnt werden, obwohl es nicht passt. Umgekehrt kann eine Datenverbesserung die Qualität erhöhen, indem ein ungeeignetes Produkt korrekt ausgeschlossen wird. Beide Veränderungen sind ein relevantes Selection Delta.
Ein vereinfachtes Beispiel
Die rechte Seite ist nicht automatisch besser – sie muss begründbarer sein.
„Kooperativ für fünf, unter 60 Minuten“
+ PX-Fit
+ Edition
Gleiche Frage, gleicher Katalog
Illustration, kein Ergebnis eines realen Händlerlaufs. Ein echter Delta-Trace enthält Produkt-IDs, Quellen, Prompt-/Modellstand, Review und Aussagegrenze.
Kostenbewusst testen
Ein kontrafaktischer Trace braucht keine hundert Anfragen pro Produkt.
Wir testen nicht jedes Produkt isoliert. Stattdessen arbeiten wir mit einer kleinen, repräsentativen Stichprobe aus Kundenfragen, Produktrollen und Datenlücken. Für jede Frage entstehen zwei kontrollierte Bedingungen:
| Konstante | Bedingung A | Bedingung B |
|---|---|---|
| Kundenfrage | identisch | identisch |
| Produktauswahl und Commerce-Daten | identisch | identisch |
| Agent, Prompt und Parameter | eingefrorener Stand | derselbe Stand |
| Decision Data | nicht enthalten | klar abgegrenztes Datenpaket enthalten |
| Review | fachlich gegen Wahrheit geprüft | mit derselben Rubrik geprüft |
Weil generative Modelle variieren können, bleibt ein einzelner Lauf zunächst richtungsweisend. Wiederholungen werden dort eingesetzt, wo die erste Beobachtung entscheidungsrelevant oder instabil ist – nicht pauschal über den ganzen Katalog.
Was der Trace sichtbar macht
Vier Arten von Auswahlverbesserung.
Neue Qualifizierung
Ein vorher nicht berücksichtigtes Produkt erfüllt nun nachweisbar die notwendigen Bedingungen.
Korrigierter Ausschluss
Ein scheinbar passendes Produkt scheidet wegen Edition, Abhängigkeit, Spielerzahl oder anderer harter Grenze aus.
Bessere Begründung
Die Auswahl bleibt gleich, ist aber auf konkrete Quellen und Fit-Signale zurückführbar.
Weniger Erfindung
Unbelegte Aussagen werden durch Unknown, Rückfrage oder sicheren Fallback ersetzt.
Kein Händler-Ranking: Selection Delta bewertet die Wirkung einer Datenänderung auf einen definierten Entscheidungsfall. Es ist keine universelle Rangliste von Shops, Produkten oder Agenten.
Die ehrliche Wirkungskette
Auswahlqualität ist näher am Geschäft – aber noch nicht Umsatz.
Ein verbessertes Selection Delta belegt zunächst die vorgelagerte Auswahlwirkung. Für kommerzielle Aussagen braucht es zusätzlich Aktivierungslogs, zeitlich dokumentierte Änderungen, passende Vergleichsgruppen und die Kontrolle von Preis, Bestand, Promotions, Saison und Nachfrage. Ohne diesen Aufbau sprechen wir von Richtungssignalen, nicht von kausalem Mehrumsatz.
Kurz beantwortet
Häufige Fragen
Ist Selection Delta dasselbe wie Share of Answer?
Nein. Share of Answer misst, wie häufig ein Anbieter oder Produkt in Antworten vorkommt. Selection Delta untersucht, welche konkrete Datenänderung eine Qualifizierung, einen Ausschluss oder eine Begründung verändert.
Wie groß muss ein erster Test sein?
So klein wie möglich und so groß wie nötig: typischerweise wenige priorisierte Intents mit bewusst gewählten Positiv-, Gegen- und Relationsfällen. Erst instabile oder wichtige Befunde erhalten zusätzliche Wiederholungen.
Kann ein Delta negativ sein?
Ja. Wenn zusätzliche Daten ungeeignete Produkte ausschließen, sinkt möglicherweise die Zahl der Empfehlungen und die Entscheidungsqualität steigt trotzdem. Ein unerwarteter schlechterer Fit kann außerdem einen Fehler im Datenpaket aufdecken.
Decision Data Audit
Miss nicht nur, ob Du vorkommst. Miss, warum sich die Auswahl ändert.
Wir frieren Fragen, Katalogausschnitt und Datenbedingungen ein und liefern einen nachvollziehbaren Selection-Delta-Trace mit fachlicher Aussagegrenze.
Selection Delta besprechenAussagegrenze: Selection Delta ist ein Shelfkind-Messansatz für kontrollierte Auswahlvergleiche. Ein Vorher-Nachher-Unterschied ist ohne geeignete Wiederholung, Vergleichsgruppe und Confounder-Kontrolle kein kausaler Umsatznachweis.