Was ist eigentlich «Scoring»?
Unter «Scoring» versteht man ein systematisches Bewertungsverfahren, bei dem verschiedene Kriterien mit Punkten bewertet und zu einer Gesamtnote zusammengefasst werden.
Eingesetzt wird diese Verfahren dort, wo man Bewertungen und Vergleiche auf eine objektive und nachvollziehbare Grundlage stellen möchte. Statt «aus dem Bauch heraus» wird anhand von Zahlen entschieden.
In aller Regel nimmt man als Grundlage eine Liste von Kriterien, die für die gewünschte Bewertung oder den angestrebten Vergleich relevant sind. Da meist nicht alle Kriterien gleich wichtig sind, gibt man zu jedem Kriterium an, wie wichtig es ist, das nennt man «Gewichtung». Die Gewichtung wird immer in Prozent beziehungsweise als Dezimalzahl zwischen 0.0 und 1.0 angegeben und es wird darauf geachtet, dass die Summe aller Gewichtungen 100% (1.0) ist.
Wenn die Liste steht, geht man sie durch und überprüft für jedes Kriterium, wie gut es erfüllt wird. Dies geschieht mit Punkten oder Prozentangaben, zum Beispiel 4 von 5 Punkten. Die vergebene Punktzahl wird sodann mit der Gewichtung des betreffenden Kriteriums multipliziert, das ist der gewichtete Score.
Am Ende werden die gewichteten Scores addiert, und man erhält den Gesamtscore.
Ein einfaches Beispiel:
Wir möchten bestimmen, wie vertrauenswürdig eine eingegangene E-Mail ist. Unsere Kriterien lauten:
Frage 1: Wie vertrauenswürdig ist der Absender?
- 0 Punkte: Völlig unbekannter Absender mit verdächtiger Domain (z.B. zufällige Buchstaben/Zahlen)
- 1 Punkt: Unbekannter Absender mit unbekannter Domain (z.B. Juan Voo, jvoo@qwerty.wk)
- 2 Punkte: Unbekannter Absender, aber bekannte Domain (z.B. mmuster07898@yahoo.com)
- 3 Punkte: Bekannter Name, aber leicht abweichende Domain (z.B. martin.muster@meine-bank.com statt .ch)
- 4 Punkte: Bekannter Absender mit korrekter Domain (z.B. martin.muster@meine-bank.ch)
- 5 Punkte: Persönlich bekannter Absender mit verifizierten Kontaktdaten
Frage 2: Wie vertrauenserweckend wirkt der Betreff (Subject)?
- 0 Punkte: Mehrere Spam-typische Wörter ("DRINGEND!!!", "Sofrtgewinn", "Manneskraft", ALLES IN GROSSBUCHSTABEN)
- 1 Punkt: Ein einzelnes eindeutig verdächtiges Schlüsselwort ("Wichtig!")
- 2 Punkte: Möglicherweise verdächtige Begriffe ("Aktion", "Angebot")
- 3 Punkte: Neutrale, aber unspezifische Betreffzeile
- 4 Punkte: Sachlicher, spezifischer Betreff
- 5 Punkte: Professioneller Betreff, der zum erwarteten Kontext passt
Frage 3: Ist der Nachrichtentext sinnvoll, glaubwürdig und seriös?
- 0 Punkte: Klick auf verdächtigen Link oder Download gefordert
- 1 Punkt: Klick auf Link zu unbekannter Website
- 2 Punkte: Anruf bei unbekannter Nummer gefordert
- 3 Punkte: Einsenden von persönlichen Daten per E-Mail gefordert
- 4 Punkte: Aufforderung zum Anruf bei bekannter/offizieller Nummer
- 5 Punkte: Keine Aufforderung zur Kontaktaufnahme oder nur Bestätigung
Bei der Gewichtung setze ich fest: der Absender ist am wichtigsten und erhält 50% Gewicht, der Haupttext ist am zweitwichtigsten und erhält 30% Gewicht, für den Betreff bleiben somit 20%.
Mit diesen Kriterien und Gewichtungen untersuche ich nun meine Mail. Sie lautet:
To: <ich@example.com>
From: Martin Muster <martin-muster@meine-bank.com>
Subject: Terminvereinbarung
Sehr geehrter Herr X,
Die Bankenaufsicht verlangt, dass wir mit jedem unserer Kunden persönlich sprechen, um seine Identität sicher feststellen zu können.
Gerne würden wir deshalb mit Ihnen einen Termin abmachen, um dieser Verpflichtung nachzukommen.
Zur Terminvereinbarung steht Ihnen unsere Gratisnummer 0800 1234567 zur Verfügung.
Wir bitten Sie, sich bis Ende des Monats bei uns zu melden.
Freundliche Grüsse
Martin Muster
Kundenberater
Meine Antworten auf die drei Fragen sind in folgender Tabelle zusammengestellt:
| Frage | Punkte | Gewicht | Gew. Score | Begründung |
|---|---|---|---|---|
| 1 | 3 | 0.5 | 1.5 | bekannter Name, aber .com statt .ch |
| 2 | 5 | 0.2 | 1.0 | professioneller, passender Betreff |
| 3 | 2 | 0.3 | 0.6 | unbekannte Nummer |
| Gesamtscore | 3.1 | |||
Mit 3.1 liegen wir etwas über der Hälfte des Höchstwerts (5). Das bedeutet: völlig vertrauenswürdig ist die Mail nicht, und ich werde besser zuerst die Bank unter einer mir bekannten Nummer anrufen, um zu verifizieren, dass das Schreiben echt ist.
Ausführlichere Beispiele
Das Beispiel ist bewusst sehr simpel gehalten. In der Realität hat man es mit weitaus komplexeren Zusammenhängen zu tun.
Unter Google Doc mit ausführlichem Fragenkatalog zum E-Mail-Scoring habe ich den Versuch unternommen, ein realitisches E-Mal-Scoring aufzustellen. Dazu gibt es ein ein Google Spreadsheet zur Berechnung von Scores.
Ausserdem habe ich auf Github > calyaconsult > email-scoring den Quellcode für eine HTML-Applikation hinterlegt, die den Fragenkatalog interaktiv macht und eine direkte Berechnung des gewichteten wie auch des ungewichteten Scores erlaubt.
Wichtig: es ist erforderlich, sich in diese Materie gründlich einzuarbeiten, um zu verstehen, wie ein Scoring zustandekommt und was es aussagt.
Erst wenn man die Materie soweit gemeistert hat, sollte man den Zauberstab schwingen, der einem heute zur Verfügung steht: Scoring mit Unterstützung durch KI. Statt jede einzelne E-Mail «von Hand» zu bewerten, kann man die E-Mail als .txt oder .eml Datei herunterladen und einem Large Language Model (LLM) zur Analyse übergeben. Der zugehörige Prompt könnte lauten:
Analysiere den E-Mail-Originaltext und bestimme den Spam- und Phishing-Score.
Hinweis zur Sicherheit: Komplette E-Mails einem LLM zu übergeben ist nicht ohne Risiko, denn E-Mails enthalten Informationen, die einen Rückschluss auf die Person des Empfängers zulassen. Vor dem Upload sollten deshalb Name des Empfängers, E-Mailadresse und andere Angaben mit Personenbezug sowie IP-Adressen und Hostnamen anonymisiert werden. Bei Mails von bekannten und vertrauenswürdigen Absendern müssen auch alle Absenderangaben anonymisiert werden.
Für einen schnellen Check reicht es, wenn man den anonymisierten Mail Header (alles vom Anfang bis zur ersten Leerzeile) analysieren lässt.