KI-Prognosen im Rücktest: Was wusste die Disposition um zehn?

Eine nachträglich korrigierte Aktion kann eine Prognose besser aussehen lassen. So testen Sie Bestellvorschläge mit dem Wissensstand am Bestellschluss.

Der Aktionstermin stand im Planungssystem auf Dienstag. Zumindest steht er heute dort. Als die Disponentin am Montagmorgen bestellte, war noch Mittwoch eingetragen. Testet ein Entwicklungsteam sein neues Prognosemodell mit dem heutigen Datenexport, trifft es den Nachfrageanstieg vielleicht erstaunlich gut. Im echten Bestellfenster hätte ihm ausgerechnet diese Information gefehlt. Für die Abnahme einer KI-Prognose braucht es deshalb eine Möglichkeit, den damaligen Arbeitstag nachzuspielen.

Nehmen wir als durchgehendes Beispiel die Bestellung frischer Ware für eine Filiale. Der Bezug zur Praxis ist die Warenwirtschaft in der Lebensmittelbranche, für die unser Venture Deepico Cloud-ERP entwickelt. Der folgende Testaufbau ist ein Vorschlag für ein Planungsteam. Er beschreibt weder eine installierte Prognosefunktion noch Ergebnisse eines Kunden. Zum Branchenkontext

Den Bestellschluss als Grenze ziehen

Schreiben Sie einen Satz, den Disposition und Entwicklung unterschreiben können: «Montags um 10 Uhr Ortszeit schlagen wir die Bestellmenge für den Wareneingang am Dienstag vor.» Damit sind Zeitpunkt, Horizont und Handlung festgelegt. Eine Prognose am Montagabend kann fachlich wertvoll sein, beantwortet aber eine andere Frage, wenn der Lieferant seine Tour bereits disponiert hat.

Jeder Testfall bekommt eine Artikelnummer, einen Standort und einen Bestellschluss mit Zeitzone. Speichern Sie bei jeder verwendeten Information, auf welchen Tag sie sich bezieht und ab wann das Planungssystem sie tatsächlich kannte. Ein Abverkauf am Sonntag kann erst am Montagmittag aus der Kasse eintreffen. Er gehört dann zur Absatzhistorie des Sonntags, steht aber für den Test am Montag um 10 Uhr nicht zur Verfügung. Dieselbe Prüfung gilt für korrigierte Bestände und verschobene Aktionen.

Lässt sich ein damaliger Stand nicht belegen, kennzeichnen Sie die Lücke. Beginnen Sie für diese Datenquelle ab heute mit datierten Kopien oder einem Änderungsprotokoll. Ein ehrlicher Test mit kürzerer Historie sagt mehr über die Einsatzreife aus als eine jahrelange Rückschau mit Informationen aus der Zukunft.

Drei Vorschläge für denselben Warenkorb

Erzeugen Sie für jeden Bestellschluss drei Mengen: den damals freigegebenen Vorschlag der Disposition, eine einfache Regel und die Prognose des Kandidaten. Bei täglicher Planung mit Wochenrhythmus eignet sich als Startregel der Absatz des gleichen Wochentags der Vorwoche, sofern die Ware damals verfügbar war. Halten Sie die Rundung auf Gebinde und die Behandlung des Restbestands konstant. Sonst gewinnt am Ende womöglich die bessere Rundungsregel, und das Team schreibt den Effekt der KI zu.

Gehen Sie die Stichtage in zeitlicher Reihenfolge durch. Für jeden Stichtag darf das Modell nur auf früher verfügbaren Beobachtungen trainiert sein. Auch die Auswahl seiner Einstellungen braucht diese Grenze. Reservieren Sie einen späteren, zusammenhängenden Zeitraum für die abschliessende Prüfung und lassen Sie ihn bis dahin unberührt. Dieses Vorgehen knüpft an die Zeitreihenvalidierung mit wanderndem Prognoseursprung an. Methodik und Vergleichsverfahren

Wenn der letzte Verkauf die Nachfrage verdeckt

Eine Filiale hat um 15 Uhr die letzte Kiste verkauft. Im Tagesabschluss stehen 30 verkaufte Kisten. Ob Kunden danach weitere fünf kaufen wollten, ist offen. Wenn die Prüfung 30 als vollständige Nachfrage behandelt, kann ausgerechnet jener Vorschlag gewinnen, der die Filiale früh ausverkauft hätte. Markieren Sie Tage mit nachgewiesenen Bestandslücken separat. Gibt es Aufzeichnungen abgewiesener Bestellungen, dokumentieren Sie, welchen Teil der fehlenden Nachfrage sie abdecken.

Für die erste Auswertung genügen drei Ansichten. Zeigen Sie die Abweichungen für Tage mit belegter Verfügbarkeit, die Zahl der ausgeschlossenen oder unsicheren Tage und die Ergebnisse während Aktionen. Der Anteil unbekannter Fälle gehört direkt neben das Resultat. Betrifft die Lücke gerade die Artikel mit den grössten Verlusten, ist das ein Auftrag an die Datenerfassung. Eine Hochrechnung auf das ganze Sortiment wäre verfrüht.

Die Prüfarbeit mitrechnen

Ein Modell kann engere Mengenvorschläge liefern und dennoch mehr Zeit der Disposition beanspruchen. Protokollieren Sie deshalb im begleitenden Probelauf, wie oft jemand einen Vorschlag öffnen muss, wie lange die Klärung dauert und aus welchem Grund die Menge geändert wird. Ein fehlendes Gebindegewicht ist ein anderer Befund als eine falsch eingeschätzte Aktion. Der erste führt zur Stammdatenpflege, der zweite zur Prüfung der Prognose.

Ein ausdrücklich hypothetisches Wochenbeispiel macht die Grössenordnung greifbar. Von 120 Vorschlägen brauchen 24 jeweils fünf Minuten Prüfung. Das sind zwei Stunden pro Woche. Bei angenommenen CHF 75 pro Stunde entspricht das CHF 150 bewerteter Arbeitszeit. Benötigt die heutige Methode im selben Umfang bereits 90 Minuten, beträgt der zusätzliche Aufwand 30 Minuten oder CHF 37.50. Erst dieser Unterschied gehört als Mehrbelastung in den Vergleich. Eine Auszahlung oder Einsparung lässt sich daraus allein nicht ableiten.

Vom Rücktest zum ersten echten Vorschlag

Lassen Sie die neue Methode zunächst parallel mitlaufen. Frieren Sie ihre Empfehlung vor dem Bestellschluss ein. Die Disposition bestellt nach dem bisherigen Verfahren und begründet nach Möglichkeit Abweichungen. Am Folgetag ergänzt das Team Absatz, Verfügbarkeit und bekannte Sonderfälle. So sieht es, ob sich die historischen Ergebnisse unter heutigen Schnittstellen und Arbeitszeiten wiederholen. Weil nur eine Bestellung ausgeführt wurde, bleibt das Ergebnis der anderen Variante eine Schätzung.

Die Freigabe für den nächsten Schritt sollte auf ein Blatt passen. Darauf stehen die getesteten Artikel, der Planungshorizont, die Zahl auswertbarer Fälle, offene Datenlücken und die Person, die bei einer verspäteten Datenlieferung auf das bestehende Verfahren zurückschaltet. Starten Sie die gemeinsame Durchsicht mit genau einer vergangenen Bestellung. Kann Ihr Team zeigen, was es um 10 Uhr wirklich wusste? Einen Rücktest mit Deep Impact vorbereiten

Ergänzend zur Kalkulation: Was kostet ein gelöster KI-Fall?