Design of Experiments (DoE)

In der modernen Forschung, Entwicklung und Produktion ist Zeit Geld. Wer Prozesse optimieren will, sollte sich nicht auf “Trial and Error” verlassen. Das ist oft teuer, langsam und ungenau. Die Lösung? Design of Experiments (DoE), auf Deutsch: Statistische Versuchsplanung.

Mit DoE können Sie Experimente effizient gestalten und damit Kosten senken - und die Qualität Ihrer Forschung, Produkte und Prozesse optimieren.

Was ist Design of Experiments (DoE)?

Design of Experiments (DoE) ist eine systematische Methode, um den Zusammenhang zwischen Einflussfaktoren (Inputs) und Ergebnissen (Outputs) eines Prozesses zu untersuchen. Anstatt wahllos Parameter zu ändern, plant DoE Experimente mathematisch so, dass mit einer minimalen Anzahl an Versuchen ein maximaler Informationsgewinn erzielt wird.

Die Kernziele von DoE:

• Identifikation der wichtigsten Einflussgrößen

• Optimierung der Inputs für bestmöglichen Output

• Reduzierung der Streuung (Robustheit)

Die wichtigsten Begriffe der Versuchsplanung

Um DoE erfolgreich anzuwenden, müssen Sie zuerst die Grundstruktur des Experiments definieren:

Warum DoE?

Weil “One Factor at a Time” (OFAT) nicht funktioniert

In der Praxis wird oft nur ein Faktor zur gleichen Zeit verändert, während alle anderen konstant gehalten werden. Dies nennt man den OFAT-Ansatz (One Factor at a Time).

Das Problem: OFAT kann keine Wechselwirkungen (Interaktionen) zwischen Faktoren erkennen.

Beispiel: Vielleicht wirkt sich eine Temperaturerhöhung nur dann positiv aus, wenn gleichzeitig der Druck gesenkt wird. Ein OFAT-Versuch würde diesen “Sweet Spot” übersehen. DoE hingegen variiert mehrere Faktoren gleichzeitig auf systematische Weise und kann mit einem passenden Experimentaufbau diese sonst verborgenen Zusammenhänge aufdecken.

Weil vollfaktorielle Designs in der Praxis nicht funktionieren

Ein anderes Extrem ist die Vorstellung, Sie müssten alle möglichen Kombinationen durchtesten. Sicher, ein sogenanntes Full Factorial ist valide, weil damit Wechselwirkungen aufgespürt werden können, aber

Das Problem: In der Praxis sind die Kosten schnell astronomisch hoch

Beispiel: Bei einem kleinen Experiment mit 4 Faktoren mit jeweils 3 Stufen wären das schon 3⁴ = 81 Testdurchgänge! Je nachdem wie aufwendig ein Durchgang ist, kostet das viel Zeit und Geld. Zum Glück ist ein Full Factorial aber so gut wie nie notwendig!

Der Industrie-Standard: Teilfaktorielles Design (Fractional Factorial)

Der einfachste Weg, um Ressourcen zu sparen, ohne wesentliche Informationen zu verlieren. Hier wird nur ein Teil der möglichen Versuche mathematisch-statistisch ausgewählt. Das sind jene Versuche, die am meisten Information über die relevanten Einflussgrößen enthalten.

Im obigen 4 x 3 Beispiel kommt ein Fractional Factorial mit 9 Versuchen aus. D.h. sie sparen somit fast 90% der Versuchskosten und Zeit!

Der Gipfelstürmer: Response Surface Designs (RSD)

Nehmen wir an, wir haben in einen Fractional Factorial Design bereits die wichtigsten Faktoren isoliert. Wir wissen z.B. dass Temperatur und Druck die Hauptfaktoren sind, haben bisher jedoch nur wenige Levels ausprobiert. Bei welchen Werten genau das Optimum liegt, wissen wir noch nicht. Bei dieser Aufgabe glänzt ein Response Surface Design.

RSD suchen gezielt den Parameterraum ab, um die beste Kombination von Paramterwerten zu ermitteln

Passgenau: Ihr individuelles Experiment-Design

Für bestimmte Experimente gibt es zwar Standard-Schablonen, in der Praxis sind diese aber oft zu unflexibel. Wenn Sie z.B. einen Faktor mit 5 Stufen und die anderen Faktoren mit 2 Stufen untersuchen möchten. Oder Ihre Zielgröße wird nicht mit einem genauen Zahlenwert gemessen, sondern nur mit ja/nein. Hier kommen Algorithmen zum Einsatz, die “near-optimal” Designs heraussuchen, die genau auf Ihre Bedürfnisse zugeschnitten sind.

Gerne berate ich Sie auch zu anderen Arten von Experimenten: Box-Behnken Design, A/B-Testing, Befragungsexperiment, Discrete Choice Experiment, Conjoint-Analyse, Fallzahlplanungen in der Qualitätskontrolle u.v.m

Zudem ist es so, dass aus statistischer Sicht oft ein mehrstufiger Experiment-Prozess am effizientesten ist, der mehrere Ansätze kombiniert.

Beispiel: Am besten machen wir z.B. zuerst ein Screening Design, um unwichtige Faktoren auszuschließen. Mit einem kleinen Fractional Factorial testen wir auf Wechselwirkungen der wichtigten Faktoren, und finden anschließend das perfekte Optimum mit einem RSD. Dieses Vorgehen braucht wesentlich weniger Versuche anstatt mit einem großen RSD viele Testungen in absolut uninteressanten Bereichen des Parameterraums zu verplempern.

Mein DoE-Ansatz

Meine feste Überzeugung ist: In der Praxis braucht ein gutes DoE viel Fingerspitzengefühl, um die richtige Balance zwischen Aufwand (Anzahl der Versuche) und Auflösung (Genauigkeit der Ergebnisse) zu treffen. Und diese Balance kommt ganz auf den Einzelfall an: Deswegen ist es mir besonders wichtig, Ihr lokales Wissen und Ihre Erfahrungswerte zu integrieren, um das beste Design für Sie zu finden.

• Im gemeinsamen Gespräch besprechen wir, welche Aspekte für Sie Priorität haben, mit welchen Wechselwirkungen zu rechnen ist, und wie viele Versuche ökonomisch sind.

• Ich entwerfe Ihnen mehrere Optionen für mathematisch optimierte Versuchspläne, aus welchen Sie sich den für Sie passenden auswählen.

• Aus meinem übersichtlichen Analysereport der Ergebnisse geht hervor, welche Faktoren welchen Einfluss auf das Ergebnis haben, und welche Kombination von Faktoren die beste für Ihre Zwecke ist.

DoEs testen auch immer bisher implizite Annahmen, die wir auf die Probe stellen. Genauso wertvoll wie die gefundenen “Sweet Spots” sind manchmal auch die “Blind Spots”, die durch die Experimente ans Tageslicht kommen. Dies trägt zu einem tieferen Verständnis für Ihre Prozesse und Produkte bei, was wiederum neue Ideen und langfristige Verbesserungen anstoßen kann.

Wie oben beschrieben, macht es auch oft Sinn, Experimente mehrstufig zu strukturieren, um Kosten zu reduzieren.

Für mich bedeutet das: DoEs sind immer auch ein kommunikativer fortlaufender Prozess!

Steigen Sie mit mir ein auf die wissenschaftlich-fundierte, detektivische Suche nach Ihrem “Sweet Spot”, um das beste für Ihr Unternehmen oder Ihre Organisation herauszuholen.

Typischer Business Case

Qualitätskontrolle im produzierenden Gewerbe

Ein Hersteller von Industriefiltern stellt die Produktion um: Ein potentieller Großkunde möchte Sicherheit, dass mindestens 95% der Filter eine gewisse Mindest-Reißfestigkeit haben.

• Wir besprechen wie die Filter produziert werden und wie die Reißfestigkeit gemessen wird. Dabei stellen wir fest, dass drei Nähte potentiell in Frage kommen, und dass wir am besten direkt die Maschinendaten für die Reißfestigkeitsüberprüfung auslesen können.

• Ich entwerfe einen Versuchsaufbau mit einer möglichst geringen Anzahl der nötigen Tests, um die Zielparameter statistisch abgesichert zu erheben.

• Nach zwei Wochen sind die Tests abgeschlossen, und ich analysiere die Daten. Mein Auswertungsreport zeigt, dass die Reißfestigkeit ausreichend ist, aber eine Naht schlechter funktioniert als die anderen. Hier kann eventuell an den Maschineneinstellungen nachjustiert werden. Zusätzlich erstelle ich einen technischen Report für den Großkunden, der daraufhin den Liefervertrag bestätigt.