Mit KI in Rekordzeit ein automatisiertes Test-Framework bauen

Die meisten von uns in der Tech-Branche sind fasziniert von der unaufhaltsamen Welle an KI-Tools, mit der wir fast jede Woche überschüttet werden. Das Tempo ist atemberaubend, und es ist schwer, sich dem zu entziehen.
In meinem letzten Mandat sollte ich einem KI-Unternehmen helfen, seine Qualität zu verbessern. Das grobe Ziel? Ein solides Framework für die Testautomatisierung bauen, in das die Entwickler ihre Tests einfach hineinlegen können. Ambitioniert? Definitiv, vor allem mit nur 7 Wochen Zeit.
Wie ich ans Testen herangehe
Ich beginne immer mit Exploratory Testing und Test Charters. Meine Charters folgen der Vorlage, die Elisabeth Hendrickson in Explore It vorschlägt:
Explore [ein Ziel] With [Ressource] To discover [bestimmte Informationen]
Die Ergebnisse einer Test Charter können sein:
- #bug – Ein Bug!
- #finding – Etwas Interessantes, aber nicht unbedingt ein Bug
- #idea – Ein Gedanke, über den das Team nachdenken sollte
- #question – Etwas, das geklärt werden muss
- #answer – Eine Antwort auf eine frühere Frage
- #risk – Ein mögliches Problem, das wir entschärfen müssen
- #todo – Eine Aufgabe, die angepackt werden muss
Damit verbringe ich etwa eine Woche, melde unterwegs Bugs und stelle dem Team sehr viele Fragen. So finde ich die Schmerzpunkte: wo Sicherheitsnetze hingehören und, ganz entscheidend, wo und wie automatisiert werden soll.
Brauchen wir mehr Unit Tests? Data Journeys (DB ↔ API ↔ UI)? User Journeys über mehrere UIs hinweg oder innerhalb einer einzigen UI? Strukturierte explorative Sessions? E2E-Tests? Oft ist es eine Mischung aus allem.
Generative KI kann eine Fülle neuer Testideen liefern, aber sie müssen richtig strukturiert werden. Genau das behandelt Mark Winteringham brillant in seinem Buch Software Testing with Generative AI.
KI-gestützte Testautomatisierung
Für die automatisierten Testfälle habe ich stark auf KI gesetzt. Da ich ja für ein KI-Unternehmen arbeitete, habe ich direkt dort nachgefragt: Was würdet ihr empfehlen, damit ich schneller vorankomme, ohne an Qualität zu verlieren?
Sie haben mir zwei Tools gezeigt, die alles verändert haben:
- Windsurf – Ich hatte Copilot genutzt und mit Cursor geliebäugelt, aber sie rieten mir, beides zu überspringen und direkt zu Windsurf zu gehen.
- Warp – Vorher habe ich mods verwendet, aber Warp ist ein CLI, in das KI von Grund auf eingebaut ist.
Um es kurz zu machen: In 7 Wochen haben zwei von uns von House of Test Switzerland zwei Test-Frameworks gebaut und in ihre Pipeline integriert, neben weiteren Erfolgen, auf die wir besonders stolz waren.
Wie schnell kann KI ein Test-Framework bauen?
Als das Projekt abgeschlossen war, fragte ich mich: Wie schnell könnte ich mit KI-Tools ein automatisiertes Test-Framework bauen?
Also habe ich es mit houseoftest.ch ausprobiert.
- Einen leeren Projektordner angelegt und in Windsurf geöffnet.
- Prompt: Ich brauche ein neues Projekt. Ich muss diese Website mit Playwright in Python testen: https://www.houseoftest.ch/. Decke alle Menüpunkte und Sprachen ab. Die Tests sollen über pytest laufen.
Fünfzehn Minuten später hatte ich ein Framework mit Tests. Ich liess Windsurf sie ausführen, und natürlich schlugen alle fehl. Also habe ich:
- es angewiesen, die Tests zu reparieren und ein E-Mail-Reporting einzubauen. Es verbrachte 45 Minuten damit, den E-Mail-Code hinzuzufügen, zu refaktorieren, zu debuggen, zu stabilisieren und sogar Analysetools zu generieren.
- Eine Stunde später hatte ich genau, was ich brauchte.
Als Nächstes liess ich eine README.md generieren, damit die Devs das Framework installieren können. Konkret habe ich verlangt, dass die Anleitung auch ein Deployment auf einer Ubuntu-Cloud-Instanz abdeckt. 10 Sekunden später: erledigt.
Ich habe den Code bei meinem bevorzugten Cloud-Anbieter (lunanode) deployt, musste die README leicht anpassen (Windsurf hatte bei einigen Ubuntu-spezifischen Installationsschritten gepatzt) und habe mich dann um die zeitgesteuerte Testausführung gekümmert.
Ich fragte Warp: Was ist das beste Scheduling-Tool für Linux?
Die Antwort: cron sei immer noch eine solide Option, und ob es den Crontab-Eintrag gleich anlegen solle. Klar, warum nicht? Zack, die Tests liefen jede Stunde, und die Reports gingen direkt an meinen Chef. 🙂
KI ist ein Werkzeug, kein Ersatz
KI ist mächtig, aber wer diese Tools blind einsetzt, kommt nicht weit. Als Test Engineers müssen wir:
- die Schwachstellen im System erkennen
- bestimmen, welche Arbeit nötig ist (Framework? Pipeline? Experimente?)
- Kommunikationslücken aufspüren
- sicherstellen, dass die Teams bei Test- und Release-Strategien am gleichen Strang ziehen
Es geht darum, herauszufinden, was gebraucht wird, und das beste Werkzeug für die Aufgabe zu wählen.
Sag uns Bescheid, wenn du Unterstützung brauchst! 🚀




