← Wissen & Praxis
Softwareplanung

KI-Pilot bewerten: Qualität, Prüfaufwand und Kosten vergleichen

Sie möchten Wartungsnotizen schneller in ein brauchbares Erstbriefing überführen. Eine KI liefert einen gut lesbaren Entwurf. Die Sachbearbeitung muss aber jede Anlagenkennung nachsehen, fehlende Angaben ergänzen und eine erfundene Terminzusage entfernen. Hat der Entwurf Arbeit gespart oder nur verschoben?

Ein kleiner Vergleich kann diese Frage für eine konkrete Aufgabe beantworten. Dazu müssen Sie vorab festlegen, was ein richtiges Ergebnis ist, welche Daten verwendet werden dürfen und welcher Prüfaufwand noch vertretbar ist. Der folgende Wartungsfall ist vollständig erfunden. Er zeigt, wie Sie einen Versuch vorbereiten; er ist kein Kundenbericht und kein Nachweis eines KI-Nutzens.

Ein Paket für Ihre nächste Entscheidung

Der Entscheidungsbogen führt von der abgegrenzten Aufgabe über das Vergleichsprotokoll bis zur Entscheidung. Er enthält eine kurze Anleitung, ein kommentiertes synthetisches Beispiel, leere Arbeitsseiten und ein kopierbares Messblatt für jeweils einen Fall. Bearbeitung, fachliche Prüfung und Korrektur werden getrennt erfasst.

KI-Pilot vorbereiten: Anleitung, Beispiel und ausfüllbare Arbeitsseiten herunterladen (PDF, 6 Seiten)

Laden Sie das PDF herunter, füllen Sie die Arbeitsseiten im PDF-Reader aus und speichern Sie eine eigene Kopie. Tragen Sie nur freigegebene Fallreferenzen ein, keine vertraulichen Notizen. Das Paket berechnet keine Werte automatisch.

Die Aufgabe kleiner machen als das Versprechen

Im Beispiel soll aus einer Wartungsnotiz ein Entwurf mit Anlagenkennung, Ort, gemeldetem Symptom und offenen Rückfragen entstehen. Die KI soll vorhandene Angaben ordnen. Sie soll keine Diagnose stellen, Dringlichkeit entscheiden, Preise oder Termine zusagen. Der Entwurf wird vor jeder Verwendung von einer fachlich zuständigen Person geprüft; automatische Übergaben gehören nicht zum Versuch.

Fehlt die Anlagenkennung in der Eingabe, ist eine sichtbare Rückfrage das richtige Ergebnis. Eine plausibel aussehende Kennung wäre ein Fehler. Ein guter Prüfauftrag unterscheidet deshalb zwischen „Angabe nicht vorhanden“ und „vorhandene Angabe übersehen“. Sonst wird gerade die nötige Zurückhaltung als schlechte Leistung bewertet.

Datenfreigabe kommt vor dem ersten Test

Halten Sie fest, welche Datenart für welchen Zweck in welcher Umgebung verarbeitet werden darf. Dazu gehören die verantwortliche Freigabe, erlaubte Zugriffe sowie Speicherung und Löschung. Verweisen Sie auf den Freigabebeleg. Wenn diese Voraussetzungen offen sind, lautet der nächste Schritt Datenklärung, nicht Probeeingabe. Auch das Entfernen von Namen ersetzt diese Klärung nicht.

Für den Einstieg können Sie vollständig erfundene Notizen verwenden. Ein solcher Versuch prüft zunächst den Umgang mit diesen Beispielen. Er belegt noch nicht, dass der Ansatz mit Ihren echten Unterlagen gleich gut funktioniert.

Vier Fallarten mit demselben Maßstab prüfen

  • Normal: Anlagenkennung, Ort und Symptom stehen eindeutig in der Notiz. Der Entwurf übernimmt sie korrekt und behält den Quellenbezug.
  • Unvollständig: Die Anlagenkennung fehlt. Sie bleibt offen; eine passende Rückfrage wird formuliert.
  • Widersprüchlich: Zwei Stellen nennen unterschiedliche Orte. Der Entwurf benennt den Widerspruch und entscheidet ihn nicht stillschweigend.
  • Außerhalb der Aufgabe: Die Notiz verlangt einen verbindlichen Preis. Der Entwurf kennzeichnet den Klärungsbedarf und ergänzt keine Zahl.

Legen Sie Fehlerklassen fest: unbelegte Aussagen, fehlende erforderliche Angaben, übersehene Widersprüche und Formatfehler. Zählen Sie Fehler vor der Korrektur; halten Sie verbleibende Fehler gesondert fest. Definieren Sie vorher, welche Fehler oder Aufwände den Versuch stoppen. Im PDF-Beispiel sind erfundene Aussagen, ausgelassene erforderliche Angaben und übersehene Widersprüche unzulässig.

Vergleichen Sie beide Wege mit derselben Aufgabe und derselben verlangten Qualität. Dokumentieren Sie Datenstand, Anleitung und Version. Wenn dieselbe Person einen Fall zweimal bearbeitet, kann Vorwissen das Ergebnis beeinflussen. Nutzen Sie möglichst unabhängige Bearbeitung oder wechseln Sie die Reihenfolge und notieren Sie diese Grenze. Vier Fälle sind ein Einstieg, keine belastbare allgemeine Fehlerquote.

Auch die bisherige Prüfung kostet Zeit

Die folgende Rechnung ist frei erfunden. Sie erklärt den Vergleich und ist weder Messung noch Prognose:

Zeit je Fall Bisher Mit KI
Arbeit / Eingabe 7 min 3 min
Fachliche Prüfung 2 min 6 min
Korrektur 1 Minute 2 min
Gesamt 10 min 11 min

Beim KI-Weg umfasst „Arbeit / Eingabe“ auch die gebundene Wartezeit. Unbeaufsichtigte Laufzeit wird gesondert dokumentiert.

Die drei KI-Minuten umfassen hier Eingabe und Wartezeit, während der die Person tatsächlich gebunden ist. Unbeaufsichtigte Laufzeit dokumentieren Sie separat als Durchlaufzeit; sie zählt nicht als Personalaufwand.

Bei beispielhaft 60 Euro je Stunde kostet der bisherige Fall 10 Euro Personalaufwand. Assistiert sind es 11 Euro, zuzüglich angenommener 0,05 Euro KI-Kosten. Der schnellere Entwurf führt hier zu einer Minute mehr Arbeit und 1,05 Euro laufenden Mehrkosten. Einmalige Einrichtung und laufende Betreuung kommen gesondert hinzu. Unterschiedliche Rollen und Stundensätze müssen Sie im eigenen Vergleich berücksichtigen. Fehlende Messwerte bleiben offen und werden nicht als null eingesetzt.

Stoppen, erst klären oder begrenzt weiterprüfen?

Stoppen: Ein unzulässiger Fehler tritt auf oder ein vereinbartes Limit wird überschritten. Sichern Sie den Befund und nutzen Sie den bisherigen Ablauf. Ein günstiger Durchschnitt hebt diesen Stopgrund nicht auf.

Erst klären: Freigabe, Vergleichbarkeit oder entscheidende Messwerte fehlen. Benennen Sie die offene Frage und die zuständige Rolle. Ohne diese Grundlage gibt es keine belastbare Fortsetzungsentscheidung.

Weiterprüfen: Freigaben und Qualitätsgrenzen sind erfüllt und eine konkrete offene Nutzenfrage rechtfertigt den nächsten begrenzten Versuch. Fehlender Kostenvorteil kann ebenso ein Grund sein, den Ansatz zu beenden. Auch ein positives Ergebnis erlaubt noch keinen unbeaufsichtigten Betrieb: Zuständigkeit, laufende Qualitätskontrolle, Versionsänderungen, Störungsweg und Rückfall müssen gesondert geklärt werden.

Wenn Sie die Aufgabe mit Zeta Software eingrenzen möchten, bringen Sie einen beschriebenen Vorgang, das geforderte Ergebnis und Ihre größte offene Frage ins Erstgespräch mit. Es werden dafür keine vertraulichen Rohdaten benötigt. Geht es zunächst um Rollen, Systemgrenzen und Übergaben, beginnen Sie mit dem Portal-Projektsteckbrief.

Verbinden Sie die fachliche Einordnung mit konkreten Projekten und dem passenden Leistungsbereich.

Themen, Projekte und Praxiswissen