MINT lernen

Textaufgaben: Künstliche Intelligenz — Grundlagen

Ein Ernteroboter und zwei Handzeichen-Modelle: Merkmale und Trefferquote bestimmen, Fehlvorhersagen erklären und Überanpassung erkennen.

Dein Fortschritt:
0 / 0 Aufgaben
1

Der Erdbeer-Roboter

AFB I–II

Ein Ernteroboter soll auf einem Erdbeerfeld nur reife Früchte pflücken. Sein Modell wurde mit 5000 fotografierten Erdbeeren trainiert, zu denen Gärtnerinnen jeweils „reif“ oder „unreif“ notiert hatten. Für jede Beere misst die Kamera zwei Werte: den Anteil der roten Fläche und den Durchmesser. Vor dem Einsatz wird das Modell mit acht neuen Beeren getestet, die beim Training nicht dabei waren.

Testergebnis mit acht neuen Beeren
Beererote FlächeDurchmesserGärtnerinModell sagt192 %28 mmreifreif235 %22 mmunreifunreif388 %18 mmreifunreif460 %30 mmunreifreif595 %31 mmreifreif620 %25 mmunreifunreif778 %26 mmreifreif845 %29 mmunreifunreif
Links der gestrichelten Linie die Messwerte der Kamera, rechts die Einschätzung der Gärtnerin und die Vorhersage des Modells.
  1. Entnehmen Sie Text und Tabelle, welche Merkmale das Modell verwendet und was hier das Label ist.
  2. Berechnen Sie die Trefferquote des Modells für die acht Testbeeren.
  3. Erläutern Sie an den Beeren 3 und 4, wie es zu einer falschen Vorhersage kommen kann, obwohl im Programm kein Fehler steckt.

Hinweise

Hinweis zu Aufgabe a)
Ein Merkmal wird an jeder Beere gemessen. Das Label ist die richtige Antwort, die beim Training mitgeliefert wurde.
Hinweis zu Aufgabe b)
Vergleichen Sie Zeile für Zeile die Spalten „Gärtnerin“ und „Modell sagt“.
Hinweis zu Aufgabe c)
Worin unterscheiden sich die Beeren 3 und 4 von den typischen reifen und unreifen Beeren? Was „weiß“ das Modell über eine Erdbeere überhaupt?

Erwartungshorizont

Erwartungshorizont zu Aufgabe a)

Merkmale: der Anteil der roten Fläche (in %) und der Durchmesser (in mm). Label: die Einschätzung der Gärtnerinnen „reif“ oder „unreif“.

Erwartungshorizont zu Aufgabe b)

Richtig eingeordnet sind die Beeren 1, 2, 5, 6, 7 und 8, also 6 von 8. Trefferquote: \(\frac{6}{8}=0{,}75=75\,\%\).

Erwartungshorizont zu Aufgabe c)

Beere 3 ist fast ganz rot, aber sehr klein; Beere 4 ist groß, aber nur zu 60 % rot. Beide sind untypisch: In den Trainingsdaten waren reife Beeren offenbar meist rot und groß. Das Modell hat aus den Beispielen eine Trennung gelernt, bei der auch die Größe zählt, und ordnet deshalb die kleine rote Beere als unreif und die große halbrote als reif ein. Das Programm arbeitet dabei korrekt — die Vorhersage ist aber nur eine Schätzung auf Grundlage der Beispiele und der zwei Merkmale. Weitere Eigenschaften wie Festigkeit oder Duft kennt das Modell nicht.

2

Stein, Schere, Papier vor der Webcam

AFB II–III

Zwei Gruppen einer Informatik-AG trainieren je ein Modell, das per Webcam die Handzeichen Stein, Schere und Papier erkennen soll. Gruppe A fotografiert dafür 30 Bilder von der Hand eines einzigen Schülers, alle am selben Tisch vor einer weißen Wand. Gruppe B sammelt 300 Bilder von 15 Personen in drei verschiedenen Räumen.

Beide Gruppen prüfen ihr Modell zuerst mit den eigenen Trainingsbildern und danach mit 60 neuen Bildern anderer Personen aus einem anderen Raum. Gruppe A ist zufrieden: „Unser Modell ist das bessere — es hat 100 % geschafft.“

Trefferquoten der beiden Modelle
0 %50 %100 %100 %58 %91 %88 %Gruppe A (30 Bilder)Gruppe B (300 Bilder)Trainingsbilderneue Bilder
Anteil der richtig erkannten Handzeichen.
  1. Interpretieren Sie die Trefferquoten der beiden Modelle und gehen Sie dabei auf die Aussage von Gruppe A ein.
  2. Entwickeln Sie ein Vorgehen, mit dem Gruppe A ihr Modell verbessern und fair testen kann.
  3. Nehmen Sie Stellung zu der Behauptung: „Mit genug Trainingsdaten liegt ein Modell irgendwann immer richtig.“

Hinweise

Hinweis zu Aufgabe a)
Welche der beiden Säulen sagt etwas darüber, wie gut das Modell im echten Einsatz ist? Achten Sie auf den Abstand der Säulenpaare.
Hinweis zu Aufgabe b)
Denken Sie an zwei Baustellen: die Trainingsdaten selbst und die Daten, mit denen getestet wird.
Hinweis zu Aufgabe c)
Kriterien: Menge und Vielfalt der Daten, der Charakter einer Vorhersage, Fälle, die in keinem Datensatz vorkommen.

Erwartungshorizont

Erwartungshorizont zu Aufgabe a)

Modell A trifft die Trainingsbilder perfekt, bei neuen Bildern aber nur 58 % — kaum besser als bei drei Zeichen zufällig zu erwarten (etwa 33 %) und weit unter B. Das ist Überanpassung: Es hat die eine Hand, den Tisch und die weiße Wand auswendig gelernt. Modell B liegt bei beiden Datensätzen fast gleich (91 % und 88 %); es verallgemeinert. Die Aussage von Gruppe A ist daher falsch: Aussagekräftig ist nur die Trefferquote auf unbekannten Daten, und dort ist B deutlich besser.

Erwartungshorizont zu Aufgabe b)

Ein schlüssiges Vorgehen enthält etwa: (1) deutlich mehr Bilder sammeln, (2) von vielen verschiedenen Personen, Händen, Winkeln, Lichtverhältnissen und Hintergründen, (3) von jedem Zeichen ungefähr gleich viele Bilder, (4) vor dem Training einen Teil (z. B. ein Fünftel) als Testdaten zurücklegen, der nie zum Lernen verwendet wird, (5) nach dem Training nur mit diesen Testdaten die Trefferquote bestimmen und bei Bedarf nachbessern. Mindestens Vielfalt der Daten und getrennte Testdaten müssen genannt und begründet werden.

Erwartungshorizont zu Aufgabe c)

Richtig ist: Mehr und vielfältigere Daten verbessern ein Modell oft deutlich — Gruppe B zeigt das. Die Behauptung geht aber zu weit: Eine Vorhersage bleibt immer eine Schätzung; uneindeutige Fälle (eine halb geöffnete Hand) bleiben schwierig; Menge allein hilft nicht, wenn die Daten einseitig sind (10 000 Bilder derselben Hand); und neue Situationen, die in keinem Datensatz vorkamen, kann das Modell nicht sicher einordnen. Vollständig ist eine Antwort mit klarer Position, mindestens zwei Argumenten und einem Bezug auf die Daten der Aufgabe.