Übungsaufgaben zu neuronalen Netzen und Modellbewertung

Kopiere den Text in ein KI-Sprachmodell Deiner Wahl und passe Kompetenzstufe, Anzahl, Bearbeitungszeit und Szenario bei Bedarf an. Wie die Aufgaben aufgebaut sind, beschreibt der Artikel Wie sind die Aufgaben aufgebaut?. Prüfe die Ergebnisse mit dem Lehrartikel: KI-Sprachmodelle machen Fehler.

Erstelle neue Übungsaufgaben zum Thema „Neuronale Netze und
Modellbewertung“.

Bauplan: Halte Dich an Aufbau, Kompetenzstufen, Operatoren,
Anforderungsbereiche, Punkte und Zeitschätzung, die im Artikel
https://oer-informatik.de/aufgaben-aufbau beschrieben sind.

Fachliche Grundlage:
- https://oer-informatik.de/neuronale-netze
- https://oer-informatik.de/maschinelles-lernen
- https://oer-informatik.de/ki-einsatz
- Stilbeispiel: https://oer-informatik.de/neuronale-netze-uebungsaufgaben

Die Aufgaben sollen Inhalte zu diesen Schlagwörtern abdecken:
- Neuronale Netze
- Perzeptron
- Aktivierungsfunktion
- Convolutional Neural Network
- Random Forest
- Konfusionsmatrix
- Accuracy
- Precision
- Sensitivity

Kompetenzstufe: Profilkompetenz (alternativ: Basiskompetenz, Kernkompetenz, Expertise)
Anzahl: 1 Aufgabe mit Teilaufgaben
Bearbeitungszeit in Minuten ca.: <5 bis 30 min>
Szenario: eines der Szenarien aus dem Bauplan

Vorgehen:
1. Lies zuerst die verlinkten Artikel. Kannst Du keine Webseiten
   abrufen, sag mir das, statt zu raten.
2. Steht bei einer Angabe noch ein Platzhalter in <…>, frag mich
   zuerst danach. Richte Punkte und Zahl der Teilaufgaben nach der
   Bearbeitungszeit (ca. 0,9 min je Punkt).
3. Gib je Aufgabe Titel mit Kompetenzstufe, Ausgangssituation und
   Teilaufgaben mit Operator und Punktzahl aus, dazu die geschätzte
   Bearbeitungszeit.
4. Gib die Beispiellösungen mit Punkteverteilung erst aus, wenn ich
   danach frage.

Je falsche Aussage mit Korrektur 1 Punkt; Aussage (5) ist richtig:

• (1) falsch: Die Merkmale werden nicht einfach addiert, sondern vorher mit ihrem Gewicht multipliziert, und der Bias kommt dazu: z = w_1 x_1 + w_2 x_2 + b.

• (2) falsch: Der Bias hängt von keiner Eingabe ab; er ist ein konstanter Summand (bzw. das Gewicht der festen Eingabe 1). Wie stark die Entfernung zählt, legt das Gewicht w_1 fest.

• (3) falsch: Die Sprungfunktion kennt nur 0 und 1. Für z \geq 0 gibt sie 1 aus („fällt voraussichtlich aus“), sonst 0; eine Wahrscheinlichkeit liefert sie nicht (dafür bräuchte man z. B. die Sigmoidfunktion).

• (4) falsch: Nach der Perzeptron-Lernregel w_i := w_i + \eta (y - \hat{y}) x_i ändern sich die Gewichte nur bei einer falschen Ausgabe; ist die Vorhersage richtig, ist y - \hat{y} = 0.

Je Anmeldung 1 Punkt für die Nettoeingabe, 1 Punkt für Ausgabe und Einordnung:

Geg.: w0 = −1,0; w1 = 0,4; w2 = 1,5
      P: x1 = 0,8; x2 = 0,1     Q: x1 = 2,5; x2 = 0,4

Ges.: z und \hat{y} für P

z_P = w_0 \cdot 1 + w_1 \cdot x_1 + w_2 \cdot x_2 = -1{,}0 + 0{,}4 \cdot 0{,}8 + 1{,}5 \cdot 0{,}1 = -1{,}0 + 0{,}32 + 0{,}15 = -0{,}53

z_P = -0{,}53 ist kleiner als 0, also \underline{\underline{\hat{y}_P = 0}}: Anmeldung P erscheint voraussichtlich.

Ges.: z und \hat{y} für Q

z_Q = -1{,}0 + 0{,}4 \cdot 2{,}5 + 1{,}5 \cdot 0{,}4 = -1{,}0 + 1{,}0 + 0{,}6 = 0{,}6

z_Q = 0{,}6 \geq 0, also \underline{\underline{\hat{y}_Q = 1}}: Anmeldung Q fällt voraussichtlich aus und erhält eine Erinnerung.

1 Punkt für die Prüfung, 2 Punkte für die neuen Gewichte, 1 Punkt für die Kontrolle:

Geg.: w0 = −1,0; w1 = 0,4; w2 = 1,5; η = 0,5
      R: x0 = 1; x1 = 1,0; x2 = 0,3; y = 1

Ges.: Ausgabe für R

z_R = -1{,}0 + 0{,}4 \cdot 1{,}0 + 1{,}5 \cdot 0{,}3 = -0{,}15 \quad \Rightarrow \quad \hat{y}_R = 0

Die Ausgabe ist falsch (y - \hat{y} = 1 - 0 = 1).

Ges.: neue Gewichte mit w_i := w_i + \eta \cdot (y - \hat{y}) \cdot x_i

w_0 = -1{,}0 + 0{,}5 \cdot 1 \cdot 1 = -0{,}5

w_1 = 0{,}4 + 0{,}5 \cdot 1 \cdot 1{,}0 = 0{,}9

w_2 = 1{,}5 + 0{,}5 \cdot 1 \cdot 0{,}3 = 1{,}65

Ges.: Kontrolle

z_R = -0{,}5 + 0{,}9 \cdot 1{,}0 + 1{,}65 \cdot 0{,}3 = 0{,}895 \geq 0 \quad \Rightarrow \quad \underline{\underline{\hat{y}_R = 1}}

R wird jetzt richtig als Ausfall eingeordnet.

2 Punkte für die Begründung, 1 Punkt für das mehrschichtige Netz, zum Beispiel:

Ein Perzeptron zieht genau eine Trenngerade (bei einem Merkmal: eine Schwelle) und kann nur linear separierbare Klassen trennen: „alles über der Schwelle fällt aus“ oder „alles darunter“. Hier liegen die Ausfälle aber an beiden Rändern und die Nicht-Ausfälle in der Mitte; dafür wären zwei Grenzen nötig. Ein mehrschichtiges Netz kombiniert in seinen verdeckten Schichten mehrere Neuronen mit nichtlinearen Aktivierungsfunktionen und kann so auch gekrümmte oder mehrteilige Grenzen lernen.

Je verdeckter Knoten 1,5 Punkte, 1 Punkt für die Ausgabe, 1 Punkt für die Einordnung:

Geg.: S: x1 = 1,2; x2 = 0,5; x3 = 0,2

Ges.: Ausgabe von h_1

z_{h1} = 0{,}5 \cdot 1{,}2 + 1{,}0 \cdot 0{,}5 + (-0{,}8) \cdot 0{,}2 + (-0{,}4) = 0{,}6 + 0{,}5 - 0{,}16 - 0{,}4 = 0{,}54 \quad \Rightarrow \quad h_1 = \max(0;\ 0{,}54) = 0{,}54

Ges.: Ausgabe von h_2

z_{h2} = -0{,}3 \cdot 1{,}2 + 0{,}6 \cdot 0{,}5 + 1{,}5 \cdot 0{,}2 + (-0{,}2) = -0{,}36 + 0{,}3 + 0{,}3 - 0{,}2 = 0{,}04 \quad \Rightarrow \quad h_2 = 0{,}04

Ges.: Ausgabe von o

z_o = 1{,}2 \cdot 0{,}54 + 0{,}9 \cdot 0{,}04 + (-1{,}0) = 0{,}648 + 0{,}036 - 1{,}0 = -0{,}316

\sigma(-0{,}316) = \frac{1}{1 + e^{0{,}316}} \approx \frac{1}{1 + 1{,}372} \approx \underline{\underline{0{,}422}}

Die Ausgabe liegt unter 0,5: S erscheint voraussichtlich und erhält keine Erinnerung.

1 Punkt: 3 \cdot 2 + 2 \cdot 1 = 8 Gewichte und 2 + 1 = 3 Bias-Werte, zusammen 11 Parameter (die Tabelle hat 11 Zahleneinträge).

Je passendes Foto 1 Punkt, zum Beispiel:

• Falscher Alarm: Ein ebenerdiger Eingang vor einer Fassade mit Fensterbänken, einem Regal oder Holzlatten zeigt viele waagerechte Kanten, hat aber keine Stufe.

• Übersehene Stufen: Eine einzelne hohe Stufe, Stufen von schräg oben fotografiert (die Kanten wirken nicht waagerecht), im Schnee oder im Dunkeln, oder halb verdeckt von Personen.

Je Variante 1 Punkt für die Gewichte, 1 Punkt für die Summe mit Bias:

Geg.: A: in_features = 128 · 128 · 3 = 49.152; out_features = 64
      B: in_channels = 3; out_channels = 16; kernel_size = 3 (also 3 × 3); groups = 1

Ges.: Parameter Variante A

\text{Gewichte} = 64 \cdot 49.152 = 3.145.728 \qquad \text{Parameter} = 3.145.728 + 64 = \underline{\underline{3.145.792}}

Ges.: Parameter Variante B

\text{Gewichte} = 16 \cdot 3 \cdot 3 \cdot 3 = 432 \qquad \text{Parameter} = 432 + 16 = \underline{\underline{448}}

Variante A braucht rund 7.000-mal so viele Parameter wie Variante B.

4 Punkte für eine begründete Stellungnahme mit mindestens zwei Argumenten, zum Beispiel:

Anh unterschätzt die Faltung. Die 16 Filter mit je 3 × 3 × 3 Gewichten werden über das ganze Foto geschoben; dieselben 448 Parameter werden an jeder Bildstelle wiederverwendet. Ein Filter, der eine waagerechte Stufenkante erkennt, findet sie deshalb links, rechts oder am Bildrand, ohne dass das Netz jede Position einzeln lernen muss. Variante A müsste dagegen für jede Pixelposition eigene Gewichte lernen und verliert durch das Ausrollen, welche Pixel übereinander liegen; gerade das ist für übereinanderliegende Stufenkanten wichtig. Weitere Faltungsschichten setzen die einfachen Kanten zu größeren Mustern wie Treppen oder Rampen zusammen. Und mit 3,1 Millionen Parametern bräuchte Variante A sehr viele beschriftete Treffpunktfotos, sonst lernt sie die Trainingsbilder auswendig (Overfitting). Für ein Start-up mit begrenzt vielen Fotos ist Variante B daher die bessere Wahl.

3 Punkte für die Matrix (Zählung), je Kennzahl 1 Punkt:

• TP (ja/ja): Nr. 2, 6, 11, 14 → 4
• FP (Vorhersage ja, behalten): Nr. 4, 10, 18 → 3
• FN (Vorhersage nein, zurückgeschickt): Nr. 8, 16 → 2
• TN: 20 − 4 − 3 − 2 = 11

Geg.: TP = 4; FN = 2; FP = 3; TN = 11; N = 20

Ges.: Accuracy

\text{Accuracy} = \frac{TP + TN}{N} = \frac{4 + 11}{20} = \frac{15}{20} = \underline{\underline{0{,}750 = 75{,}0\,\%}}

Ges.: Sensitivity

\text{Sensitivity} = \frac{TP}{TP + FN} = \frac{4}{4 + 2} = \frac{2}{3} \approx \underline{\underline{0{,}667 = 66{,}7\,\%}}

Ges.: Precision

\text{Precision} = \frac{TP}{TP + FP} = \frac{4}{4 + 3} = \frac{4}{7} \approx \underline{\underline{0{,}571 = 57{,}1\,\%}}

Je verständlicher, richtiger Satz 1 Punkt, zum Beispiel:

• Accuracy: „Bei 15 von 20 Positionen lag das Modell richtig, egal ob es ‚Rücksendung‘ oder ‚behalten‘ gesagt hat.“

• Sensitivity: „Von den 6 Positionen, die wirklich zurückkamen, hat das Modell 4 vorher erkannt; 2 hat es übersehen.“

• Precision: „Wenn das Modell ‚Rücksendung‘ gemeldet hat, stimmte das in 4 von 7 Fällen; in 3 Fällen hätten wir umsonst beraten.“

2 Punkte für die Rechnung, 2 Punkte für die begründete Entscheidung:

Geg.: 1.500 Positionen pro Woche, davon 12 % → 180 echte Rücksendungen

Erkannte echte Rücksendungen = 180 \cdot \text{Sensitivity}; alle Meldungen (Anrufe) = \frac{\text{erkannte Rücksendungen}}{\text{Precision}}

Nur Modell 1 bleibt mit rund 108 Anrufen unter der Grenze von 150. Es übersieht zwar mehr Rücksendungen, aber drei von vier Anrufen sind berechtigt; die knappe Zeit im Kundenservice wird gut genutzt. Bei Modell 2 und 3 könnte der Kundenservice gar nicht alle Meldungen abarbeiten, und ein großer Teil der Anrufe würde Kundschaft stören, die die Ware behalten hätte. Entscheidend ist hier also die Precision.

1 Punkt für das Modell, 2 Punkte für die Begründung, zum Beispiel:

Modell 3 (neuronales Netz). Ein Fehlalarm (FP) kostet hier fast nichts: Jemand sieht einen Hinweis, den er nicht gebraucht hätte. Eine übersehene Rücksendung (FN) bedeutet dagegen eine verpasste Chance, Kosten zu sparen. Deshalb kommt es auf die Sensitivity an, und die ist bei Modell 3 mit 85 % am höchsten. Die niedrige Precision von 30 % ist vertretbar, solange das Hinweisfenster nicht so aufdringlich wird, dass es Kundschaft vom Kauf abhält.

Je 1 Punkt:

• Ergebnis: Rücksendung, denn 58 von 101 Bäumen (die Mehrheit; 43 dagegen) haben diese Klasse gewählt.

• Bei einer ungeraden Zahl von Bäumen kann bei zwei Klassen kein Gleichstand (z. B. 50 : 50) entstehen; es gibt immer eine eindeutige Mehrheit.

2 Punkte, zum Beispiel:

Ein sehr tiefer Baum lernt die Trainingsdaten samt Zufällen auswendig (Overfitting) und liegt bei neuen Bestellungen oft daneben. Die 101 Bäume wurden dagegen mit verschiedenen zufälligen Ausschnitten der Daten und Merkmale trainiert; jeder macht andere Fehler, und bei der Abstimmung gleichen sich diese Fehler großteils aus. Dafür ist der Wald schwerer nachzuvollziehen als ein einzelner Baum.

3 Punkte für eine begründete Stellungnahme, zum Beispiel:

Die Rechnung stimmt: \frac{1.760}{2.000} = 88\,\%, weil nur 12 % der Positionen zurückgeschickt werden. Die Schlussfolgerung ist aber falsch. Bei so ungleich verteilten Klassen sagt die Accuracy wenig aus: Das Immer-nein-Modell hat eine Sensitivity von 0 %, es findet keine einzige Rücksendung und ermöglicht damit keine einzige Beratung. Das Projektziel (weniger Rücksendungen durch Beratung) wäre nicht erreichbar. Entscheidend sind hier Sensitivity und Precision: Jedes der drei Modelle findet zwischen 45 % und 85 % der Rücksendungen, und je nach Einsatz lässt sich das passende auswählen.