Transparente und Verantwortungsbewusste KI: Was bedeutet Explainable und Responsible AI und warum sollten wir uns damit beschäftigen? In dieser Session widmen wir uns den aktuellen Themen Explainable AI (XAI) und Responsible AI (RAI), bei denen es um die Entwicklung von Künstlicher Intelligenz geht, die transparent, erklärbar und ethisch verantwortlich agiert. Wir wollen ein breites Publikum ansprechen, von KI-Experten und Forschern bis hin zu Vertretern aus Wirtschaft, Politik und der Zivilgesellschaft. Ziel ist es, ein Verständnis für die Bedeutung von Explainable und Responsible AI zu schaffen, mögliche Herausforderungen zu diskutieren und Lösungsansätze für eine verantwortungsvolle KI-Nutzung zu entwickeln.

1. Transparente und
Verantwortungs-
bewusste KI
Was bedeuten Explainable und
Responsible AI und warum sollten
wir uns damit beschäftigen?
1

2. 2
About me
shirin.elsinghorst@codecentric.de
Dr. Shirin Elsinghorst

3. ● KI und
verantwortungsbewusster
Umgang mit KI
● Was ist Explainable AI?
● Ethik & Moral im
Zusammenhang mit KI
● Regeln, Guidelines, Gesetze
● Best Practices
● Zusammenfassung
3

4. KI - Künstliche Intelligenz
4
Was ist KI? KI ist überall Gesellschaftliche
Auswirkungen
• Mathematische Modelle/
Algorithmen
• Lernt Muster &
Zusammenhänge aus Daten
• Auch in Bereichen, die
typischerweise
menschliche Intelligenz
benötigen
• Erkennung von Gesichtern,
Objekten, Mustern, etc. auf
Bildern oder Videos
• Sprachverständnis &
-generierung => ChatGPT
• Autonomes Fahren,
Recommender Systeme,
Medizinische Diagnosen, …
• Daten => Bias =>
selbsterfüllende Prophezeiung
• Transparenz => warum trifft KI
bestimmte Entscheidungen?
• Privatsphäre => welche Daten
werden wie genutzt?

5. Beispiele

6. 6
Bias in historischen Daten kann zu Diskrimierung führen =>
IT = Mann & Pflegeberufe = Frau???
Automatisierte Aussortierung von nicht-kaukasischen Menschen???
Besondere Lebensläufe, Ausbildungen, nicht-standardisierte Werdegänge haben
keine Chance mehr???
Bias/ Diskriminierung
im Recruiting-Prozess

7. 7
COMPAS (Correctional Offender
Management Profiling for Alternative
Sanctions) =>
Rassistischer Bias gegenüber
Afrikanisch-Amerikanischen Häftlingen durch
historische Daten
Bias/ Diskriminierung
bei
Bewährungsstrafen

8. 8
März 2018: Ein autonom gesteuertes Auto
überfährt einen Fußgänger =>
wurde nicht als solcher erkannt, da dieser ein
Fahrrad quer über die Straße schob
Wie sicher ist
Autonomes Fahren?

9. 9
Microsoft's Tay Bot (2016):
Diskriminierende
Chatbots

10. Verantwortungsbewusster Umgang mit KI

11. 11
• Schaden & Diskriminierung vermeiden => Benachteiligung
durch Bias, Verletzung der Privatsphäre, fehlerhafte Erkennung
im autonomen Fahren, …
• Ethik & Moral => gesellschaftlichen Werte & Moralvorstellungen
gelten auch für KI
• Vertrauen => Nur KI, der vertraut wird, wird effektiv genutzt
• Human-centric AI => der Mensch steht im Zentrum von
KI-Nutzung & Entwicklung => KI soll unterstützen statt ersetzen
(empower & assist)
• Green & sustainable AI => Energie als Ressource
Warum sollten wir uns darüber Gedanken
machen?
Gesellschaft
Sustainability
Transparenz &
Vertrauen
Verantwortung-
bewusste KI

12. 12
Datenschutz: AI benötigt Daten. DSGVO regelt welche Daten
wie gesammelt, genutzt, gespeichert werden dürfen =>
Daten dürfen nur für spezifische Zwecke, mit expliziter
Zustimmung und nur im minimal notwendigen Maß
verarbeitet werden.
Data Protection by Design and by Default
Data Protection Impact Assessments (DPIAs)
Recht auf Information & Erklärung von
algorithmen-basierten Entscheidungen für Individuen
Was sind die rechtlichen Grundlagen?
GDPR / DSGVO /
EU AI Act
Company
Guidelines
BestPractices
Regeln, Guidelines,
Gesetze

13. 13
EU AI Act: Soll die Entwicklung und Nutzung von KI in der EU
regeln.
Risikobewertung => verschiedene Level an Restriktionen &
Regeln
“Parliament’s priority is to make sure that AI systems used in
the EU are safe, transparent, traceable, non-discriminatory
and environmentally friendly. AI systems should be overseen
by people, rather than by automation, to prevent harmful
outcomes.”
Was sind die rechtlichen Grundlagen?
Unacceptable Risk:
● Manipulation
● Sozial-Scoring
● Real-time & remote biometrische
Identifikation
Regeln, Guidelines,
Gesetze
Banned!
High Risk:
● Sicherheitsrisiken
● Risiken für Grundrechte
● Gilt für Produkte unter EU Safety
Legislation & 8 festgelegte Bereiche
Limited Risk:
● Transparenz
● Awareness
Generative AI (z.B. ChatGPT):
● Transparenz
● Generierung illegaler Inhalte verhindern
● Zusammenfassung von Trainingsdaten
veröffentlichen
Compliance
Code of
Conduct

14. Was können wir tun, um KI sicherer,
transparenter & fairer zu machen?

15. Bias & Fairness
15
Verantwortlichkeit,
Kontrolle,
Automatisierung
Transparenz &
Erklärbarkeit
Privatsphäre,
Manipulation &
Sicherheit
Ethik & Moral - wichtig für KI?
Zugangs-
möglichkeiten

16. Responsible AI
Best Practices für Unternehmen
16
• Set an Regeln, Standards oder
Vorschlägen für die
verantwortungsbewusste
Entwicklung und Verwendung
von KI
Ethical AI Guidelines
• Human-Centered Design
• Klare Rollen mit Verantwortlichkeiten definieren
• Umsetzung der DSGVO-Richtlinien
• Risikobewertung
• Monitoring
• Explizit auf Fairness und Bias überprüfen => Daten &
Modelle
• Transparenz: Erklärungen für Modelle & Entscheidungen
geben => XAI
• Safety & Security auch für KI
• Inklusivität & Zugang

17. Explainable AI (XAI) -
Interpretierbarkeit & Erklärbarkeit
17
• Entscheidungen von KI sollen
transparenter &
nachvollziehbarer sein => für
das menschliche Gehirn
interpretierbar
• Model-specific vs.
model-agnostic
• Local vs. global explainers
• Annäherungsweise
Erklärungen vs. “echte”
Erklärungen
• Optimierung von KI => sanity
check bevor etwas (lange
Zeit) schief läuft
• Höheres Vertrauen &
Akzeptanz
• Fairness, Ethik & Moral
Black-Box-Modelle XAI Methoden Benefits

18. Responsible AI
Best Practices für Unternehmen
18
• Tools oder Methoden, um den
Impact von KI auf Business,
Gesellschaft, Individuen, etc.
zu bewerten
AI Impact Assessment
Tools
(Roh-) Daten, Modelle in Training & Betrieb testen auf =>
• Ethischen Impact: fairness, bias, transparency,
accountability
• Privacy Impact: data flow, Risikobewertung,
DSGVO-konform
• Gesellschaftlicher Impact: Auwirkungen auf Jobs,
gesellschaftliche Normen & Strukturen
• Impact für die Umwelt: CO2-Fußabdruck
• Menschenrechte: Freedom of Speech, Privatsphäre,
Nicht-Diskriminierung

19. 19
• Balance zwischen Genauigkeit & Erklärbarkeit: häufig je
interpretierbarer ein Modell, desto geringer die Performance
• Häufig je besser das Modell, desto komplexer => je
komplexer desto schwieriger zu interpretieren
• Skalierbarkeit häufig schwierig
• Auswirkungen sind nicht immer direkt zu erkennen
und/oder messbar
• Benefits sind oft nicht direkt messbar => menschliche
Kriterien => => trotzdem wichtig!
Responsible & Explainable AI
Performance,
Komplexität,
Interpretation
Skalierbarkeit
Benefits
sichtbar machen
Challenges

20. Take-Home-Messages
Danke!
Ethical AI
Guidelines
AI Impact
Assessment
Tools
Ethik & Moral
Transparenz
& Vertrauen
Safety &
Security

21. Innovative - Trustful - Competent - Pragmatic
codecentric AG
Am Mittelhafen 14
48155 Münster
Dr. Shirin Elsinghorst
Senior Data Scientist
shirin.elsinghorst@codecentric.de
www.codecentric.de
21
Stay
connected
Photo by Markus Spiske on Unsplash

22. karriere