Exploring Intersectional Fairness and Bias Mitigation Techniques in Job Recommendation
- Along with the increased use of automation processes in every other task, job recommendations as well as hiring have also become partially automated. In the process of applying only to those jobs that are recommended by a system or choosing only from those candidates that are selected by an automated system, it becomes highly important to find out if the automated systems are trustworthy enough to provide fair decisions. There has been research on fairness in this sector, where the main focus has been on a single protected attribute, in most cases ’gender.’ That is why the aim of this research is to delve deeper into a deep learning transformer-based algorithm used for job matching with a text-based resume dataset containing several demographic attributes to investigate the fairness of the algorithm not only for gender but also for otherAlong with the increased use of automation processes in every other task, job recommendations as well as hiring have also become partially automated. In the process of applying only to those jobs that are recommended by a system or choosing only from those candidates that are selected by an automated system, it becomes highly important to find out if the automated systems are trustworthy enough to provide fair decisions. There has been research on fairness in this sector, where the main focus has been on a single protected attribute, in most cases ’gender.’ That is why the aim of this research is to delve deeper into a deep learning transformer-based algorithm used for job matching with a text-based resume dataset containing several demographic attributes to investigate the fairness of the algorithm not only for gender but also for other demographic groups such as race, age group, and experience level. The fairness evaluation has been carried out using multiple fairness metrics, including demographic parity, conditional demographic parity, and equal opportunity. The transformer models that are pretrained language models are chosen for this study due to their ability to understand the meaning and context of words in resumes and job descriptions. The thesis further investigates bias using an alternative approach by working on a dataset containing varying protected attributes and then conducting a comparable analysis of several bias mitigation methods, including multiple layers of data resampling, along with sensitivity testing through data modification in the preprocessing step of the recommendation process. The research reveals that a system performing fairly when considering a single protected attribute can even hide intersectional unfairness and that the bias mitigation methods do not ensure a balanced improvement across each subgroup when considering multiple combinational demographic groups.…


- Mit dem zunehmenden Einsatz von Automatisierungsprozessen in allen anderen Aufgabenbereichen sind auch Stellenempfehlungen und Einstellungen teilweise automatisiert worden. Bei der Bewerbung nur auf Stellen, die von einem System empfohlen werden, oder bei der Auswahl nur aus Kandidaten, die von einem automatisierten System ausgewählt wurden, ist es von großer Bedeutung herauszufinden, ob die automatisierten Systeme vertrauenswürdig genug sind, um faire Entscheidungen zu treffen. Es gibt bereits Forschungsarbeiten zur Fairness in diesem Bereich, deren Schwerpunkt jedoch auf einem einzigen geschützten Merkmal liegt, in den meisten Fällen dem „Geschlecht”. Daher ist es das Ziel dieser Forschungsarbeit, einen auf Deep Learning basierenden Transformer-Algorithmus, der für die Jobvermittlung verwendet wird, anhand eines textbasiertenMit dem zunehmenden Einsatz von Automatisierungsprozessen in allen anderen Aufgabenbereichen sind auch Stellenempfehlungen und Einstellungen teilweise automatisiert worden. Bei der Bewerbung nur auf Stellen, die von einem System empfohlen werden, oder bei der Auswahl nur aus Kandidaten, die von einem automatisierten System ausgewählt wurden, ist es von großer Bedeutung herauszufinden, ob die automatisierten Systeme vertrauenswürdig genug sind, um faire Entscheidungen zu treffen. Es gibt bereits Forschungsarbeiten zur Fairness in diesem Bereich, deren Schwerpunkt jedoch auf einem einzigen geschützten Merkmal liegt, in den meisten Fällen dem „Geschlecht”. Daher ist es das Ziel dieser Forschungsarbeit, einen auf Deep Learning basierenden Transformer-Algorithmus, der für die Jobvermittlung verwendet wird, anhand eines textbasierten Lebenslauf-Datensatzes mit mehreren demografischen Merkmalen genauer zu untersuchen, um die Fairness des Algorithmus nicht nur in Bezug auf das Geschlecht, sondern auch in Bezug auf andere demografische Gruppen wie ethnische Zugehörigkeit, Altersgruppe und Erfahrungsniveau zu überprüfen. Die Fairnessbewertung wurde anhand mehrerer Fairnessmetriken durchgeführt, darunter demografische Parität, bedingte demografische Parität und Chancengleichheit. Für diese Studie wurden Transformer-Modelle ausgewählt, bei denen es sich um vortrainierte Sprachmodelle handelt, da sie in der Lage sind, die Bedeutung und den Kontext von Wörtern in Lebensläufen und Stellenbeschreibungen zu verstehen. Die Arbeit untersucht Bias weiter anhand eines alternativen Ansatzes, indem sie mit einem Datensatz arbeitet, der verschiedene geschützte Attribute enthält, und dann eine vergleichende Analyse mehrerer Methoden zur Bias-Minderung durchführt, darunter mehrschichtige Daten-Resampling-Verfahren sowie Sensitivitätstests durch Datenmodifikation im Vorverarbeitungsstadium des Empfehlungsprozesses. Die Untersuchung zeigt, dass ein System, das bei der Betrachtung eines einzelnen geschützten Attributs fair arbeitet, sogar intersektionale Ungerechtigkeiten verbergen kann und dass die Methoden zur Verringerung von Verzerrungen keine ausgewogene Verbesserung für jede Untergruppe gewährleisten, wenn mehrere kombinierte demografische Gruppen betrachtet werden.…

