Mid Sweden University

In a world where artificial intelligence and machine learning aregrowing and spreading in society, its impact and consequence forpeople is increasing. The technology is used in services that peopleuse every day. Both privately but also in a commercial context, forexample social media and to identify fraud in the banking sector.Previous studies show that machine learning models can givediscriminatory outcomes when it comes to, among other things,gender and ethnicity. This study aims to investigate how, in systemdevelopment projects where machine learning is used, one works tocounteract discriminatory outcomes. The study examines both thefactors that contribute to the emergence of discriminatoryoutcomes, as well as the solutions that exist to counteract theproblem. The study is conducted at a global IT consultingcompany.To investigate the area, a study, with qualitative researchmethodology, has been conducted. The empirical material has beencollected through six semi-structured interviews. All respondentswho participated in the study work within the same organization, indifferent projects and with varying experiences in the area. Therespondents have been selected through a subjective selectionbased on their experience in the field in relation to the purpose ofthe study.The results of the study show that the decisive factor for theemergence of discrimination is the training data which the modelsare trained with. The majority of solutions to counteractdiscriminatory outcomes have also been identified. The results ofthe study differ to some extent from the previous research done inthe field. Regarding factors, previous research and the results of thestudy agree that data is the decisive factor that contributes todiscriminatory outcomes arising from machine learning models.The main difference among the solutions is that previous researchshows more specific techniques, which are used to identify ormitigate discriminatory outcomes, while the results of the studyshow softer values and almost no specific techniques at all. In theresults of the study, for example, the individual is seen as a centralpart of the process instead of automatic techniques and tools.The study concludes that data is the most decisive factor indiscriminatory outcomes in machine learning models. The modelsare not discriminatory in themselves, they only reflect the trainingdata. If the data contains discrimination, the model will learn thisand ultimately give discriminatory outcomes. The very basicproblem for this is the human being, who creates the prejudices thatexist in society and from which the data is collected. At the sametime, man is a central part of the process of reducing discriminatoryoutcomes and is needed to counteract this problem. 

I en värld där artificiell intelligens och maskininlärning växer ochsprids i samhället ökar samtidigt dess påverkan och konsekvens förmänniskor. Tekniken används i tjänster som människor användervarje dag. Både privat men även i ett kommersiellt sammanhang,exempelvis sociala medier och för att identifiera bedrägerier inombanksektorn. Tidigare studier visar att maskininlärningsmodellerkan ge diskriminerande utfall när det kommer till bland annat könoch etnicitet. Denna studie syftar till att undersöka hur man, isystemutvecklingsprojekt där maskininlärning används, arbetar föratt motverka diskriminerande utfall. Studien undersöker både vilkafaktorer som bidrar till att diskriminerande utfall uppstår, samtvilka lösningar som finns för att motverka problemet. Studiengenomförs på ett globalt IT-konsultbolag.För att undersöka området har en studie, med kvalitativforskningsmetodik genomförts. Det empiriska materialet harsamlats in via sex stycken semistrukturerade intervjuer. Samtligarespondenter som deltagit i studien arbetar inom sammaorganisation i olika systemutvecklingsprojekt samt med varierandeerfarenheter inom området. Respondenterna har valts ut genom ettsubjektivt urval baserad på deras erfarenhet inom området samt irelation med studiens syfte.Studiens resultat visar att den mest avgörande faktorn för uppkomstav diskriminering är träningsdatat som modellerna tränas med.Flertalet lösningar för att motverka diskriminerande utfall har ävenidentifierats i studien. Studiens resultat skiljer sig till viss del motden tidigare forskning som gjorts inom området. Gällande faktorerär tidigare forskning och studiens resultat eniga om att datat är denavgörande faktorn som bidrar att diskriminerande utfall uppstårfrån maskininlärningsmodeller. Den största skillnaden blandlösningarna är att tidigare forskning visar på mer specifika teknikeroch verktyg som används för att identifiera eller mildradiskriminerande utfall, medan resultatet i studien visar mer mjukavärden och nästan inga specifika tekniker alls. I studiens resultatses exempelvis den enskilda individen som en central del iprocessen istället för automatiska tekniker och verktyg. Vidareframkommer det i resultatet blandade åsikter gällande ansvaret förmaskininlärningsmodeller samt behov av regleringar på området.Studiens slutsats är att datat är den mest avgörande faktorn till attdiskriminerande utfall uppstår i maskininlärningsmodeller.Modellerna är inte diskriminerande i sig, utan de speglar bara8. Handledare9. Examinator10. Termin11. Övrigt/AnmärkningKomplettera i alla blanka fält. Gråmarkerade fält skall kompletteras när det finns anledning. I annatfall ska de avlägsnas. För mer information se ”HANDLÄGGNING AV RAPPORT, DEL AV SJÄLVSTÄNDIGT ARBETE(EXAMENSARBETE), INOM NMT”, MIUN 2015/XXX. Det är examinator som är ansvarig för innehållet idetta dokument.träningsdatat. Om datat innehåller diskriminering kommermodellen att lära sig detta och slutligen ge diskriminerande utfall.Själva grundproblemet till detta är människan som skapat defördomar som finns i samhället vilket är där träningsdatat samlas infrån. Samtidigt visar studiens resultat att människan idag är encentral del i processen med att både motverka och identifieradiskriminerande utfall från maskininlärningsmodeller