Kuidas mõista andmestunud maailma

Tekst
Loe katkendit
Märgi loetuks
Kuidas lugeda raamatut pärast ostmist
  • Lugemine ainult LitRes “Loe!”
Šrift:Väiksem АаSuurem Aa

1.1.5. Andmeõiglus andmeanalüütiku töös

Vajadus sõnastada sotsiaalse õigluse põhimõtted, mis sobiksid tööks andmetega, tulenes andmelahenduste loomise arengust, kus andmetehnoloogia looja huvid ja väärtused kaldusid domineerima üksikisiku huvide üle. Näiteks on algoritmid, mudelid ja sotsiaalne profileerimine kasutusel kindlustuse müümisel, laenuotsuste tegemisel, suunatud reklaamides ja kuriteoennetuses.

Optimistlikult hinnates on profileerimise eesmärk teha kiiremaid ja paremaid otsuseid ning pakkuda sobivamaid teenuseid, lähtudes andmemassiivis märgatud seaduspärasustest. Algoritmid lihtsustavad, ühtlustavad ja kiirendavad otsuste tegemist eriti olukorras, kus otsuste hulk on liiga suur, et võimaldada ettevõttel või riigiasutusel teha individuaalseid otsuseid, seega on need tänapäevases maailmas mõneti paratamatud (vt nt Kearns, Roth 2019). Riigi perspektiivist võib see parandada otsusprotsessi (nt kes suunata esmajärjekorras tööturuteenuste sihtgruppi, ennetamaks pikaajalist töötust; milliste ettevõtete ja üksikisikute tuludeklaratsioone põhjalikumalt kontrollida, et avastada võimalikke maksupettusi; millisesse piirkonda saata rohkem politseinikke, et kuritegevust ennetada) ning tagada piiratud ressursside tõhusama kasutamise. Üksikisikule võib see tähendada võimalust perioodiliseks arstlikuks kontrolliks või seda, et muusikaplatvormid pakuvad tema eelistustega sobivat muusikat. Samas võib see aga kaasa tuua sagedasemat kinnipidamist liikluses või pidevat sattumist „juhuvalikusse“ lennujaama turvakontrollis, kõrgemat hinda kindlustust ostes või raskusi kodulaenu saamisel.

Vajadused ja võimalused kasutada andmeid organisatsiooni muutuste juhtimiseks ja poliitika kujundamiseks ning tekkivad küsimused seoses poliitiliste, sotsiaalsete ja eetiliste väärtustega, mida andmed endas kannavad, on tõstatanud küsimuse andmeõiglusest. Andmeõigluse idee lähtub klassikalisest sotsiaalse õigluse kontseptsioonist ning püstitab küsimuse, kas ja kuivõrd need sõnastatud õigused ja vabadused on rakendatavad andmetehnoloogiate kasutamise ja loomise kontekstis ehk kuidas on võimalik „õigluse tagamine viisil, et inimesed ja nende vajadused on nähtavad, esindatud ja õiglaselt koheldud nende toodetud digitaalsete andmete tulemusena“ (Taylor 2017: 1).

Andmeõigluse idee pöörab tähelepanu levinud probleemile, et üldiste seaduspärasuste põhjal koostatud algoritmid teevad otsuseid konkreetse üksikisiku kohta, kelle puhul üldine reegel ei pruugi kehtida ja seetõttu võib automaatselt tehtav otsus olla ebaõiglane, mittevajalik või isegi kahjulik. Sarnaste profiilide negatiivsest mõjust on viimastel aastatel ilmunud mitmeid uurimusi. Kriitilisem vaade profileerimisele toob esile eetilisi probleeme seoses õigluse ja privaatsusega (Kearns, Roth 2019), võrdse kohtlemise (Eubanks 2018; Noble 2018; Ferguson 2017), nõuetekohase menetluse (due process), turvalisuse ja vastutusega (liability), rõhutades, et algoritmid ja arvutimudelid muudavad inimeste eelarvamused pealtnäha objektiivseteks faktideks, mis hakkavad samu eelarvamusi taastootma või isegi võimendama. Näiteks on andmetehnoloogiate kasutamine tõstatanud küsimuse sellest, kuidas mõistetakse sotsiaalset mitmekesisust olukorras, kus üle riigipiiride levivad granulaarsed andmed kaardistavad inimeste igapäevaelu kogu selle detailsuses ning võimaldavad luua mitmekesiseid lahendusi, kuid andmeanalüüsi tehnikad ja meetodid kasutavad inimeste vananenud, dihhotoomseid arusaamu mitmekesisusest (1 – õige, 2 – vale).

Andmeõigluse printsiipide sõnastamise ja kokkuleppimise vajadust ning võimalikke vastuolusid võimaluste ja ohtude vahel andmelahenduste kasutamisel ja disainimisel illustreerib joonisel 1.1.1 esitatud näide. Isesõitvad autod on arendatud eesmärgiga tagada inimestele võrdne juurdepääs taristule, näiteks haiglatele. Disainerid töötavad välja algoritmid, tuginedes iseenda väärtustele ja ideaalidele. Disainerid loovad oma ideaalidele tuginedes algoritmid, mis otsustavad ka selle, kelle elu liiklusohtlikus situatsioonis säästa. Algoritm võib soovitada esimese eelistusena sõita üle vanema elanikkonna rühma esindajast, kes võib olla selle algoritmi korral peamine sihtrühm. Samuti võib isesõitev auto luua juurdepääsu olulisele objektile (nt haigla), kuhu teised transpordivahendid ei vii (vt nt Awad et al. 2018). Näide illustreerib ilmekalt, et eri perspektiividest vaadatuna võivad arusaamad õiglusest erineda, samuti ei pruugi üksikinimese arusaam langeda kokku kogukonna või ühiskonna väärtushinnangutega. Lisaks, kuigi ühes sotsiaalses kontekstis loodud andmelahendused võivad teises ajas ja ruumis olla tehniliselt rakendatavad, ei pruugi see olla sotsiaalselt aktsepteeritav, õigustatud ega ka vajalik.

Joonis 1.1.1. Näide moraalse masina eksperimendist (Awad et al. 2018). A. Ootamatu piduririkkega isesõitev auto sõidab edasi ja põrkab vastu betoonbarjääri. Selle tulemuseks on: 1) vigastatud mees, 2) surnud eakas naine, laps ja koer.

B. Ootamatu piduririkkega isesõitev auto sõidab teisele sõidurajale ja siis ülekäigurajale. Selle tulemuseks on: 1) vigastatud kurjategija, 2) surnud naissportlane, naissoost arst, poiss ja mees.


Andmeõigluse kui põhimõtete kogumi sõnastamine sotsiaalselt õiglaste andmelahenduste kasutamiseks ja loomiseks (Taylor 2017; Dencik et al. 2019) keskendus algselt andmetega seotud ühiskondlike ja kultuuriliste tagajärgede hindamisele, pöörates eelkõige tähelepanu võimalikele negatiivsetele tulemitele. Andmetega seotud negatiivsed tagajärjed (nt andmetega diskrimineerimine, ebavõrdsuse automatiseerimine, varasemate sotsiaalsete hierarhiate taastootmine (Eubanks 2018; Noble 2018) on näidanud, et sotsiaalse heaolu loomise eesmärgil on andmete kasutamise tulemused ennustamatud. Näiteks on näotuvastustehnoloogiad, mida kasutatakse piirikontrollis ja kuritegevuse ennetuse eesmärkidel, disainitud selliselt, et tehnoloogiate kasutajaid suunatakse otsustama etniliste vähemusrühmade kahjuks. Selle tulemusena võib tekkida andmevõimu kuritarvitamine, mille kaudu toimub andmelahendustes juba varasemalt eelisseisundis olnud sotsiaalsete rühmade võimestamine.

Selliste negatiivsete ja tahtmatute tagajärgede vältimiseks on ühe lahendusena soovitatud kaasata andmepõhiste otsuste tegemisse ning andmetehnoloogiate väljatöötamisse andmesubjekte – kas neid, kelle kohta andmeid kogutakse, või neid, kes on antud andmelahenduse otsene sihtrühm (vt ka alaptk 1.1.3.3). Selline andmesubjektide kaasamine on eelkõige oluline haavatavate sihtrühmade korral, kes ei pruugi alati olla teadlikud, et nende kohta andmeid kogutakse või, vastupidi, nende kohta ei pruugi üldse andmeid olla või pole need kättesaadavad. Üheks selliseks näiteks on põgenike ümberasustamine sobitusalgoritmi abil (Bansak et al. 2018), kus võrreldakse konkreetse piirkonna ja inimeste parameetreid, sooviga suunata inimesed elama piirkonda, kus neil on suurem tõenäosus tööhõiveks. Selliseid ainuüksi majandusliku eesmärgiga andmelahendusi on kritiseeritud. Näiteks näitab Eestis ja Türgis elavate põgenike kohta tehtud võrdlusuuring (Masso, Kasapoglu 2020), et andmelahendus ei võta arvesse põgenike kultuurilisi vajadusi, eelistusi ega traditsioone (nt üksiku noore naise üksi paigutamine suurlinna). Kui põgenikud ise rõhutasid uuringu käigus kultuuriliste aspektide olulisust, siis andmeeksperdid pöörasid tähelepanu algoritmide võimalikele puudustele seoses läbipaistvusega (andmelahenduses ei pruugi olla täpselt selge, keda ja mil viisil ümber asustada) ja vastutusega (pole selge, kes ja mil viisil võtab vastutuse algoritmilise otsustamise korral).

Uuringud on püüdnud leida lahendusi kallutatud andmeotsustele. Pakutud on andmete mitmekesistamist (vt nt Lehne et al. 2019), andmevigade ja kallutatuse vältimist (Hargittai 2020) ning otsuste tegemisse või andmelahenduste väljatöötamisse kaasatud meeskonna mitmekesistamist (Gates et al. 2019). Selle peatüki autoritena soovitame ühe lahendusena arvestada eelarvamuste tekke kognitiivsete mehhanismidega ehk sellega, kuidas toimub inimeste eelarvamuste ülekandmine andmetehnoloogiatesse. Lisaks sellele, et inimeste kognitiivseid ressursse ekspluateeritakse andmete kogumise eesmärgil (Mühlhoff 2019), näiteks sotsiaalmeedias meeldivate tegevuste tulemusena, soovitame pöörata protsessi ka vastupidiseks – olla teadlik uurija kognitiivsetest hoiakutest, mis võivad andmete kogumise ja tõlgendamise protsessi mõjutada.

Kuigi andmeõiglust on nähtud ühe universaalse lahendusena andmetega seotud probleemide lahendamisel, on seda ka kritiseeritud. Osa uuringuid hoiatab, et andmeõiglusel põhinev käsitlusviis on liiga tugevalt juurdunud liberaalsesse diskrimineerimisvastasesse diskursusesse (Hoffmann 2019), mistõttu võib omakorda taastoota üksteist vastandavat, eelistele ja puudustele üles ehitatud andmesuhete loogikat. Lahendusena pakutud n-ö vastanddiskursusi, nagu andmekolonialism (Thatcher et al. 2016; Couldry, Meijas 2018), pole samuti peetud alati efektiivseks, sest need jätavad tähelepanuta hierarhiliste andmesuhete loogika, mis taastoodab eelistatud ja ebasoodsas seisus andmesubjekte.

Lahendusena pakutud andmesubjektide kaasamine andmetehnoloogiate väljatöötamisse ja otsuste tegemisse võib samuti osutuda keeruliseks rühma enda sisemise mitmekesisuse tõttu (Segura, Waisbord 2019; Milan, Treré 2019). Empiirilised uuringud näitavad (Tammpuu, Masso 2019; Patra 2019), et ka aktiivsemalt digitaalseid lahendusi kasutavad andmesubjektid (nt e-residendid) võivad sisemiselt olla väga mitmekesised, väljendavad väga erinevat teadlikkust, ootusi ja tundlikkust seoses võimalike ohtudega, mis võivad nende endi loodud andmete kasutamisel ja nende põhjal otsuste tegemisel tekkida. Selliselt pole andmeõigluse tagamine andmeanalüütiku jaoks alati lihtne ülesanne, seda illustreerib ka joonisel 1.1.2 esitatud näide, kus nii andmete kasutamine kui ka kasutamata jätmine võivad endaga kaasa tuua nii positiivseid kui ka negatiivseid tagajärgi. Registri vm andmete ühendamine annab võimaluse varakult märgata riskitegureid (nt noore koolist väljajäämisel või kuritegelikule teele asumisel). Teisalt võivad ühendatud registriandmed ja nende kasutamine ohustada andmesubjektide õigust privaatsusele.

 

Andmeõigluse tagamisel on seega kõige olulisem andmeanalüütiku kriitilise refleksiivsuse võime (Kennedy et al. 2015), st oskus hinnata oma tegevuse ja otsuste tagajärgi ning suutlikkus arvestada andmelahendustesse kaasatud eri osapoolte vaadetega. Selline kriitilise refleksiivsuse võime tähendab enda distantseerimist parajasti väljatöötatavast andmelahendusest ning protsessi kaasatud osapoolte kasude ja kahjude ning avalike väärtuste arvestamist nii andmelahenduse väljatöötamisel ja kasutamisel kui ka kasutamata jätmisel (vt ka raamatu sissejuhatuses esitatud soovitused tööks andmetega).


Joonis 1.1.2. Hüpoteetiline näide andmeõiglusest


1.1.6. Kokkuvõte

Selle peatüki eesmärk oli näidata ülesandeid, võimalusi ja ohte, millega andmeanalüütik andmete põhjal muutusi juhtides silmitsi seisab. Andmestunud ühiskonnas on andmeanalüütikust saanud võtmeprofessioon. Andmetarkade otsuste tegemine eeldab, et otsustused on andmetest informeeritud ja andmetel põhinevad, ent pole otseselt andmetest juhitud ilma andmeanalüütiku kriitilise hinnangu ja tõlgendusteta, millised on andmete kasutamise võimalused antud kontekstis ja millised võimalikud riskid. Andmete tähtsus muutuste juhtimisel on otsustav nii selles peatükis käsitletud normatiivse mobiliseeriva muutuse (muutuse sisu ja siht on suures joones ette teada), normatiivse struktuurse muutuse (muutus tuleneb reeglite ja struktuuride ümberkorraldamisest) kui ka avatud ja mobiliseeriva (eri osapooli hõlmava) muutuse elluviimisel.

Andmete põhjal otsustamisel on palju eeliseid, nagu näiteks määramatuse vähendamine, suuremahuliste otsuste kiirendamine, tõhustamine ja ühetaolisuse tagamine (kui on eesmärgiks tagada võrdne kohtlemine). Teisalt kaasneb andmepõhise otsustamisega ka ohtusid. Nii tuleb alati arvestada, et andmepõhise otsustamise korral on tegemist väärtusotsusega, ükskõik millisel tasandil otsus tehakse (organisatsioon, poliitika, üksikisik). Samuti tuleb andmete põhjal otsustades olla ettevaatlik, et ei toimuks olemasolevate eelarvamuste ja kallutatuste tahtmatut kinnistamist ning et tehtud otsused ja nende aluseks olevad väärtused oleksid kõigile osapooltele selged ja arusaadavad, ehk siis algoritmide mõju peaks olema mõistetav nii otsust tegevale osapoolele kui ka sellele, kelle kohta see käib.

Andmete põhjal otsustamise negatiivsete tagajärgede ennetamiseks ja positiivsete tulemusteni jõudmiseks soovitame lähtuda andmeõigluse printsiibist – sotsiaalse õigluse põhimõtete rakendamisest töös andmetega. Selliselt on andmeanalüütikul keskne roll oma töö hindamisel ning eri osapoolte õiguste ja vabaduste tagamisel, aga ka läbirääkijana eri huvisid ja väärtushinnanguid esindavate osapoolte vahel. Teisisõnu, inimese roll pole mitte ainult andmelahendusi (nt algoritme) luua, vaid ka algoritmi soovitatud otsuseid kriitiliselt hinnata. Edasisteks uuringuteks jäävad endiselt lahtised küsimused inimeste valikuvabaduste kohta. Muusikaplatvormid või Amazoni raamatusoovitused küll suunavad, kuid ei tee lõplikke valikuid – aga kui palju on vabadust näiteks riigi- või pangaametnikul, kui ta peab otsustama mõne teenuse sobivuse või laenu andmise üle? Kuidas see omakorda mõjutab inimest, kelle kohta otsus tehakse, ja tema valikuvabadust? Kui erasektoris saab katsetada teiste pakkujatega, siis avalikus sektoris üldjuhul mitte (kui just kodakondsust ei vaheta või omavalitsuse pakutava teenuse pärast teise linna ei koli).


VIIDATUD KIRJANDUS

Abubakar, A. M.; Elrehail, H.; Alatailat, M. A.; Elçi, A. 2019. Knowledge management, decision-making style and organizational performance. – Journal of Innovation and Knowledge 4, 2, 104–114.

Armenakis, A. A.; Harris, S. G. 2009. Reflections: Our journey in organizational change research and practice. – Journal of Change Management 9, 2, 127–142.

Awad, E.; Dsouza, S.; Kim, R.; Schulz, J.; Henrich, J.; Shariff, A.; Bonnefon, J.-F.; Rahwan, I. 2018. The Moral Machine experiment. – Nature 563, 7729, 59–64. https://doi.org/10.1038/s41586-018-0637-6.

Balogun, J.; Johnson, G. 2005. From intended strategies to unintended outcomes: The impact of change recipient sensemaking. – Organization Studies 26,11, 1573–1601.

Bansak, K.; Ferwerda, J.; Hainmueller, J.; Dillon, A.; Hangartner, D.; Lawrence, D.; Weinstein, J. 2018. Improving refugee integration through data-driven algorithmic assignment. – Science 359 (6373), 325–329. https://doi.org/10.1126/science.aao4408.

Bartunek, J. M.; Rousseau, D. M., Rudolph, J. W.; DePalma, J. A. 2006. On the receiving end: Sensemaking, emotion, and assessments of an organizational change initiated by others. – The Journal of Applied Behavioral Science 42, 2, 182–206.

Bednar, P.; Green, G. 2011. Same business same system? A critique of organization and the information systems process. – Journal of Organisational Transformation and Social Change 8, 2, 199–213.

Beer, M.; Nohria, N. 2000. Cracking the code of change. – Harvard Business Review. https://hbr.org/2000/05/cracking-the-code-of-change.

Bibri, S. E. 2018. Backcasting in futures studies: a synthesized scholarly and planning approach to strategic smart sustainable city development. – European Journal of Futures Research 6, 13, .

Blalock, H. M. (ed.) 1974. Measurement in the social sciences: Theories and strategies. Chicago: Aldine.

Bolhuis, E.; Schildkamp, K.; Voogt, J. 2016. Data-based decision making in teams: enablers and barriers. – Educational Research and Evaluation 22, 3/4, 213–233. doi:10.1080/13803611.2016.1247728.

Bonhomme, M.; Markon, S.; Yoshida, C. 2018. Data analytics for improving public service delivery. – IEEE International Conference on Applied System Invention, 778–781.

Bouckenooghe, D. 2010. Positioning change recipients’ attitudes toward change in the organizational change literature. – The Journal of Applied Behavioral Science 46,4, 500–531.

Browne, L.; Rayner, S. 2015. Managing Leadership in University Reform: Data-Led Decision-Making, the Cost of Learning and Déjà Vu? – Educational Management Administration & Leadership 43, 2, 290–307.

Bryman, A. 2015. Social research methods. 5th ed. Oxford University Press.

Brynjolfsson, E.; Hitt, L. M.; Kim, H. H. 2011. Strength in numbers: How does data driven decision making affect firm performance. April 22, 2011. SSRN: http://papers.ssm.com/sol3/papers.cfm?abstract_id-1819486.

Cagnin, C.; Havas, A.; Saritas, O. 2013. Future-oriented technology analysis: Its potential to address disruptive transformations. – Technological Forecasting and Social Change 80, 3, 379–560.

Choi, M. 2011. Employees’ attitudes toward organizational change: A literature review. – Human Resource Management 50, 4, 479–500.

Comuzzi, M.; Parhizkar, M. 2017. A methodology for enterprise systems post-implementation change management. – Industrial Management and Data Systems 117, 10, 2241–2262.

Couldry, N.; Meijas, U. 2018. Data Colonialism: Rethinking Big Data’s Relation to the Contemporary Subject. – Television and New Media, 1–14.

COVID-19 Community Mobility Report. https://www.gstatic.com/covid19/mobility/2020-03-29_EE_Mobility_Report_en.pdf (07.05.20).

Creswell, J. W.; Creswell, J. D. 2018. Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. 5th ed. Los Angeles: Sage.

Dencik, L.; Hintz, A.; Redden, J.; Treré, E. 2019. Exploring Data Justice: Conceptions, Applications and Directions. – Information, Communication and Society 22, 7, 873–881. https://doi.org/10.1080/1369118X.2019.1606268.

Drechsler, W. 2019. Kings and Indicators: Options for Governing Without Numbers. – M. J. Prutsch (ed.), Science, Numbers and Politics. Springer International Publishing, 227–262. https://doi.org/10.1007/978-3-030-11208-0_11.

Drew, C. 2018. Design for data ethics: using service design approaches to operationalize ethical principles on four projects. – Philosophical Transactions, Series A: Mathematical, Physical, and Engineering Sciences, Sep 13, 376. doi:10.1098/rsta.2017.0353.

Eubanks, V. 2018. Automating inequality: How high-tech tools profile, police, and punish the poor. 1st ed. St. Martin’s Press.

Ferguson, A. G. 2017. The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. NYU Press.

Fisher, C. B.; Anushko, A. E. 2012. Research ethics is social science. – P. Alasuutari, L. Bickman, J. Brown (eds.), The Sage Handbook of Social Research Methods. London: Sage, 95–110.

Fox, J.; Gutenstein, M.; Khan, O.; South, M.; Thomson, R. 2015. OpenClinical.net: A platform for creating and sharing knowledge and promoting best practice in healthcare. – Computers in Industry 66, 63–72.

Gates, A. J.; Wood, I. B., Hetrick, W. P.; Ahn, Y.-Y. 2019. Element-centric clustering comparison unifies overlaps and hierarchy. – Scientific Reports 9, 1, 1–13. https://doi.org/10.1038/s41598-019-44892-y.

Grechuk, B.; Zabarankin, M. 2018. Direct Data-based Decision Making under Uncertainty. – European Journal of Operational Research 267, 1, 200–211.

Haardörfer, R. 2019. Taking Quantitative Data Analysis Out of the Positivist Era: Calling for Theory-Driven Data-Informed Analysis. – Health Education and Behavior 46, 4, 537–540. https://doi.org/10.1177/1090198119853536.

Hargittai, E. 2020. Potential Biases in Big Data: Omitted Voices on Social Media. – Social Science Computer Review 38, 1, 10–24. https://doi.org/10. 1177/0894439318788322.

Heckmann, N.; Steger, T.; Dowling, M. 2016. Organizational capacity for change, change experience, and change project performance. – Journal of Business Research 69, 2, 777–784.

Helbig, N.; Cresswell, A. M., Burke, G. B.; Luna-Reyes, L. 2012. The Dynamics of Opening Government Data: A White Paper. Center for Technology in Government, The Research Foundation of State University of New York, Albany. https://ctg.albany.edu/media/pubs/pdfs/opendata.pdf.

Heymann, M. 2018. How the service industry can corral big data into a business‐building tool. – Global Business and Organizational Excellence 37, 5, 39–46.

Hoffmann, A. L. 2019. Where fairness fails: Data, algorithms, and the limits of antidiscrimination discourse. – Information, Communication and Society 22, 7, 900–915. https://doi.org/10.1080/1369118X.2019.1573912.

Holmberg, J.; Robèrt, K. E. 2000. Backcasting – A framework for for strategic planning. – The International Journal of Sustainable Development and World Ecology 7, 4, 291–308. https://doi.org/10.1080/13504500009470049.

Hood, C. 2007. Public service management by numbers: Why does it vary? Where has it come from? What are the gaps and puzzles? – Public Money and Management 27, 95–102.

Jackson, P. M. 2011. Governance by numbers: what we have learned over the past 30 years? – Public Money and Management 31, 13–26.

Janssen, M.; Charalabidis, Y.; Zuiderwijk, A. 2012. Benefits, adoption barriers and myths of open data and open government. – Information Systems Management 29, 4, 258–268.

Jetzek, T.; Avital, M.; Bjorn-Andersen, N. 2014. Data-Driven Innovation through Open Government Data. – Journal of Theoretical and Applied Electronic Commerce Research 9, 2. .

Jones, R. A.; Jimmieson, N. L.; Griffiths, A. 2005. The impact of organizational culture and reshaping capabilities on change implementation success: The mediating role of readiness for change. – Journal of Management Studies 42, 2, 361–386.

 

Jones-Devitt, S.; Samiei, C. 2011. The use of league tables and student surveys to determine ‘quality’ in higher education. – M. Modelsworth, L. Nixon, R. Scullion (eds.), The Marketisation of Higher Education: The Student as Consumer. Oxford: Routledge.

Kearns, M.; Roth, A. 2019. The Ethical Algorithm: The Science of Socially Aware Algorithm Design. Oxford University Press.

Kennedy, H.; Poell, T.; Van Dijck, J. 2015. Data and agency. – Big Data and Society 2, 2. https://doi.org/10.1177/2053951715621569,

Kirsch, C.; Parry, W.; Carey, P.; Shaw, D. 2014. Empirical development of a model of performance drivers in organizational change projects. – Journal of Change Management, 14, 1, 99–125.

Latzer, M.; Saurwein, F.; Just, N. 2018. Governance-Choice Method: In Search of the Appropriate Level of State Intervention. – H. Van den Bulck et al. (eds.), The Palgrave Handbook of Media Policy Research Methods. Palgrave Macmillan.

Lehne, M.; Sass, J.; Essenwanger, A.; Schepers, J.; Thun, S. 2019. Why digital medicine depends on interoperability. – NPJ: Digital Medicine 2, 1, 1–5. https://doi.org/10.1038/s41746-019-0158-1.

Löbl, D.; Onneken, P. (rež.) 2015. Schlank durch Schokolade: Eine Wissenschaftslüge geht um die Welt.

Lynn, L. E. 2012. Public Management. – B. G. Peters, J. Pierre (eds.), Sage Handbook of Public Administration. London: Sage, 17–31.

Lyotard, J. F. 1979. The Postmodern Condition: A Report on Knowledge. Trans. G. Bennington, M. Massumi. Minneapolis MN: University of Minnesota Press.

Masso, A.; Kasapoglu, T. 2020. Understanding Power Positions in a New Digital Landscape: Perceptions of Syrian Refugees and Border Experts on Relocation Algorithm. – Information, Communication, Society 23, 8, 1203–1219. https://doi.org/10.1080/1369118X.2020.1739731.

Masso, A.; Männiste, M.; Siibak, A. 2020. ‘End of Theory’ in the Area of Big Data: Methodological Practices and Challenges in the Social Media Studies. – Acta Baltica Historiae et Philosophiae Scientiarum 8, 1, 33–61. https://www.ies.ee/bahps/acta-baltica/abhps-8-1/02_Masso-2020-1-02.pdf.

May, T. 2011. Social Research: Issues, Methods and Process. Maidenhead, Berks: Open University Press, Mc Graw-Hill.

Menzel, D. C. 1999. The morally mute manager: fact or fiction? – Public Personnel Management 28, 4, 515–527.

Milan, S.; Treré, E. 2019. Big Data from the South(s): Beyond Data Universalism. – Television and New Media 20, 4, 319–335. https://doi.org/10.1177/1527476419837739.

Miller, P. 2001. Governing by numbers: why calculative practices matter. – Social Research 68, 379–396.

Männiste, M.; Masso, A. 2018. The role of institutional trust in Estonians’ privacy concerns. – Studies of Transition States and Societies 10, 2, 22–39. https://nbn-resolving.org/urn:nbn:de:0168-ssoar-62614-8.

Männiste, M.; Masso, A. 2020. ‘Three Drops of Blood for the Devil’: Data Pioneers as Intermediaries of Algorithmic Governance Ideals. – Mediální Studia = Media Studies 14, 1, 55–74.

Mühlhoff, R. 2019. Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning. – New Media and Society, 1461444819885334. https://doi.org/10.1177/1461444819885334.

Noble, S. U. 2018. Algorithms of Oppression: How Search Engines Reinforce Racism. NYU Press.

Noda, T.; Yoshida, A.; Honda, M. 2019. Economic Effect by Open Data in Local Government of Japan. – J. Baghdadi, A. Harfouche (eds.), ICT for a Better Life and a Better World: The Impact of Information and Communication Technologies on Organizations and Society. Springer, 165–173.

Obermeyer, Z., Powers, B.; Vogeli, C.; Mullainathan, S. 2019. Dissecting racial bias in an algorithm used to manage the health of populations. – Science 366 (6464), 447–453. https://doi.org/10.1126/science.aax2342.

Palonka, J.; Begovic, D. 2017. Data Management Maturity for Knowledge-Based Decision-Making: Case of Polish Third Sector Organizations. – N. Baporikar (ed.), Global Practices in Knowledge Management for Societal and Organizational Development. IGI Global, 126–144.

Parry, W. 2015. Big Change, Best Path: Successfully Managing Organizational Change with Wisdom, Analytics and Insight. Kogan Page Publishers.

Patra, R. 2019. Digital Inequalities in a Datafied World: A Case of the Estonian e-Residency Program: Magistritöö. Ragnar Nurkse innovatsiooni ja valitsemise instituut, Tallinna Tehnikaülikool.

Peters, J. D. 2001. “The only proper scale of representation”: The politics of statistics and stories. – Political Communication 18, 4, 433.

Pollitt, C.; Bouckaert, G. 2017. Public Management Reform. A Comparative Analysis – Into the Age of Austerity. Oxford: OUP

Pugna, I.; Dutescu, A.; Stanila, G. O. 2018. Performance management in the data-driven organisation. – Proceedings of the International Conference on Business Excellence 12, 1, 816–828. https://content.sciendo.com/view/journals/picbe/12/1/article-p816.xml.

Robinson, J. B. 1990. Futures under glass: a recipe for people who hate to predict. – Futures 22, 8, 820–842.

Rossi, P. H.; Lipsey, M. W.; Henry, G. T. 2019. Evaluation: A Systematic Approach. Los Angeles: Sage.

Scannapieco, M.; Iannone, M. 2014. Native American Indian Child Welfare System Change: Virtual Implementation of a Data System Based on Practice Models. – Journal of Technology in Human Services 32, 3, 220–235.

Segura, M. S.; Waisbord, S. 2019. Between Data Capitalism and Data Citizenship. – Television and New Media 20, 4, 412–419. .

Smith, M .E. 2002. Success rates for different types of organizational change. – Performance Improvement 41, 1, 26–33.

Stubbs, E. 2014. The Value of business analytics. – Jay Liebowitz (ed), Business Analytics: An Introduction. CRC Press, Taylor and Francis Group, 1–28.

Tammpuu, P.; Masso, A. 2019. Transnational Digital Identity as an Instrument for Global Digital Citizenship: The Case of Estonia’s E-Residency. – Information Systems Frontiers 21, 3, 621–634. https://doi.org/10.1007/s10796-019-09908-y.

Taylor, L. 2017. What is data justice? The case for connecting digital rights and freedoms globally. – Big Data and Society 4, 2. https://doi.org/10.1177/20539517 17736335.

Thatcher, J.; O’Sullivan, D.; Mahmoudi, D. 2016. Data colonialism through accumulation by dispossession: New metaphors for daily data. – Environment and Planning D: Society and Space 34, 6, 990–1006. https://doi.org/10. 1177/0263775816633195.

Weimer, D. L.; Vining, A. R. 2005. Policy Analysis: Concepts and Practice. 4th ed. New Jersey: Pearson, Prentice Hall.

Wu, X.; Howlett, M.; Ramesh, M. (eds.) 2018. Policy Capacity and Governance: Assessing Governmental Competences and Capabilities in Theory and Practice. Palgrave Macmillan.