Se está produciendo una revolución silenciosa. En contraste con gran parte de la cobertura de la prensa en inteligencia artificial, esta revolución no se trata de la ascendencia de un ejército androide inteligente. Por el contrario, se caracteriza por un aumento constante en la automatización de los procesos de decisión tradicionalmente humanos en todas las organizaciones de todo el país. Mientras que los avances como AlphaGo Zero crean titulares llamativos, el aprendizaje automático y las técnicas estadísticas (mínimos cuadrados ordinarios, regresión logística, árboles de decisión) que están agregando valor real al resultado final de muchas organizaciones son bastante convencionales. Las aplicaciones en el mundo real van desde diagnósticos médicos y sentencias judiciales hasta el reclutamiento profesional y la asignación de recursos en agencias públicas.
¿Esta revolución es algo bueno? Parece que hay un grupo creciente de autores, académicos y periodistas que responderían negativamente. Los títulos de libros en este género incluyen Weapons of Math Destruction, Automating Inequality y The Black Box Society. También ha habido una avalancha de artículos largos de estilo investigativo como Machine Bias, Austerity Is an Algorithm y Are Algorithms Building the New Infrastructure of Racism? En el corazón de este trabajo está la preocupación de que los algoritmos a menudo sean herramientas opacas, tendenciosas e irresponsables en beneficio del poder institucional. Entonces, ¿qué tan preocupados deberíamos estar acerca de la ascendencia moderna de los algoritmos?
Estas críticas e investigaciones a menudo son reveladoras e iluminadoras y han hecho un buen trabajo al desvirtuar la idea de que los algoritmos son puramente objetivos. Sin embargo, hay un patrón entre estas críticas, que es que raramente preguntan qué tan bien funcionarían los sistemas que analizan sin algoritmos. Y esa es la pregunta más relevante para los profesionales y los responsables de la formulación de políticas: ¿cómo se comparan el sesgo y el rendimiento de los algoritmos con el statu quo? En lugar de simplemente preguntar si los algoritmos son defectuosos, deberíamos preguntarnos cómo estos defectos se comparan con los de los seres humanos.
¿Qué dice la investigación?
Existe un gran cuerpo de investigación sobre la toma de decisiones algorítmicas que data de varias décadas. Y los estudios existentes sobre este tema tienen una conclusión notablemente similar: los algoritmos son menos tendenciosos y más precisos que los humanos a los que reemplazan. A continuación hay una muestra de la investigación sobre lo que sucede cuando a los algoritmos se les da el control de las tareas tradicionalmente llevadas a cabo por los humanos (todo el énfasis es mío):
- En 2002, un equipo de economistas estudió el impacto de los algoritmos de suscripción automatizados en la industria de préstamos hipotecarios. Sus hallazgos principales fueron "que los sistemas de suscripción automatizada predicen con mayor precisión el incumplimiento que los suscriptores manuales" y "que esta precisión incrementada da como resultado tasas de aprobación de los prestatarios más altas, especialmente para los solicitantes subatendidos". En lugar de marginar a los compradores, en realidad benefició más a este segmento de consumidores.
- Bo Cowgill llegó a una conclusión similar en la Escuela de Negocios Columbia cuando estudió el rendimiento de un algoritmo de selección de trabajos en una empresa de software (próxima investigación). Cuando la compañía implementó el algoritmo para decidir qué solicitantes debían obtener entrevistas, el algoritmo en realidad favoreció a los candidatos "no tradicionales" mucho más que los evaluadores humanos. Comparado con los humanos, el algoritmo exhibió significativamente menos prejuicios contra los candidatos que estaban subrepresentados en la empresa (como aquellos sin referencias personales o títulos de universidades prestigiosas).
- En el contexto de las audiencias previas a la audiencia en la ciudad de Nueva York (EE. UU.), un equipo de prominentes científicos informáticos y economistas determinó que los algoritmos tienen el potencial de lograr decisiones significativamente más equitativas que los jueces que actualmente toman decisiones sobre fianzas, con "reducciones de la tasa de encarcelamiento [de] hasta 41,9 % sin aumento en las tasas de criminalidad". También averiguaron que en su modelo "todas las categorías de delitos, incluidos los delitos violentos, muestran reducciones [en las tasas de encarcelamiento]; y estos logros se pueden lograr al mismo tiempo que se reducen las disparidades raciales".
- The New York Times Magazine recientemente publicó un reportaje para responder la pregunta: "¿Un algoritmo puede decir cuándo los niños están en peligro?". Resulta que la respuesta es "sí" y que los algoritmos pueden realizar esta tarea con mucha más precisión que los humanos. En lugar de exacerbar los sesgos raciales perniciosos asociados con algunos servicios del Gobierno, "la experiencia de Allegheny sugiere que su herramienta de evaluación es menos mala para ponderar los sesgos de lo que han sido los evaluadores humanos".
- Por último, al observar los datos históricos de las empresas que cotizan en bolsa, un equipo de profesores de finanzas se propuso construir un algoritmo para elegir los mejores miembros de la junta para una empresa determinada. Los investigadores no solo descubrieron que las empresas funcionarían mejor con miembros del consejo seleccionados algorítmicamente, sino que, en comparación con su algoritmo propuesto, "descubrieron que las empresas [sin algoritmos] tienden a elegir directores que son mucho más propensos a ser hombres, tienen una gran red, tienen mucha experiencia en la junta, actualmente sirven en más juntas y tienen antecedentes financieros".
En cada uno de estos estudios de caso, los científicos de datos hicieron lo que parece ser algo alarmante: entrenaron sus algoritmos en datos pasados que seguramente están sesgados por prejuicios históricos. Entonces, ¿qué está pasando aquí? ¿Cómo es que en tantas áreas diferentes (aplicaciones de crédito, exámenes de trabajo, justicia penal, asignación de recursos públicos y Gobierno corporativo) los algoritmos pueden reducir el sesgo, cuando muchos comentaristas nos han dicho que los algoritmos deberían hacer lo contrario?
Los seres humanos son notablemente malos tomadores de decisiones
Un secreto no tan oculto detrás de los algoritmos mencionados anteriormente es que en realidad son parciales. Sin embargo, los humanos que están reemplazando son significativamente más parciales. Después de todo, ¿de dónde provienen los sesgos institucionales si no es de los humanos que tradicionalmente han estado a cargo?
No obstante, los humanos no pueden ser tan malos, ¿verdad? Sí, podemos ser parciales, pero seguramente hay algún tipo de desempeño en el que somos buenos tomando decisiones. Desafortunadamente, décadas de investigación psicológica en el juicio y la toma de decisiones han demostrado una y otra vez que los humanos son notablemente malos jueces de la calidad en una amplia gama de contextos. Gracias al trabajo pionero de Paul Meehl (y al trabajo de seguimiento de Robyn Dawes), hemos sabido desde, por lo menos, la década de 1950 que los modelos matemáticos muy simples superan a los supuestos expertos en predecir resultados importantes en entornos clínicos.
En todos los ejemplos mencionados anteriormente, los humanos que solían tomar decisiones eran tan notablemente malos que reemplazarlos con algoritmos aumentaba la precisión y reducía los sesgos institucionales. Esto es lo que los economistas llaman una mejora de Pareto, donde una política supera la alternativa en cada resultado que nos importa. Si bien a muchos críticos les gusta implicar que las organizaciones modernas persiguen la eficiencia operativa y una mayor productividad a expensas de la equidad y la justicia, toda la prueba disponible en estos contextos sugiere que no existe tal compensación: los algoritmos ofrecen resultados más eficientes y equitativos. Si algo debe alarmarle, debería ser el hecho de que muchas decisiones importantes son tomadas por los seres humanos, que sabemos que son inconsistentes, tendenciosos y fenomenalmente malos para tomar decisiones.
Mejorando en el status quo
Por supuesto, deberíamos hacer todo lo posible para erradicar el sesgo institucional y su influencia perniciosa en los algoritmos de toma de decisiones. Las críticas a la toma de decisiones algorítmicas han engendrado una ola de investigación rica en aprendizaje automático que toma más en serio las consecuencias sociales y políticas de los algoritmos. Existen nuevas técnicas emergentes en estadística y aprendizaje automático que están diseñadas específicamente para abordar las preocupaciones sobre la discriminación algorítmica. Incluso hay una conferencia académica cada añoen la que los investigadores no solo discuten los desafíos éticos y sociales del aprendizaje automático, sino que también presentan nuevos modelos y métodos para garantizar que los algoritmos tengan un impacto positivo en la sociedad. Es probable que este trabajo sea aún más importante a medida que los algoritmos menos transparentes, como el aprendizaje profundo, se vuelvan más comunes.
Sin embargo, incluso si la tecnología no puede resolver completamente los males sociales del sesgo institucional y la discriminación perjudicial, la prueba revisada aquí sugiere que, en la práctica, puede jugar un papel pequeño pero mensurable en la mejora del status quo. Este no es un argumento para el absolutismo algorítmico o la fe ciega en el poder de las estadísticas. Si encontramos en algunos casos que los algoritmos tienen un grado inaceptablemente alto de sesgo en comparación con los procesos actuales de toma de decisiones, entonces no hay daño al seguir la prueba y mantener el paradigma existente. Sin embargo, el compromiso de seguir la prueba se reduce en ambos sentidos y debemos estar dispuestos a aceptar que, en algunos casos, los algoritmos serán parte de la solución para reducir los sesgos institucionales. Entonces, la próxima vez que lea un titular sobre los peligros del sesgo algorítmico, recuerde mirarse en el espejo y recordar que los peligros del sesgo humano son aún peores.
No hay comentarios:
Publicar un comentario