_- La segunda ola de la rendición de cuentas algorítmica

_- Durante la última década, la rendición de cuentas de los sistemas basados en el uso de algoritmos se ha convertido en una importante preocupación para los científicos sociales, informáticos, periodistas y abogados. Se han producido filtraciones que han dado lugar a debates vibrantes sobre la imposición de penas en base al uso de algoritmos. Los investigadores han expuesto casos de gigantes tecnológicos que muestran las mismas ofertas de trabajo con salarios más bajos a las mujeres, que discriminan a los ancianos, que implementan patrones oscuros y capciosos que engañan a los consumidores para que compren cosas, y que manipulan a los usuarios para que caigan en agujeros de contenido fanático. Aquellos legisladores comprometidos con la defensa de lo público han comenzado a trabajar en la transparencia algorítmica y en la justicia en la red, basándose en el trabajo de académicos del ámbito del Derecho, que reclaman un proceso tecnológico justo, neutralidad de las plataformas y principios de no-discriminación.

Esta labor política está surgiendo a medida que los expertos traducen la investigación académica y las demandas de los activistas en leyes y reglamentos. Los legisladores están proponiendo proyectos de ley que requieren estándares básicos de transparencia y de auditoría de los algoritmos. Estamos comenzando un largo camino para asegurar que los procesos de contratación y de cobertura financiera basados en el uso de inteligencia artificial (IA) no se utilicen si tienen un impacto discriminatorio en las comunidades históricamente vulnerables. Y así como esta “primera ola” de investigación y de activismo sobre la rendición de cuentas algorítmica ha apuntado a los sistemas existentes, una “segunda ola” emergente se ocupa de cuestiones más estructurales. Ambas olas serán esenciales para asegurar una economía política de la tecnología más justa y genuinamente emancipadora.

Aunque hubo un primer momento de enamoramiento por la evaluación computacional de las personas, muchos —incluyendo miembros del establishment corporativo y gubernamental— reconocen ahora que los datos pueden estar sesgados, o ser inexactos o inapropiados. Los académicos han establecido espacios institucionales como el evento anual “Fairness, Accountability, and Transparency in Machine Learning”, con el objetivo de que programadores, juristas y científicos sociales interactúen regularmente y puedan abordar preocupaciones relativas a la justicia social. Cuando las empresas y los gobiernos anuncian planes para utilizar IA, se presentan desafíos y se reclaman auditorías. En algunos casos esto da lugar a verdaderos cambios políticos. Por poner un ejemplo, el gobierno Liberal australiano ha revertido recientemente algunas políticas de “robodebt” (que consiste en el uso de programas informáticos automatizados para la recuperación de deudas) y, finalmente, ha tenido que echarse atrás ante la justificada indignación provocada.

Todos estos avances son el resultado de una “primera ola” (tomando prestada una periodización familiar en la historia del feminismo) de promoción e investigación acerca de la rendición de cuentas algorítmica. Estas son acciones vitales, y deben prolongarse indefinidamente —debe haber una constante vigilancia del uso de IA en los sistemas socio-técnicos, que son con demasiada frecuencia los legisladores no reconocidos de nuestro acceso diario a la información, al capital, e incluso a las citas amorosas—. Sin embargo, como han advertido Julia Powles y Helen Nissenbaum, no podemos detenernos en esta primera ola. Ellas plantean las siguientes preguntas:

¿Qué sistemas vale realmente la pena crear? ¿Cuáles son los problemas más urgentes a abordar? ¿Quién está mejor posicionado para crear estos sistemas? ¿Y quién toma la decisión de hacerlo? Necesitamos auténticos mecanismos de rendición de cuentas, ajenos a las empresas y accesibles para los ciudadanos. Cualquier sistema de IA que se integre en la vida de las personas debe ser objeto de contestación, de rendición de cuentas y de reparación ante los ciudadanos y los representantes del interés público.

Mientras que la primera ola de rendición de cuentas algorítmica se centra en la mejora de los sistemas existentes, una segunda ola de investigación cuestiona si estos deben ser utilizados —y, en caso afirmativo, quién debe gobernarlos—.

Por ejemplo, en lo que respecta al reconocimiento facial, los investigadores de la primera ola han demostrado que muchos sistemas no están preparados para identificar correctamente los rostros de las minorías. Estos investigadores se centran en hacer que el reconocimiento facial sea más inclusivo, asegurándose de que tenga el mismo índice de éxito para las minorías que para las mayorías. Sin embargo, investigadores y defensores de la segunda ola se han preguntado lo siguiente: ¿Si estos sistemas se utilizan a menudo para la opresión o la estratificación social, debe ser la inclusión el objetivo? ¿No es mejor prohibirlos, o al menos asegurar que sólo se autoricen para usos socialmente productivos?

Las preocupaciones de la segunda ola son todavía más profundas en relación al uso de la IA para la “clasificación facial”, que ha sido promovida como un mecanismo capaz (o inminentemente capaz) de reconocer la orientación sexual, las tendencias criminales y el riesgo de mortalidad a partir de imágenes de rostros.

No basta con que la comunidad investigadora recopile los porqués de “la inferencia facial de las tendencias criminales”. Cuando esta inferencia se realiza a partir de un conjunto de datos pequeño o sesgado, es poco probable que proporcione pistas contundentes sobre quién tiene más probabilidades de cometer un delito. En todo caso, deberíamos cuestionarnos también si este tipo de investigación debe o no tener cabida en nuestra sociedad.

Debemos esperar que esta diferenciación entre las preocupaciones de la primera y la segunda ola nos ponga al corriente también de las discusiones sobre la aplicación de la IA y de la robótica en el campo de la medicina. Para algunos investigadores que están desarrollando aplicaciones de salud mental, por ejemplo, las preocupaciones de la primera ola de rendición de cuentas algorítmica se centrarán en si un corpus lingüístico de estímulos y respuestas se adapta adecuadamente a diversas comunidades con distintos acentos y formas de auto-presentarse.

Los críticos de la segunda pueden introducir un enfoque más jurídico y económico-político que cuestione si dichas aplicaciones están alterando prematuramente los mercados (y la profesión) de atención a la salud mental. El objetivo entonces sería acelerar la sustitución de software barato (si es limitado) por profesionales expertos y empáticos, lo cual requiere una mayor inversión. Estas cuestiones laborales son ya un asunto básico en la regulación de las plataformas sociales. Predigo, en este caso, que se extenderán a muchas áreas de la investigación sobre la rendición de cuentas de los algoritmos, a medida que los críticos exploren quién se está beneficiando (y quién está asumiendo la responsabilidad) de la recopilación, el análisis y el uso de los datos.

Por último (en lo que respecta a este post), podemos apreciar una división en la regulación financiera. Las voces del establishment han aclamado la tecnología financiera (fintech) como una forma revolucionaria de incluir a más individuos en el sistema financiero. Dados los sesgos en la valoración crediticia realizada en base a datos “marginales” o “alternativos” (como el uso de los medios sociales), las clases dirigentes se sienten relativamente cómodas con algunas intervenciones “anti-sesgo” básicas.

Pero también deberíamos hacernos preguntas más amplias sobre cuándo la “inclusión financiera” puede ser depredadora o alarmante (como la vigilancia 24/7), o generar subordinaciones de poder interesadas (como en el caso de una aplicación india de fintech, que reduce la “puntuación” de personas implicadas en actividades políticas). ¿Qué sucede cuando la tecnología financiera permite una forma de “deuda perpetua”? Kevin P. Donovan y Emma Park han estudiado este problema en Kenia:

A pesar de ser pequeños, los préstamos tienen un coste elevado, a veces de hasta el 100% anualizado. Como nos dijo un nairobiano, estas aplicaciones “te dan dinero poco a poco, y luego van a por tu cuello”. No es el único que valora así el “fintech”, la industria de la tecnología financiera en expansión que proporciona préstamos a través de aplicaciones móviles. Durante nuestra investigación, estos regímenes de endeudamiento emergentes han sido calificados como “catastróficos”, una “crisis” y un gran “problema social”. Los periódicos informan de que las aplicaciones móviles de préstamos son la base de una ola de desorden doméstico, violencia e incluso suicidios.

Como ha argumentado Abbye Atkinson, debemos reconsiderar cuál es el ámbito de aplicación adecuado del “crédito como prestación social”. A veces solo aporta el cruel optimismo de un espejismo de Horatio Alger (o, peor aún, la crueldad optimista que caracteriza la psico-política del capitalismo tardío). Así como las razones económicas pueden ser racionalizadas, el entusiasmo por la cobertura financiera “basada en la inteligencia artificial” tiende a ocultar las dinámicas problemáticas de las finanzas. De hecho, si no se ponen en tela de juicio, la economía convencional y la IA podrían conferir una pátina de legitimidad a ciertos sistemas sociales quebrantados.

En la actualidad, la primera y la segunda olas de responsabilidad algorítmica son en gran medida complementarias. La primera ola ha identificado y corregido problemas claros en la IA y ha aumentado la conciencia pública de sus sesgos y sus límites. La segunda ola ha ayudado a ralentizar el despliegue de la IA y la robótica lo suficiente como para que la primera ola tenga más tiempo y espacio para desplegar reformas constructivas. Es muy posible que en el futuro se produzcan enfrentamientos entre los que quieren reparar, y los que están abiertos a poner fin o limitar la evaluación computacional de las personas. Por ejemplo: los que se comprometen a reducir los índices de error de los sistemas de reconocimiento facial para las minorías pueden querer añadir más rostros de minorías a esas bases de datos, mientras que los que encuentran opresivo el reconocimiento facial se resistirán a esa “reforma”, al considerarla una forma más de inclusión depredadora. Pero, por ahora, considero que ambas olas comparten un objetivo común: hacer que los sistemas socio-técnicos sean más sensibles a las comunidades vulnerables.

Frank Pasquale es profesor de derecho en la Facultad de Derecho Francis King Carey de la Universidad de Maryland.

Fuente:
https://lpeblog.org/2019/11/25/the-second-wave-of-algorithmic-accountability/#more-3051 Traducción:Sara Suárez Gonzalo

Al-Juarismi, el erudito persa que introdujo los números a Occidente y nos salvó de tener que multiplicar CXXIII por XI

Galileo, Newton, Einstein... apenas tres de los grandes de la ciencia occidental. Pero como el mismo Newton escribió, citando al erudito del siglo XII Bernardo de Chartres, "Si he visto más lejos es porque estoy sentado sobre los hombros de gigantes". Varios de esos gigantes sobre los que se sentaron y se siguen sentando los científicos, han quedado en un olvido relativo... aunque a veces, si nos fijamos con cuidado, los encontramos en las páginas de los gigantes conocidos. Según los historiadores, el mayor legado del gran matemático italiano, Leonardo Pisano, más conocido como Fibonacci, fue ayudar a Europa a descartar el antiguo sistema de números romanos y cambiarlo por números indo-arábigos. Aparecieron en su "Liber Abaci" o "Libro de cálculo", que escribió en 1202 tras estudiar con un maestro árabe.
Quizás también te interese

• 7 brillantes desafíos mentales que han sido populares en el mundo durante siglos
• "Ninguno de nosotros podría encontrar un mejor compañero de vida": Marie y Pierre Curie y otras 3 grandes historias de amor de la ciencia
• La genialidad de la actitud relajada de los perezosos y por qué te conviene imitarlos
• En qué consiste la milenaria "dieta bíblica" de Israel

 https://www.bbc.com/mundo/noticias-44933192

En ese mismo libro, hay una referencia a un texto anterior llamado "Modum algebre et almuchabale" y en el margen está el nombre Maumeht, que es la versión latinizada del nombre, Mohammed.

La persona a la que se refiere es Abu Abdallah Muḥammad ibn Mūsā al-Jwārizmī, conocido en español como Al-Juarismi, quien vivió aproximadamente entre los años 780 y 850. Fue gracias a él que los intelectuales europeos se enteraron de la existencia de los números indo-arábigos. De los indios a Medio Oriente, de Bagdad a Europa La obra de Al-Juarismi toca un aspecto crucial de todas nuestras vidas. Por ella, el mundo europeo se dio cuenta de que su forma de hacer aritmética, que todavía se basaba esencialmente en números romanos, era irremediablemente ineficiente y francamente torpe. Si te pidiera que multiplicaras 123 por 11, podrías hacerlo hasta en tu cabeza. La respuesta es 1.353. Pero intenta hacerlo con números romanos: tienes que multiplicar CXXIII por XI. Se puede hacer pero, créeme, no es divertido.


Derechos de autor de la imagenGETTY IMAGES

mage captionNi siquiera sumar y restar es igual de fácil pero, ¿notaste que estas ecuaciones son incorrectas? Si quitas sólo un fósforo las corregirás (respuestas al final).

En su "Libro de la suma y de la resta, según el cálculo indio", Al-Juarismi describió una idea revolucionaria: se puede representar cualquier número que desee con solo 10 sencillos símbolos. Esta idea de usar solo diez símbolos -los dígitos del 1 al 9 más un símbolo 0- para representar todos los números desde uno hasta el infinito, fue desarrollada por matemáticos indios alrededor del siglo VI y es difícil exagerar su importancia.

Punto y aparte Al-Juarismi y sus colegas hicieron más que traducir el sistema indio al árabe: crearon el punto decimal. Lo sabemos gracias a la obra del matemático Abu'l Hasan Ahmad ibn Ibrahim Al-Uqlidisi. En "Kitab al-fusul fi al-hisab al-Hindi" de los años 952-3 -el manuscrito más antiguo en el que se propone un tratamiento de las fracciones decimales, escrito apenas un siglo después de Al-Juarismi- muestra que el mismo sistema decimal se puede extender para describir no solo los números enteros sino también las fracciones. La idea del punto decimal nos resulta tan familiar, que es difícil entender cómo antes se las arreglaban sin ella. Como toda gran ciencia, es deslumbrantemente obvio después de haber sido descubierto.

• Si te interesa Euler... El enigma resuelto hace 300 años que nos permite acceder a internet

¿Quién era Al-Juarismi?

Al-Juarismi, el gran matemático que le dio a Occidente los números y el sistema decimal, era además astrónomo, cortesano y favorito del Califa al-Mam'un.

Era un emigrante de Persia oriental a Bagdad y producto de su época, la Edad de Oro del islam.

• Lee sobre la época en la que Al-Juarismi en: La arrolladora idea de la Edad de Oro del islam

Su manera de pensar era audaz y gozaba de un gran un lujo: estaba rodeado de libros.

Gracias al Movimiento de la traducción, que recogió obras científicas de todo el mundo conocido, a fines del siglo IX, un importante corpus matemático griego -que incluía obras de Euclides, Arquímedes, Apolonio de Perga, Tolomeo y Diofanto- había sido traducido al árabe.

Del mismo modo, las matemáticas antiguas babilónicas e indias, así como las contribuciones más recientes de los sabios judíos, estaban disponibles para los estudiosos islámicos.

Al-Juarismi se encontraba en la sorprendente posición de tener acceso a diferentes tradiciones matemáticas.

La griega trataba principalmente de la geometría, la ciencia de formas como triángulos, círculos y polígonos, y cómo calcular el área y el volumen.

La india había inventado el sistema decimal de diez símbolos que hacía el cálculo mucho más simple.

Al combinar la intuición geométrica con precisión aritmética, imágenes griegas y símbolos indios, inspiró una nueva forma de pensamiento matemático que hoy llamamos álgebra.

Al-Jabr

En el libro de Al-Juarismi "Al-Jabr w'al-Muqabala" es la primera vez que aparece la palabra Al-Jabr. Álgebra.

Empieza diciendo: "Descubrí que las personas requieren tres tipos de números: unidades, raíces y cuadrados".

Así te prepara para un libro sobre cómo resolver ecuaciones mediante métodos algebraicos.

Ya en los tiempos de Babilonia se resolvían ecuaciones cuadráticas.

La diferencia es que no había fórmulas, sino que cada problema se resolvía como único: "Toma la mitad de 10, que es 5, y el cuadrado, que es 25"; y más adelante, otro diría: "Toma la mitad de 12, que es 6, y el cuadrado, que es 36".

Así sucesivamente, te hacían pasar por el mismo proceso una y otra vez con diferentes números, según el caso.

Para Al-Juarismi, la solución no se eran números que debíamos descubrir, sino un proceso que pudiéramos aplicar.

Es decir: el cuadrado significa tomar la raíz y multiplicarla por sí misma. Y esa fórmula es cierta, cualquiera que sea la raíz. Si es 5, es 5 veces 5, es 25; si es 3, es 3 veces 3...

No usar números sino símbolos resultó ser una idea increíblemente liberadora, pues permite resolver problemas sin atascarse en cálculos numéricos desordenados.

Algoritmi de número Indorum

Al abandonar temporalmente el enlace con números específicos, manipulas los nuevos objetos (x, y, z) de acuerdo a las reglas que su libro explicó: una serie de recetas generales.

Los números que los símbolos representan en tu problema particular aparecerán milagrosamente al final.

Piensa en algo sencillo y cotidiano, que era lo que Al-Juarismi quería ayudar a resolver:

Ahmed muere y deja 80 monedas de herencia. A un amigo le deja un cuarto de ella; a su viuda, un octavo; lo demás es para sus tres hijos. ¿Cuánto le corresponde a cada uno de ellos?

Al Juarismi hizo que lo desconocido fuera parte de la ecuación: lo que llamamos X en algebra. Entonces:

El tratado escrito por Al-Juarismi circa 825 sobre el sistema numérico indio-árabe fue traducido en el siglo XII con el nombre "Algoritmi de numero Indorum", que significa "Algoritmi sobre los números de los indios"; "Algoritmi" fue la latinización del traductor del nombre Al-Juarismi.

En él nos dio esas recetas que, debido a esa traducción de su nombre, terminaron llamándose algoritmos.

Al-Juarismi hizo posible que el álgebra existiera como un área de las matemáticas por derecho propio, y que se convirtiera en un hilo unificador de casi todas las demás.

El álgebra es una hermosa serie general de principios, y si los comprendes, la entenderás.

¿Cuál es la verdadera importancia del álgebra?

Se ha utilizado a lo largo de las eras para resolver todo tipo de problemas.

Si la masa de una bala de cañón es ​​'m', y la distancia que tiene que viajar, 'd', usas álgebra para calcular el ángulo óptimo en el que tienes que apuntar tu cañón.

Ese tipo de conocimiento gana guerras.

O llamemos a la velocidad de la luz 'c', el cambio en la masa de un núcleo atómico 'm', y luego calculemos la energía liberada con esta sencilla fórmula algebraica:

Derechos de autor de la imagenGETTY IMAGES

Image captionLa ecuación más famosa, la equivalencia entre la masa y la energía dada por la expresión de la teoría de la relatividad.

Ese tipo de conocimiento es el poder real.

Recuerda que puedes recibir notificaciones de BBC News Mundo. Descarga la nueva versión de nuestra app y actívalas para no perderte nuestro mejor contenido.

El Deseo

Minería de datos: imagino a unos tipos duros, con monos azules y un casco con luz en la cabeza que descienden a las profundidades de nuestras almas

Me conmueve mucho la expresión “minería de datos”. Minería de datos, minería de datos. Imagino a unos tipos duros, con monos azules y un casco con luz en la cabeza. Descienden a las profundidades de su alma de usted, y de la mía, de nuestras almas, y en esa oscuridad (porque el alma es oscura) clavan el pico y la pala para llenar sus carretillas de la materia viscosa de la que está hecha la conciencia. Cuando el conjunto llega a la superficie, otros especialistas, mineros también, aunque con una cualificación superior, separan la ganga de la mena. Con la mena, supongo yo, fabrican los algoritmos prescriptivos de los que deducen, por ejemplo, no cuando necesitaré cambiar de televisor, sino cuándo desearé hacerlo. Porque es cierto que un día me levantaré de la cama y necesitaré introducir en mi vida un cambio que la acelere un poco, que la coloque al nivel de un buen producto audiovisual, de un excelente anuncio de móviles, o de automóviles. Ese día llegará, yo aún lo ignoro, pero los algoritmos que procesan los rasgos de nuestra personalidad ya están al tanto. De modo que un miércoles cualquiera, mientras preparo el primer té de la mañana, pensaré que estaría bien tener en la cocina un televisor inteligente. Un minuto antes, o quizá un minuto después, pero de forma casi simultánea, recibiré en mi móvil la publicidad del televisor soñado. Y más que eso: la oferta de un crédito para adquirirlo porque el vendedor del electrodoméstico y el banco comparten los tesoros económicos extraídos de nuestro subconsciente. Ya sabemos, en fin, cómo aprovechan la mena. Muchos se preguntarán qué rayos hacen con la ganga, es decir, con la mierda que acompañaba al dato. La ganga, me temo, es el televisor que compraré ese miércoles.

https://elpais.com/elpais/2018/04/26/opinion/1524732892_466811.html