Escala de uso de IA baja

Los mayores desarrolladores de inteligencia artificial de Silicon Valley tienen un problema de idioma. Las herramientas de IA generativa, como ChatGPT, prosperan en inglés y español. Pero las primeras investigaciones muestran que estas mismas herramientas tienen un rendimiento crónicamente deficiente en idiomas de “bajos recursos” que están menos representados en Internet. Ahora, uno de los mayores proveedores de datos de formación parece estar abordando ese problema de frente.

Scale AI, una de las empresas de datos de capacitación más destacadas de Silicon Valley, actualmente está contratando para casi 60 puestos de redacción de contratos en docenas de idiomas. Cada oferta de trabajo afirma que el trabajo es para un proyecto para entrenar "modelos de inteligencia artificial generativa para convertirse en mejores escritores". Los idiomas incluyen hausa, punjabi, tailandés, lituano, persa, xhosa, catalán y zulú, entre muchos otros. Seis ofertas de trabajo, en la categoría “expertos”, buscan contratar escritores específicamente para idiomas regionales del sur de Asia, incluidos kannada, gujarati, urdu y telugu.

Existen importantes disparidades salariales entre los idiomas: los idiomas occidentales dominan hasta 15 veces más que los del Sur Global. Por ejemplo, el puesto de trabajo para escritores alemanes paga 21,55 dólares por hora, en comparación con un puesto de trabajo para un experto en telugu que ofrece sólo 1,43 dólares por hora.

Muchos de los idiomas peor pagados se consideran de “bajos recursos”, es decir, idiomas que están menos disponibles en Internet, lo que deja a los modelos de IA con datos escasos y, a menudo, deficientes. Algunos de los idiomas más hablados del mundo, como el urdu y el bengalí, todavía se consideran de bajos recursos debido a su escasa presencia en línea. El uso de trabajadores humanos por parte de la IA para mejorar el rendimiento lingüístico de “bajos recursos” es un cambio notable, según Julian Posada, profesor asistente de la Universidad de Yale y miembro del Proyecto de Sociedad de la Información de la facultad de derecho.

“Ya has limpiado todo Internet. Ahora hay que sacar los datos de otra parte”, dijo Posada a Resto del Mundo. "Esto podría hablar de la necesidad no de datos aleatorios que se puedan obtener de 4chan, sino de datos creados por alguien con experiencia".

Hay algunas explicaciones comunes de por qué los sistemas de IA generativa son tan malos en lenguajes de bajos recursos, según Dylan Hadfield-Mennell, profesor asistente de inteligencia artificial y toma de decisiones en el Instituto Tecnológico de Massachusetts (MIT).

"Una [teoría] es que no hay suficientes datos no supervisados ​​para construir buenos modelos de, digamos, los patrones lingüísticos en bengalí”, dijo Hadfield-Mennell al Resto del Mundo, señalando lo poco que un idioma como este está representado en Internet. Hay 270 millones de hablantes nativos de bengalí (casi el 3% de la población mundial), pero sólo se utiliza en el 0,013% de todos los dominios web.

Una tarea descrita en las descripciones de contratación de Scale AI puede ser intentar abordar este problema: escribir una historia corta. Pedir a los trabajadores de datos que produzcan escritura creativa sobre un tema determinado en un idioma como el bengalí es una forma de construir un nuevo cuerpo de textos digitalizados, uno que no esté atado a los dominios de Internet existentes.

Según Posada, el uso de estas historias originales, que en su mayoría estarían libres de discursos de odio y propiedad absoluta de los desarrolladores, podría tener el beneficio adicional de reducir la necesidad de moderación del contenido en el futuro. También podría ayudar a evitar demandas potencialmente costosas, como la que está considerando The New York Times contra OpenAI.

Si bien generar nuevos datos es una solución, está claro que también están en juego otras estrategias. Otra tarea en las ofertas de trabajo pide a los escritores que "califiquen una serie de respuestas producidas por un modelo de IA".

Para Hadfield-Mennell, ese es un ejemplo claro de RLHF, o "aprendizaje por refuerzo a partir de la retroalimentación humana". RLHF es una técnica que se centra en refinar los resultados de un modelo, en lugar de cambiar únicamente sus entradas. Esto aborda otra teoría común sobre por qué los modelos tienen problemas con lenguajes de bajos recursos. "La otra posibilidad es que fundamentalmente te estés perdiendo la retroalimentación sobre cómo escribir bien en esos idiomas [de bajos recursos]", dijo.

A pesar de la compleja teoría detrás del RLHF, es relativamente sencillo para los contratistas. “Habrá un modelo que generará un montón de respuestas en bengalí y pedirá [a los trabajadores] que clasifiquen cuál es mejor. Luego entrenarán su sistema para maximizar esas clasificaciones previstas”, dijo Hadfield-Mennell. En otras palabras, el cliente de Scale AI posiblemente esté utilizando el texto producido por sus modelos para intentar mejorarlos.

El trabajo todavía requiere conocimientos lingüísticos reales. Una lista de contratos de Scale AI publicada en mayo pedía escritores en hindi y japonés, y requería que los solicitantes tuvieran una maestría o un doctorado. La única excepción para los años de estudios de posgrado fue la experiencia previa como poeta, periodista o editor de libros profesional en ese idioma. La nueva ola de contrataciones tiene requisitos menos rígidos, pero aún requiere al menos inscripción en una licenciatura en humanidades.

Un informe reciente del Washington Post encontró que Remotasks, la subsidiaria de contratación laboral de Scale AI, ha retenido o retrasado regularmente los pagos a los trabajadores en Filipinas, lo que genera dudas sobre las condiciones laborales más amplias en la empresa. Un informe publicado en julio por el grupo de investigación laboral Fairwork le dio a Remotasks una puntuación de 1 sobre 10, diciendo que la plataforma no cumplió con los estándares mínimos de salario y contratos justos.

“En un mundo perfecto, sería todo lo contrario. Se pagaría más a los idiomas de bajos recursos”.

Al ser contactado para hacer comentarios, Scale AI se negó a abordar las ofertas de trabajo en idiomas, citando la confidencialidad del cliente, pero defendió las tarifas salariales más amplias de la empresa. "Nos asociamos con la Coalición Mundial por un Salario Digno y nuestros economistas realizan análisis salariales trimestrales que tienen en cuenta una serie de factores, incluidos los costos locales de alquiler, atención médica y transporte, para garantizar una compensación justa y competitiva", dijo un portavoz. Resto del mundo.

El resultado son tarifas más bajas para los trabajadores en regiones con un salario digno más bajo, incluso si brindan muestras de un idioma menos accesible. A un escritor en lengua marathi se le ofrece como máximo 1,67 dólares por hora, mientras que a un escritor en finlandés se le garantiza casi 14 veces más. En un caso aún más extraño, a los escritores portugueses de Portugal se les ofrecía hasta 8,20 dólares la hora, mientras que a los escritores portugueses de Brasil sólo podían ganar 3,97 dólares la hora. Además de los salarios y el país de origen, la descripción de ambos puestos de trabajo es idéntica.

“En un mundo perfecto, sería todo lo contrario. se pagaría más a los idiomas de bajos recursos”, dijo al Resto del Mundo Milagros Miceli, investigadora del Instituto de Investigación de Inteligencia Artificial Distribuida (DAIR) que estudia las condiciones laborales en el trabajo de datos. A pesar de ser “más raros” en el desarrollo de la IA, a los expertos en idiomas de bajos recursos se les ofrece tan solo una quinceava parte del salario de algunos de sus homólogos de idiomas europeos.

"Existe una correlación entre los idiomas que sólo se hablan en lugares históricamente desfavorecidos y los salarios que se pueden pagar a las personas en esos lugares", dijo Miceli.

Los chatbots y las herramientas de inteligencia artificial generativa no son las únicas tecnologías que luchan por cerrar la brecha de datos sobre capacitación en idiomas de “bajos recursos”. Los productos de traducción automática, como Google Translate, todavía tienen problemas en idiomas menos dominantes, ya sean los idiomas afganos pashto y dari, o el idioma etíope amárico. Incluso las herramientas de moderación de IA de Meta suelen fallar cuando se intenta identificar el discurso de odio en idiomas de bajos recursos.

Hadfield-Mennell dijo que los trabajos anunciados son una señal de que uno de los mayores desarrolladores de Silicon Valley es consciente de las lagunas en los lenguajes de bajos recursos y, como mínimo, está invirtiendo dinero en resolver el problema.

"Es una estrategia para mejorar el rendimiento en una variedad de idiomas o una estrategia para promocionarse como si lo hubieran mejorado", dijo. "Probablemente sea un poco de ambas cosas".