La empresa creará productos que los clientes podrán utilizar para evaluar los peligros de la IA. Su líder es una exinvestigadora de Google Bard.
Scale AI, una empresa de inteligencia artificial (IA) que ayuda a otras empresas a entrenar y etiquetar su propio software de inteligencia artificial, dijo que pondrá en marcha un nuevo laboratorio de seguridad de IA destinado a abordar las preocupaciones emergentes sobre el desarrollo responsable de este tipo de tecnología.
La unidad, denominada Laboratorio de Seguridad, Evaluación y Análisis (SEAL, por sus siglas en inglés), creará un conjunto de productos que los clientes de Scale podrán utilizar para evaluar los posibles riesgos de sus implantaciones de IA. Además, se aplicarán métodos de equipo rojo para detectar fallos y sesgos en el software antes de su lanzamiento. El trabajo del laboratorio incluirá el desarrollo de sistemas de clasificación automatizados basados en grandes modelos lingüísticos y la realización de investigaciones sobre posibles daños de la IA.
El laboratorio está dirigido por Summer Yue, antigua investigadora de Google y responsable del chatbot Google Bard. En su etapa con Google, Yue trabajó en RLHF (‘aprendizaje de refuerzo a partir de la retroalimentación humana’), una técnica de entrenamiento de IA que implica tanto la orientación humana como el aprendizaje automático.
La iniciativa llega tras la explosión de servicios de IA generativa como ChatGPT, de OpenAI, y Bard, de Google, y tras un intenso debate sobre la seguridad de la IA. La semana pasada, el Presidente Joe Biden promulgó una orden ejecutiva sobre inteligencia artificial que impone límites a las empresas que desarrollan esta tecnología. Una disposición, por ejemplo, exige a las empresas que desarrollen modelos que puedan plantear riesgos para la seguridad nacional que los comuniquen al gobierno. En el Reino Unido, por su parte, el Primer Ministro Rishi Sunak celebró una cumbre sobre la seguridad de la IA en Bletchley Park, donde se reunieron líderes políticos y empresariales, entre ellos la Vicepresidenta estadounidense Kamala Harris y Elon Musk, de X, para debatir sobre la nueva ola tecnológica.
“Todas las empresas y administraciones públicas que desplieguen una aplicación LLM se enfrentan a la necesidad de adoptar y cumplir las próximas normas y reglamentos que se pondrán en marcha”, afirmó Scale en una entrada de su blog en la que anunciaba SEAL (la empresa declinó facilitar a Yue para una entrevista).
Scale, cofundada en 2016 por Alexandr Wang, CEO de 26 años, empezó ayudando a las empresas a etiquetar datos para vehículos autónomos, antes de ampliar su campo de acción a la logística, el comercio electrónico y la defensa. Scale también gestiona el servicio Remotasks, que contrata a autónomos de todo el mundo para etiquetar datos. (Nota: está previsto que Wang se convierta en miembro del consejo de Forbes cuando se complete una venta prevista de la empresa).
“Para avanzar en el conocimiento y la comprensión de los grandes modelos lingüísticos (LLM) —y, por tanto, en sus capacidades—, debemos entender tanto sus puntos débiles como sus puntos fuertes”, escribió Wang en septiembre, después de que Scale suscribiera un compromiso voluntario de la administración Biden sobre seguridad y protección de la IA. “Es imperativo que la industria tecnológica tome medidas proactivas como estas dado el rápido ritmo del desarrollo tecnológico”.
Fuente Forbes