Me gusta cómo la gobernanza de watsonx combina el riesgo del modelo, la IA generativa y la gobernanza. Por ejemplo, la capacidad de crear un caso de uso, rastrear un modelo, asociarlo con espacios de trabajo y evaluar indicaciones, todo en un solo lugar, es excelente. Aún mejor, IBM lanzó recientemente una nueva función llamada la Consola de Gobernanza donde puedes rastrear múltiples modelos, habilitar y crear controles, y evaluar riesgos.
La gobernanza tenía métricas de IA generativa como ROUGE y BLEU, así como la capacidad para clasificación como F1, precisión, exactitud, recall, etc. Reseña recopilada por y alojada en G2.com.
No me gusta cómo una evaluación en Watsonx Governance sobrescribe los resultados de la evaluación anterior si se realiza el mismo día. OpenScale mantendrá el historial, pero la gobernanza en la Hoja de Datos de IA no lo hace. El mismo problema existe para los gráficos de tendencias.
Por ejemplo, los gráficos de tendencias disponibles en OpenScale tienen una configuración de tiempo para cada hora, día, semana, etc. Pero digamos que hago 20 evaluaciones en un día. Luego, una semana después, quiero mostrar cómo fueron esas 20 evaluaciones y la tendencia general. Si cambio a cada hora, entonces el gráfico es demasiado disperso (ha pasado una semana), pero si cambio a diario, entonces es solo un punto (las 20 evaluaciones fueron el mismo día). Desearía que OpenScale y Governance arreglaran esto.
Luego, la capacidad de mostrar el texto_generado frente al texto de referencia (verdad de base). Sí, puedes descargar los resultados a un CSV, pero hay dos grandes características que faltan (1) el CSV descargado no tiene el texto de referencia, solo tiene el texto generado. Así que tienes que idear una forma de emparejar ese registro con su fuente original si quieres comparar, y (2) tienes que hacer esto cada vez para cada subconjunto. ¿Por qué no simplemente tener la capacidad de ver ese registro en el software y evitar tener que descargar el CSV? el texto está truncado y no hay forma de verlo. Reseña recopilada por y alojada en G2.com.
Esta reseña contiene un análisis auténtico y ha sido revisada por nuestro equipo.
El revisor recibió una tarjeta de regalo o una donación hecha a una organización benéfica de su elección a cambio de escribir esta reseña.
Campaña G2 Gives. El revisor recibió una tarjeta de regalo o una donación hecha a una organización benéfica de su elección a cambio de escribir esta reseña.
Esta reseña ha sido traducida de English usando IA.