Un bioestadístico de Harvard está reconsiderando los planes para usar Apple Watches como parte de un estudio de investigación después de encontrar inconsistencias en los datos de variabilidad de la frecuencia cardíaca recopilados por los dispositivos. Debido a que Apple ajusta los algoritmos del reloj según sea necesario, los datos para el mismo período pueden cambiar sin previo aviso.

“Estos algoritmos son lo que llamaríamos cajas negras, no son transparentes. Así que es imposible saber qué contienen ”, dijo JP Onnela, profesor asociado de bioestadística en la Escuela de Salud Pública TH Chan Harvard y desarrollador de la plataforma de datos de código abierto Beiwe. El borde.

Por lo general, Onnela no incluye dispositivos portátiles comerciales como el Apple Watch en los estudios de investigación. La mayoría de las veces, sus equipos utilizan dispositivos de nivel de investigación que están diseñados para recopilar datos para estudios científicos. Sin embargo, como parte de una colaboración con el departamento de neurocirugía del Brigham and Women’s Hospital, estaba interesado en los productos disponibles comercialmente. Sabía que a veces había problemas de datos con estos productos y su equipo quería verificar su gravedad antes de comenzar.

Luego verificaron los datos de frecuencia cardíaca de su colaborador Hassan Dawood, investigador del Brigham and Women’s Hospital, exportados desde su Apple Watch. Dawood exportó sus datos de variabilidad de la frecuencia cardíaca diaria dos veces: una el 5 de septiembre de 2020 y una segunda el 15 de abril de 2021. Para el experimento, analizaron los datos recopilados durante el mismo período, desde principios de diciembre de 2018 hasta septiembre de 2020.

Dado que los dos conjuntos de datos exportados incluían datos del mismo período de tiempo, los datos de ambos conjuntos deberían ser teóricamente idénticos. Onnela dice que esperaba algunas diferencias. La «caja negra» de los algoritmos portátiles es una desafío constante para investigadores. En lugar de mostrar los datos sin procesar recopilados por un dispositivo, los productos a menudo solo permiten a los investigadores exportar la información después de que haya sido analizada y filtrada por algún tipo de algoritmo.

Las empresas cambian sus algoritmos con regularidad y sin previo aviso, por lo que la exportación de septiembre de 2020 puede haber incluido datos analizados con un algoritmo diferente al de la exportación de abril de 2021. “Lo sorprendente fue lo diferentes que eran”, dice. «Este es probablemente el ejemplo más claro de este fenómeno que he visto». Publicó los datos en un entrada en el blog La semana pasada.

Imagen: Beiwe

Apple no respondió a una solicitud de comentarios.

Fue impresionante ver las diferencias establecidas con tanta claridad, dice Olivia Walch, investigadora del sueño que trabaja con wearables y datos de aplicaciones en la Universidad de Michigan. Walch ha defendido durante mucho tiempo que los investigadores utilicen datos sin procesar, datos extraídos directamente de los sensores de un dispositivo, en lugar de filtrados a través de su software. “Es una validación, porque entro en mi pequeña charla sobre datos sin procesar, y es bueno tener un ejemplo concreto en el que realmente importaría”, dice.

Los algoritmos en constante cambio hacen que sea casi prohibitivo el uso de dispositivos portátiles comerciales para la investigación del sueño, dice Walch. Los estudios del sueño ya son costosos. “¿Podrás poner cuatro FitBits en alguien, cada uno ejecutando una versión diferente del software, y luego compararlos? Probablemente no.»

Las empresas tienen incentivos para cambiar sus algoritmos para mejorar sus productos. «No están muy animados a decirnos Como las están cambiando las cosas ”, dice.

Este es un problema de investigación. Onnela comparó esto con controlar el peso corporal. «Si quisiera saltar en una escala todas las semanas, debería usar la misma escala cada vez», dice. Si esta báscula se ajustara sin su conocimiento, los cambios diarios de peso no serían confiables. Para alguien que solo tiene un interés casual en monitorear su salud, esto podría ser algo bueno: las diferencias no serán grandes. Pero en la investigación, la coherencia es importante. “Esa es la preocupación”, dice.

Se podría, por ejemplo, realizar un estudio utilizando un dispositivo portátil y llegar a una conclusión sobre cómo han cambiado los patrones de sueño de las personas en función de los ajustes en su entorno. Pero esa conclusión solo puede ser cierta con esa versión específica del software portátil. «Quizás obtendría un resultado completamente diferente si estuviera usando un modelo diferente», dice Walch.

Los datos del Apple Watch de Dawood no provienen de un estudio y son solo un ejemplo informal. Pero muestra la importancia de desconfiar de los dispositivos comerciales que no permiten el acceso a datos sin procesar, dice Onnela. Fue suficiente para que su equipo abandonara los planes de usar los dispositivos en estudios. Él piensa que los wearables comerciales solo deberían usarse si hay datos sin procesar disponibles o, al menos, si los investigadores pueden advertir cuando un algoritmo va a cambiar.

Puede haber algunas situaciones en las que los datos que se pueden llevar puestos puedan seguir siendo útiles. La información sobre la variabilidad de la frecuencia cardíaca mostró tendencias similares en ambos puntos de tiempo: los datos aumentaron y disminuyeron al mismo tiempo. «Si le preocupan las cosas en esta escala macro, puede decidir que continuará usando el dispositivo», dice Walch. Pero si la variabilidad específica de la frecuencia cardíaca calculada cada día es importante para un estudio, puede ser más arriesgado confiar en el Apple Watch, dice. «Debería hacer que la gente piense en usar ciertos dispositivos portátiles si la alfombra está en peligro de ser arrancada de debajo de sus pies».