En un informe de incidente publicado el viernes, Google dijo que una interrupción de Google Voice que afectó a la mayoría de los usuarios del servicio telefónico a principios de este mes fue causada por certificados TLS vencidos.
Esta interrupción mundial impidió que la mayoría de los usuarios de Google Voice iniciaran sesión en sus cuentas y usaran el servicio durante más de cuatro horas entre el 15 y el 16 de febrero de 2021.
«Los usuarios de Google Voice experimentaron un problema en el que algunas nuevas llamadas entrantes o salientes de Voice over Internet Protocol (VoIP) no se conectaban, por una duración total de 4 horas y 22 minutos», se lee en el informe del incidente.
«El impacto máximo se produjo aproximadamente a las 03:00, momento en el que los esfuerzos de mitigación comenzaron a reducir las tasas de fallas».
Durante el funcionamiento normal, las llamadas de voz realizadas a través de Google Voice se controlan mediante el Protocolo de inicio de sesión (SIP), y los dispositivos del cliente vuelven a intentar conectarse inmediatamente al servicio una vez que se interrumpe.
Los certificados de Transport Layer Security (TLS) que se utilizan para cifrar todo el tráfico de Google Voice también se rotan periódicamente para mantener las conexiones y el tráfico seguros.
Causa e impacto de la interrupción de Google Voice
«Debido a un problema con la actualización de las configuraciones del certificado, el certificado activo en los sistemas frontend de Google Voice expiró inadvertidamente en 2021-02-15 23:51:00, lo que desencadenó el problema», explicó Google .
«Durante el período de impacto, los clientes que intentaron establecer o restablecer una conexión SIP no pudieron hacerlo».
Después de que los certificados caducados desencadenaron la interrupción, los usuarios no pudieron acceder al servicio de Google Voice para realizar o recibir llamadas VoIP.
Sin embargo, los dispositivos cliente que ya tenían una conexión SIP activa antes del incidente no se vieron afectados durante la interrupción (siempre que la conexión no se interrumpa).
«Después de investigar, el equipo de ingeniería determinó que la configuración del certificado era la causa principal», agregó Google. El equipo generó certificados actualizados e información de configuración y comenzó una implementación de emergencia de estos datos en los sistemas frontend «.
Después de implementar la mitigación, los clientes SIP de Google Voice afectados restauraron la funcionalidad después de volver a intentar conectarse al servicio.
Medidas para prevenir futuras interrupciones
El equipo de ingeniería de Google está tomando varias medidas diseñadas para evitar que vuelva a ocurrir un problema similar y disminuir el impacto de futuras interrupciones.
Como dijo el equipo de Google Workspace que publicó el informe del incidente, los ingenieros están tomando las siguientes medidas:
- Configure alertas proactivas adicionales para los próximos eventos de expiración de certificados.
- Configure alertas reactivas adicionales para errores de TLS en los sistemas frontend de Google Voice.
- Mejore las herramientas automatizadas para la rotación de certificados y las actualizaciones de configuración.
- Utilice una infraestructura más flexible para la implementación rápida de cambios de configuración.
- Actualice los sistemas de asignación de recursos para proporcionar recursos de emergencia de manera más eficiente durante los incidentes.
- Desarrolle escenarios de entrenamiento y práctica para implementaciones de emergencia de los sistemas y configuraciones de frontend de Google Voice.
En diciembre de 2020, Google sufrió una interrupción del sistema de autenticación global que afectó a la mayoría de sus servicios para el consumidor, incluidos Gmail, YouTube, Google Drive, Google Maps y Google Calendar.
Como Google explicó más tarde ese mes, ese incidente fue causado por un error en el sistema de administración de cuotas automatizado , que impidió que los usuarios iniciaran sesión en sus cuentas y se autenticaran en los servicios de Google Cloud.
Vía: www.blepingcomputer.com
