1. La opción más accesible es acudir Panel de control -> Buscar y corregir problemas (Solución de problemas en las vistas por iconos) -> Sistema y seguridad -> Corregir problemas con Windows Update.

Opciones avanzadas permite ejecutar esta operación con permisos de administrador lo que puede producir mejores resultados (esta opción debería estar activada por defecto).

2. Otra opción más delicada es renombrar la carpeta en la que se descargan las actualizaciones para su aplicación. La ruta por defecto es:
 
C:\Windows\SoftwareDistribution
 
Para hacer este cambio es necesario detener y volver a ejecutar el servicio Windows Update.

3. En Windows 7 es posible retirar de la vista de actualizaciones a instalar aquellas que están provocando errores en su aplicación. Para ello se ha de acudir a Panel de control -> Windows Update listar las actualizaciones disponibles y con el botón derecho del ratón marcar Ocultar actualización en aquellas que se desee.

Lógicamente esta no es una opción recomendada para las actualizaciones de seguridad.

4. En Windows 10 las actualizaciones se instalan automáticamente sin necesidad de realizar selección alguna. Sin embargo es posible aplazar la aplicación de actualizaciones problemáticas siguiendo las instrucciones este documento de Soporte de Microsoft.

5. La última y más delicada opción es buscar información específica sobre la actualización problemática introduciendo el código de error en la caja de búsquedas de la página:
 
https://technet.microsoft.com