Por /

Data: 2015-10-23

Participantes: agoogler, clarac, docbrown, jennifer, martym

Anúncios:

  •  Grande interrupção (#465), estorou o orçamento de erro

Revisão do Item de Ação Anterior

  •  Certificar o Teletransporte de cabras para uso com gado (bug 1011101)

  •  As não linearidades na aceleração de massa agora previsíveis, devem ser capazes de atingir com precisão dentro de poucos dias. 

Revisão de interrupção

  • Novo Soneto (interrupção 465)

  • 1.21B consultas perdidas devido a falha em cascata após interação entre bug latente (descritor de arquivo com fugas em pesquisas sem resultados) + não ter novo soneto em corpus + volume de tráfego sem precedentes & inesperado

  • O bug do descritor de arquivos foi corrigido (bug 5554825) e implementado para produzir

  • Procura de utilização de condensador de fluxo para balanceamento de carga (bug 5554823) e utilização de redução de carga (bug 5554826) para prevenir a recorrência

  • Orçamento de erro de disponibilidade aniquilado; pressiona para produzir congelado durante 1 mês, a menos que o docbrown possa obter uma exceção com base no fato de que o evento foi bizarro e imprevisível (mas o consenso é que a exceção é improvável)

Eventos de paginação

  • AnnotationConsistencyTooEventual: paginada 5 vezes esta semana, provavelmente devido ao atraso de replicação inter-regional entre Bigtables. 

  • Investigação ainda em curso, ver bug 4821600

  • Nenhuma correção esperada rapidamente, aumentará o limiar de consistência aceitável para reduzir alertas inoperacionais

Eventos sem paginação

  • Nenhum

Monitoramento de alterações e/ou silêncios

  • AnnotationConsistencyTooEventual, limiar de atraso aceitável aumentado de 60s para 180s, ver bug 4821600; TODO(martym). 

Mudanças de produção planejadas 

  • Cluster USA-1 que vai ficar offline para manutenção entre 2015-10-29 e 2015-11-02.

  • Sem necessidade de resposta, o tráfego será automaticamente encaminhado para outros clusters na região.

Recursos

  • Os recursos emprestados para responder ao incidente do soneto++, irão desativar instâncias de servidor adicionais e retornar recursos na próxima semana

  • Utilização a 60% da CPU, 75% de RAM, 44% do disco (acima de 40%, 70%, 40% na semana passada)

Principais métricas de serviço

  • OK Latência de 99 milhas: 88 ms < 100 ms Alvo SLO [30 dias de registro]

  • Disponibilidade BAD: 86,95% < 99,99% alvo SLO [30 dias de registro] 

Discussão / Atualizações de projetos 

  • Lançamento do Projeto Molière dentro de duas semanas.

Novos itens de ação 

  • TODO(martym): Levantar AnnotationConsistencyTooEventual limite

  • TODO(docbrown): Devolver a contagem de instâncias ao normal e devolver recursos.

 

Fonte: Google SRE Book

Rolar para cima