SRE Lounge #11 に行ってきた
2019/10/29 に サイボウズ東京オフィス で開かれた SRE Lounge #11 に参加しました。
eureka さん、サイボウズさん、Repro さん、各社SREの取り組みの話を伺う事が出来ました。
eurekaのパフォーマンス定点観測会の取り組み紹介2019 @dharada1/@kai_ten_sushi さん
パフォ会っていうのをやっている
APIチームとSREチームのパフォ会
可用性やパフォーマンス向上を目的とした週次MTG
SREとAPIチームでやってる
基本的にDatadogのメトリクスを集めてて、それを見る回
この会で発生するタスクは3つまでという制限
事業から見た優先度が低く、枝葉のタスクに集中しないような仕組み
SLIとSLO
SLIは（総リクエスト-500系エラーリクエスト）/総リクエスト数
SLO：99.5%
エンドポイントごとのレスポンスタイム
nginxのログをBigqueryにいれてLambdaで集計
DBパフォーマンスも見てる
スロークエリ
デッドロック
Toil
Oncall対応とかを棚卸
SREだけのパフォ会
従量課金のコスト監視
バジェット
インフラのメトリクス
断捨離とキャパプラ
パフォーマンスの異常検知
コストパフォーマンスは悪化してないか
アラートの断捨離
なり続けているalertはないか
どのアラートが何回なったか
曜日×時間のヒートマップ
週ごとのアラート件数
パフォ会で得た知見
指標化は大事
SLI
SLIからブレイクダウン可能な形でメトリクスを可視化
何を見るか/意識するか
KPI Treeとかを作ってもいいかも
SLO
合意された目標
目標・会議体を常に澪直していく
課題感は常に変わる
指標化と目標設定、注力する部分の見直しが必要
ツールに集約するのは大事
Datadogは扱いやすい
本質的な仕事に集約
質問
ただの閲覧と決済系では、同じ500エラーでも重みが違う場合があるがその辺の考慮はしているか
課題として認識してる。考慮中
Cybozuにおける大規模インフラ基盤の移行プロジェクトManekiの紹介 Cybozu @_a0i さん
サービス成長に伴って、データ量も大きくなってるので、基盤移行プロジェクト（Neco)が動き出した
k8s、Ceph、Rookが中心
移行プロジェクトがManeki
Necoチームと移行専門のManekiチームがいる
検索基盤の移行
Elasticsearchが1つで、Diskが複数だった構成から、マルチノードのElasticsearchに移行
Elastic Cloud on Kubernetes
indexのサイズ制限をしなかったので1TB級のindexが生まれた
indexをshardに分割しようにも、分けすぎたり大きすぎたりすると遅くな
k8sの課題
yamlの管理
ArgoCDを使ってる、Gitにpushするとデプロイしてくれる
環境ごとにymlを書き換えたい
kustomizeつかう。ベースのYAMLをカスタマイズする
ArgoCDと組み合わせ
監視
PromethuesとGrafana、pagerdutyも使ってる
質問
ログ基盤はどうする予定なのか
Lokiを考えている
安定・安価な ECS auto scaling を目指して Repro @a_bicky さん
ECS使ってautoscalingしたい
ECSの基礎
Task Definitions
1つ以上のコンテナの定義
Tasks
Task Definitionsから生まれたコンテナ群
Task Definitions=クラス、Tasks=インスタンス
Services
Task をdesired countの数だけ起動する
Clusters
taskを動かすためのハコ
ECS Autoscaler
Cloudwatchのalermの状態をもとに、ECSのdesired countを増減する
Spot instanceのinterruption warningをうけとったらdrainingする
Fargateは起動が遅かったり割高なので不採用。バッチでは使ってる
ECS autoscalingの課題
やみくもにdesired countを増やすと起動に時間がかかる時がある
AZの均衡が崩れるとtaskが動いているインスタンスでも落とされる
これからの課題
解像度1分のCloudwatch Metricsだとautoscalingが間に合わないことがある
明らかに異常なリクエストがあっても許容している
Fargateやk8sの検証をやりたい
SREの守備範囲が広がりすぎている
感想
作って終わりではないSaaS型サービスが主流の今、SREのようなRoleはますます重要度を増すと思います。
目的をしっかりと捉えつつ、SLIやSLOといった指標の定義、k8sやprometheus、ECS Autoscalingといった流行りの手段を用いて解決に向かっている姿勢が印象的でした。
当日の様子は togetter にもあるので合わせてご参照ください。
また来年にはSREが主体の大型イベント SRE NEXT が開催されます。
登壇者＆運営のみなさんありがとうございました。