株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
インフラをコードで管理するIaCでは、クラウドの画面で設定を直接変えると、コードが指定する値と実際の値がずれます。このずれは構成ドリフトと呼ばれます。例えば、障害調査のためにCloudWatch Logsの保持期間を30日から90日へ延ばした場合、次にTerraformで別の設定を反映するときに、ログ保持期間を30日に戻す計画も含まれる可能性があります。
以下では、架空の検証用ロググループを例に、計画に出た差がどの環境の手動変更なのかを確認し、元へ戻す、コードへ取り込む、調査を続ける、の三つから選びます。Terraformを中心に、Pulumiで状態と実環境を照合するときの対応も説明します。
コード・state・実環境を同じ対象で並べる
Terraformのコードは、管理したい構成を記述する場所です。stateは、コードに書いたリソースとクラウド上の実体の対応や、Terraformが持つ属性の記録です。実環境の値はクラウド側で現在観測できる設定です。緊急対応で保持期間を延ばした直後なら、コードと最後に保存されたstateの値が30日で、実環境が90日という状態があり得ます。
| 確認する場所 | この例で確かめる情報 | 読む目的 |
|---|---|---|
| コードと入力値 | 計画を作ったコミット、保持日数を決める入力、対象環境 | 宣言されている日数を確定する |
| Terraformのstate | Terraform上のリソースアドレスと対応するロググループ | どの実体を管理しているか確かめる |
| クラウドの設定と変更記録 | アカウント、リージョン、ロググループ、現在の日数、変更の日時と理由 | 手動変更の内容と現在値を照合する |
同じ名前のロググループが検証用と本番用にあると、画面で見た90日と計画上の30日を別の実体から取ってしまうことがあります。計画を実行するディレクトリとコミット、使用するバックエンドとworkspace、AWSアカウントとリージョンを照合します。環境名が合っていても、同じ認証や実行権限を共有していると別環境にアクセスできる場合があります。HashiCorpのドキュメントは、CLI workspaceを、アクセス制御を分ける必要のある配備先の分離には適さないと説明しています。TerraformのCLI workspaceの説明
保持日数がモジュールの引数に見当たらない場合は、変数の既定値、実行時に渡す環境別の値、モジュールへ値を渡す箇所をたどります。リポジトリ内の別の環境で使われている90日を見つけても、対象の実行にその値が渡るとは限りません。初めてstateとコードの対応を見る場合は、Terraformの構成・state・planの基礎を参照できます。
検証環境で二種類の計画を見比べる
対象を確認した上で、検証環境の既存設定を観測するにはterraform plan -refresh-onlyを使えます。このモードの計画は、Terraformの外で起きた変更をstateとルートモジュールの出力値へ反映するためのものです。ここで実行するplanは、クラウド上のロググループの保持設定を変更しません。通常のterraform planは、実環境の値を読み、構成に合わせるためにどの変更が必要かを提示します。HashiCorpのplanと計画モードの説明
この例でstateが30日、クラウド側が90日なら、refresh-onlyの計画では、Terraformの記録に対して実環境が30日から90日に変わったことが比較の対象になります。コードが30日を引き続き指定していた場合、通常の計画にはクラウド側を90日から30日に戻す変更が出る可能性があります。計画を共有するときは「どちらからどちらへの差か」を先に書き、クラウド設定を変える予定と、stateへ記録するための差を見分けます。
同じ実行で、保持日数に加えてロググループの名前や削除・再作成が表示されたら、保持期間だけの判断にまとめません。想定外のリソース変更は、変数の読込先、コードの変更、プロバイダーのバージョンなどを確認してから再度計画を作ります。計画に含まれる実データ・機密値は閲覧範囲を決め、共有用の説明には対象と変更の方向、判断理由を残します。Terraformのstateと計画に含まれ得る情報の扱い
レビューに使う二つの計画は、同じコードの版と入力で作ります。実環境を見に行く処理を無効にした計画では、手動で変えられた値を拾えない場合があるため、計画の結果だけでなく実行方法も確認します。リポジトリの変更が原因かを調べる場合は、承認済みの版と検討中の版でそれぞれ通常の計画を取り、どの版に切り替えたときに変更が現れたかを記録します。計画を取る間に担当者がクラウドの値を変更した場合は、どちらの結果を採るかを決める前に変更日時を確認します。
保持期間を戻すか、変更をコードに採用するか決める
障害調査が続いているなら、延ばした期間が必要な理由と、次に判断する時点を記録します。調査に必要なログが残っているかを運用担当が確認するまで、保持期間を短くする変更を承認しないようにします。CloudWatch Logsでは、保持期間を過ぎたイベントは削除の対象になり、実際に削除されるまでに時間がかかることがあります。保持期間を短くしてから元に戻せば失われたログも復元できる、という前提では扱えません。AWSのログ保持期間の仕様
90日を継続する場合は、どの環境・ロググループで必要かを確かめ、コードか対象環境の入力値を更新します。全環境の共通値を変えると、本来の調査対象外にも影響します。対象を限定して決めた場合は、対象の通常計画で保持日数を30日へ戻す変更が消え、対象外に追加の差分が出ていないことを確かめます。refresh-onlyの計画を適用してstateを更新する場合も、コードの保持期間は別に管理されます。
30日に戻す場合は、ログを確認する必要がなくなった範囲と判断者を記録します。別の変更と同じ適用に含まれていると、適用後に何のために保持日数が変わったか追いにくくなります。計画をレビューするときは、保持日数を変える対象、他の変更、適用後にクラウド側で確認する値を対応させます。実行を担当する人と確認する人の分担には、CI/CDで変更と承認をつなぐ設計も参考になります。
判断を持ち越す場合は、調査担当、保留の期限、確認が必要なログ期間を残します。次の変更で同じ差を見かけた担当者が、直す必要のない差と考えて見過ごさないよう、変更記録と対応づけます。前に作ったplanを共有していたとしても、その後でコードや実環境が変わった可能性があるなら、現在の条件から計画を作り直して確認します。
予定した変更を反映した後は、クラウド上の保持設定と、同じ実行条件で作成した通常の計画を確認します。既に溜まっているログの有無は保持日数だけでは判断できません。調査で必要な期間が残っているかを運用担当が別に確認し、結果を変更記録に追記します。
Pulumiでもプレビューと実行を分ける
Pulumiでは、対象のstackと実環境を照合した上で、pulumi refresh --preview-onlyでrefreshの内容をプレビューできます。通常のpulumi refreshは記録を実環境に合わせて更新する操作なので、プレビューと区別します。意図した構成を今後も維持する場合は、選んだ日数をプログラムまたは対象stackの設定へ反映し、次回のプレビューで説明のつかない差が残っていないか確認します。Pulumi公式のrefreshコマンド
どちらのツールを使う場合も、手動変更を見つけた時点の値、変更した理由、対象を見分ける情報、次に反映する値を一つの記録で結び付けます。ログ保持のケースでは、これだけで、緊急の調査用に延ばした設定を別の変更に紛れて戻すことや、必要のない環境まで保持を延ばすことを確認の段階で見つけやすくなります。
次の引き継ぎでは、記録を受け取った担当者が同じ環境を選び、どの設定が維持されているか自分で確かめられるところまで確認します。
