CloudWatch: Destinations, Agents, Metric Filters Flashcards
CloudWatch Logs Destinations. CloudWatch умеет слать логи в …
- S3
- Kinesis Data Streams
- Kinesis Data Firehose
- Lambda
- OpenSearch
Что такое CloudWatch S3 Batch Export? Это real-time или near-real-rime операция? Сколько времени она занимает?
Один из destination’ов для CloudWatch логов - это S3.
S3 Batch Export - это НЕ real-time и НЕ near-real-time операция.
Это долго.
Полный batch экспорт всех логов в S3 может занять до 12-ти часов.
Где может находится S3 бакет при использовании и S3 Batch Export? Как называется API операция?
S3 бакет может находиться в другом аккаунте. API операция CreateExportTask
Как обрабатывать CloudWatch логи real-time или near-real-time? Как называется эта технология? Куда можно слать логи?
Если нам нужно обрабатывать логи real-time, то нам НЕ подойдёт Batch Export.
Вместо этого нужно использовать CloudWatch Logs Subscription Filter.
Тогда можно будет слать CloudWatch Log Event’ы в Kinesis Data Streams, Firehose, Lambda для обработки.
Задача: организовать отправку CloudWatch логов в S3 near-real-time в S3. Какие AWS ресурсы нужно использовать?
CloudWatch => CloudWatch Logs Subscription Filter => Kinesis Data Firehose => S3
Для отправки CloudWatch логов в S3 используется именно …, потому что он …
Kinesis Data Firehose. Потому что это push-middle-war, основной destination которого - это S3.
S3 НЕ умеет pull’ить данные.
Задача: организовать отправку CloudWatch логов в S3 в real-time. Какие AWS ресурсы нужно использовать?
Через CloudWatch Subscription Filter для Kinesis Data Stream или Lambda.
Firehose НЕ подходит, т.к. он NEAR-real-time
Как организовать Cross Account (и Cross Region) Logs Aggregation? Собирать метрики из разных аккаунтов в одном центральном месте. Благодаря чему такое возможно?
Через CloudWatch Subscription для Kinesis Data Stream в определённом аккаунте.
Kinesis Data Streams имеют IAM Resource Based Policy,
сила которых в том, что они могут быть cross-account.
Разные CloudWatch из разных аккаунтов будут слать метрики в один Kinesis DS.
Какие бывают CloudWatch агенты? Для чего они могут использоваться?
- CloudWatch Logs Agent
- CloudWatch Unified Agent
Агенты могут быть использованы, чтобы слать метрики и логи из EC2 instanc’а в CloudWatch.
Как по-умолчанию шлёт логи EC2 instance в CloudWatch? Как можно это изменить?
Никак. По-умолчанию EC2 instance логи НЕ шлёт.
Чтобы слать логи из EC2 в CloudWatch, нужно запустить CloudWatch Агента на instanc’е.
Это программа, которая работает на сервере.
Как слать логи в CloudWatch из OnPremise сервера?
На on-premise сервер тоже можно уставить CloudWatch Logs агента.
Если EC2 instance НЕ шлёт логи в CloudWatch, то значит ему НЕ хватает …
- IAM роли, чтобы слать логи в CloudWatch.
- CloudWatch Logs Agent’а
Что общего у Logs Agent и Unified Agent?
Оба вида подходят для EC2 и On-Premise.
Оба вида умеют слать логи в CloudWatch Logs.
Что дополнительно умеет Unified Agent?
Unified Agent - это более новая продвинутая версия Logs Agent, которая позволяет слать больше метрик и слать их более гранулярно, детально.
- Не просто CPU, а active, idle
- Не просто Disk Space, а free, total
Какую фичу поддерживает Unified Agent, но НЕ поддерживает Logs Agent?
Unified Agent поддерживает фичу SSM Parameter Store для централизованного хранения конфигов.
