Kinesis Data Firehose

Question 1

Кто может быть продюссером для Kinesis Data Firehose?

Answer 1

Kinesis Data Stream, KPL, Kinesis Agen, CloudWatch

Question 2

Каков лимит по размеру отправляемого сообщения Kinesis Data Firehose?

Answer 2

1 MB

Question 3

Как можно видоизменить данные, проходящие через Firehose?

Answer 3

Опционально, данные (поступающие от Producer’ов), могут быть изменены (трансформация) через Lambda функцию.

Question 4

Как можно организовать backup для данных Firehose? Какие данные туда попадут?

Answer 4

Можно настроить Kinesis Data Firehose, чтобы он слал все данные, которые НЕ удалось записать в Destination’ы (failed to be written), в запасной S3 bucket для backup’а.

Question 5

Какие сервисы AWS могут быть destination’ами для Data Firehose

Answer 5

S3, Redshift, OpenSearch

Question 6

Какие 3-rd party сервисы могут быть destination’ами для Data Firehose

Answer 6

Datadog Splunk New Relic MongoDB

Question 7

Как можно сделать кастомный destination для Firehose?

Answer 7

destination’ом может быть любой HTTP endpoint

Question 8

Почему Data Firehose имеет именно destinations, а НЕ consumers?

Answer 8

потому что Push механизм, а НЕ pull

Question 9

Kinesis Data Firehose это push или pull механизм?

Answer 9

Push, т.к. консюмеры этого сервиса (S3, DataDog, Splunk, HTTP endpoints) НЕ умеют pull’ить сообщения.

Question 10

Kinesis Data Firehose является …, а Kinesis Data Streams является …

Answer 10

Near Real Time, Real Time

Question 11

Kinesis Data Firehose имеет latency … для …

Answer 11

60 секунд, для НЕ полных батчей