big data

Question 1

Livelli di streaming

Question 2

Architetture streaming(architettura a livello generale, tipi di stream e tipi di formati a livello di messaggio, confronti, quali sono meglio a sec onda della situazione e perché)

Question 3

Spark architettura e workflow

Question 4

Data Platform (Data lake, datalakehouse, data fabric, data grid)

Question 5

Sliding window e data driven window

Question 6

principio di data locality

Question 7

formati dei dati in hadoop (row-oriented vs column oriented) in particolare perché la compressione dei dati è migliore con questi formati rispetto dei formati standard

Question 8

Evoluzione Architetture BD (SMP, MPP, Cluster)

Question 9

Architetture, scale out, scale up

Question 10

Definizione di big data e 4V

Question 11

5 possibili cause di inconsistenza nei DB NoSql

Question 12

Algoritmi di streaming count-distinct

Question 13

dbnosql, perché vengono usati? vantaggi/svantaggi

Question 14

Formati Hadoop/specifici big data. Deep in su formato parquet (domande di ragionamento tipo quando non vanno usati e perché)

Question 15

HDFS

Question 16

Spark SQL che differenze ci sono con RDD + ottimizzazione query

Question 17

perché il blockpool non ha dimensioni infinite? hdfs nn e dn, meccanismi di backup

Answer 17

perché è locato in ram

Question 18

Tipi di window in streaming

Question 19

Cap e pacelc (anche qui domande di ragionamento/esempi)

Question 20

Catalyst e perché per le query SQL abbiamo un ottimizzatore mentre per le query su RDD non ne abbiamo

Question 21

Hdfs caratteristiche generali e architettura