H6: Distributed Storage

Question 1

Hoe werkt HDFS? (4 stappen)
Wat bij failure?

Answer 1

• File -> Blokken
• 3 kopien per blok
• Deze blokken worden gestored op data nodes en verdeeld
• Name Node trackt de blokken en DN’s

Bij Failure:
- Namenode geeft instructies aan data nodes om terug to kopieren tot elke weer 3x er is.

Question 2

What betekent “moving the computation to the data”?

Answer 2

De data processing wordt op de datanode zelf gerund waar het op staat.

Question 3

Wat doet Mapping?
Hoe heet het mappen naar 0 elementen?
Hoe heet het mappen naar meerdere elementen?

Answer 3

Eerst in tokens gezet, daarna worden deze op nieuwe tokens gemapt.
- filtering
- Distribution

Question 4

Wat doet Reduce?

Answer 4

Key value pairs combinen van een input lijst into een enkele value

Question 5

Welke 3 fases heeft mapReduce?

Answer 5

• Map
• Shuffle
• Reduce

Question 6

Waar gebeurt sorting in MapReduce?

Answer 6

Net voor Reduce

Question 7

Wat zijn de Hadoop Components? (4)

Answer 7

• MapReduce Framework: implements mapReduce pattern
• Cluster: host machines (nodes)
• HDFS Federation: logical distributed storage
• YARN structure: assigns resources (CPU, memory, …)

Question 8

Wat zijn de 4 YARN componenten en wat doen ze?

Answer 8

• Resource Manager: Assigns Cluster resources aan applications (1 per cluster)
• Node Manager: Monitors Nodes (veel per cluster)
• App Master: app (bv. mapReduce)
• Container: task (bv. Map, reduce)

Question 9

Wat is de YARN app lifecycle? (8)

Answer 9

1. Client dient app in bij resource manager
2. RM allocates AM container
3. AM registreert bij RM
4. AM requests van containers van NM
5. AM tells NM to launch containers
6. Application code is executed
7. Client houd RM en AM in de gaten
8. AM onregistreert bij RM

Question 10

Wat zijn tekortkomingen van MapReduce? (4)

Answer 10

• Je forced je data processing op map en reduce te gebruiken en kan geen andere opties zoals flatmap gebruiken.
• Gebaseerd op acyclische data en dus niet goed voor ML
• Werkt alleen met batches: video streaming dus ook niet goed
• Gebruikt hard disk

Question 11

Wat doet Spark?

Answer 11

Gebruikt memory caching en dus niet de disk.

Question 12

Wat is een Resilient Distributed Dataset?

Answer 12

Een verdeelde verzameling objecten die wordt gemaakt door Spark vanuit andere RDD’s en database items.

Question 13

Wat is een Dataframe?

Answer 13

Data in columns, worden gemaakt vanuit data door SparkSQL

Question 14

Verschillen RDD en Dataframes? (4)

Answer 14

• RDD geeft een low level interface voor Spark
• Dataframes hebben een schema
• Dataframes worden gecached en geoptimaliseerd door Spark
• Dataframes zijn gebouwd boven op RDD en zijn de core van Spark

Question 15

Link Spark en DAG?

Answer 15

De versies zijn nodes van de RDD’s, elke update / transformatie is een nieuwe node.

Question 16

Wat is het verschil tussen Narrow en Wide transformations?

Answer 16

Zitten oftewel in dezelfde partitie van de RDD oftewel in verschillende. (bv. Map t.o.v. groupByKey)

Question 17

Wanneer Spark Gebruiken? (4)

Answer 17

• Graaf Data
• Video
• Batch Data
• Machine Learning

Question 18

Wanneer Spark niet gebruiken? (3)

Answer 18

• Simpele usecases
• Multi-user (moeten memory verdelen)
• Weinig memory beschikbaar

Question 19

Waarvoor staat HDFS?

Answer 19

Hadoop Distributed File Storage

Question 20

Waarvoor staat YARN?

Answer 20

Yet Another Resource Negotiator