Miks1

Question 1

Hva er Apache Spark?

Answer 1

En distribuert databehandlingsmotor for storskala databehandling.

Question 2

Hva er PySpark?

Answer 2

Python-API for Apache Spark.

Question 3

Hva er en cluster i Spark?

Answer 3

Et sett med noder/maskiner som samarbeider om databehandling.

Question 4

Hva er en driver i Spark?

Answer 4

Koordinerer kjøringen av applikasjonen og kommuniserer med eksekutører.

Question 5

Hva er en executor i Spark?

Answer 5

Prosess som kjører på en node og utfører oppgaver sendt av driveren.

Question 6

Hva er SparkSession?

Answer 6

Inngangspunktet til å bruke DataFrame API i PySpark.

Question 7

Hvordan lager du en SparkSession?

Answer 7

spark = SparkSession.builder.appName(‘app’).getOrCreate()

Question 8

Hva er en DataFrame i PySpark?

Answer 8

En distribuert samling av data organisert i kolonner.

Question 9

Hvordan ser du schemaet til en DataFrame?

Answer 9

df.printSchema()

Question 10

Hvordan viser du de første radene i en DataFrame?

Answer 10

df.show()

Question 11

Hva er en transformation i PySpark?

Answer 11

En lazy operasjon som returnerer et nytt DataFrame.

Question 12

Hva er en action i PySpark?

Answer 12

En operasjon som trigger beregning og returnerer et resultat.

Question 13

Eksempel på en transformation?

Answer 13

select(), filter(), withColumn(), etc.

Question 14

Eksempel på en action?

Answer 14

show(), count(), collect(), etc.

Question 15

Hva gjør df.select(‘navn’)?

Answer 15

Returnerer en ny DataFrame med kun kolonnen ‘navn’.

Question 16

Hva betyr lazy evaluation i PySpark?

Answer 16

Operasjoner kjøres ikke før en action trigges.

Question 17

Hvorfor bruker Spark lazy evaluation?

Answer 17

For å optimalisere og redusere unødvendig arbeid.

Question 18

Hva skjer når du kjører df.filter(…).select(…)?

Answer 18

Ingenting før du kjører en action som show() eller collect().

Question 19

Hva er fordelen med lazy evaluation?

Answer 19

Bedre ytelse via optimalisering og redusert IO.

Question 20

Hvordan kan du se hva Spark planlegger å gjøre?

Answer 20

Bruk df.explain()

Question 21

Hvordan filtrerer du rader i en DataFrame?

Answer 21

Bruk df.filter(df.kolonne > verdi)

Question 22

Hvordan legger du til en ny kolonne?

Answer 22

df.withColumn(‘ny_kolonne’, uttrykk)

Question 23

Hvordan gir du nytt navn til en kolonne?

Answer 23

df.withColumnRenamed(‘gammel’, ‘ny’)

Question 24

Hvordan grupperer du data i en DataFrame?

Answer 24

df.groupBy(‘kolonne’).agg(…)

Question 25

Hvordan sorterer du en DataFrame?

Answer 25

df.orderBy('kolonne')

Question 26

Hvordan leser du en CSV-fil til en DataFrame?

Answer 26

spark.read.csv('fil.csv', header=True, inferSchema=True)

Question 27

Hvordan skriver du en DataFrame til en CSV-fil?

Answer 27

df.write.csv('sti', header=True)

Question 28

Hvordan leser du en Parquet-fil?

Answer 28

spark.read.parquet('fil.parquet')

Question 29

Hvordan skriver du til Parquet?

Answer 29

df.write.parquet('sti')

Question 30

Hvordan spesifiserer du delimiter i csv-lesing?

Answer 30

spark.read.option('delimiter', ';').csv(...)

Question 31

Hva gjør df.describe().show()?

Answer 31

Viser statistikk som count, mean, stddev for numeriske kolonner.

Question 32

Hva er collect()?

Answer 32

Returnerer alle rader i DataFrame som en liste til driveren.

Question 33

Hva er show()?

Answer 33

Viser de første radene som tabell i konsollen.

Question 34

Hva er forskjellen på show() og collect()?

Answer 34

show() skriver til skjerm, collect() returnerer data.

Question 35

Hva gjør df.cache()?

Answer 35

Holder DataFrame i minnet for raskere tilgang.

Question 36

Hva er forskjellen på cache() og persist()?

Answer 36

persist() lar deg velge lagringsnivå, cache() bruker MEMORY_AND_DISK.

Question 37

Hva er en UDF?

Answer 37

User Defined Function – funksjon du selv definerer og bruker på kolonner.

Question 38

Hvordan registrerer du en UDF?

Answer 38

udf_obj = udf(func, returnType); spark.udf.register('navn', udf_obj)

Question 39

Hva er en jobb i Spark?

Answer 39

En kjede av stages og tasks utløst av en action.

Question 40

Hva er et stage i Spark?

Answer 40

En gruppe tasks som kan kjøres parallelt basert på dataavhengighet.

Question 41

Hva gjør df.limit(5).show()?

Answer 41

Viser de første 5 radene.

Question 42

Hvordan gjør du en inner join?

Answer 42

df1.join(df2, 'kolonne', 'inner')

Question 43

Hvordan spesifiserer du flere join-betingelser?

Answer 43

df1.join(df2, (df1.id == df2.id) & (df1.name == df2.name))

Question 44

Hvordan bruker du SQL i Spark?

Answer 44

spark.sql('SELECT * FROM tabell')

Question 45

Hvordan registrerer du en midlertidig tabell?

Answer 45

df.createOrTempView('navn')

Question 46

Hvordan konverterer du RDD til DataFrame?

Answer 46

spark.createDataFrame(rdd)