Pyspark vs pandas

Question 1

Hvordan lager du en DataFrame i Pandas?

Answer 1

pd.DataFrame(data)

Question 2

Hvordan lager du en DataFrame i PySpark?

Answer 2

spark.createDataFrame(data)

Question 3

Hvordan leser du en CSV-fil i Pandas?

Answer 3

pd.read_csv(‘fil.csv’)

Question 4

Hvordan leser du en CSV-fil i PySpark?

Answer 4

spark.read.csv(‘fil.csv’, header=True, inferSchema=True)

Question 5

Hvordan filtrerer du rader i Pandas?

Answer 5

df[df[‘kol’] > 5]

Question 6

Hvordan filtrerer du rader i PySpark?

Answer 6

df.filter(df.kol > 5)

Question 7

Hvordan legger du til en ny kolonne i Pandas?

Answer 7

df[‘ny’] = df[‘kol’] + 1

Question 8

Hvordan legger du til en ny kolonne i PySpark?

Answer 8

df.withColumn(‘ny’, df.kol + 1)

Question 9

Hvordan grupperer du i Pandas?

Answer 9

df.groupby(‘kol’).mean()

Question 10

Hvordan grupperer du i PySpark?

Answer 10

df.groupBy(‘kol’).agg({‘kol2’: ‘mean’})

Question 11

Hvordan sorterer du data i Pandas?

Answer 11

df.sort_values(‘kol’)

Question 12

Hvordan sorterer du data i PySpark?

Answer 12

df.orderBy(‘kol’)

Question 13

Hvordan skriver du til CSV i Pandas?

Answer 13

df.to_csv(‘fil.csv’, index=False)

Question 14

Hvordan skriver du til CSV i PySpark?

Answer 14

df.write.csv(‘sti’, header=True)

Question 15

Hvordan sjekker du data-types i Pandas?

Answer 15

df.dtypes

Question 16

Hvordan sjekker du data-types i PySpark?

Answer 16

df.printSchema()

Question 17

Hvordan viser du de første radene i Pandas?

Answer 17

df.head()

Question 18

Hvordan viser du de første radene i PySpark?

Answer 18

df.show()

Question 19

Er operasjoner eager eller lazy i Pandas?

Answer 19

Eager (kjøres med én gang)

Question 20

Er operasjoner eager eller lazy i PySpark?

Answer 20

Lazy (kjøres først ved action)