Spark

Question 1

Cuál es la principal ventaja de utilizar map-reduce?
* Permite el procesamiento distribuído
* Consume menos memoria
* Es más rápido
* No tengo que aprender Pandas

Answer 1

Permite el procesamiento distribuído

Question 2

Lazy en el contexto de Spark significa que…
* Solo se procesan los datos si el resultado no es nulo.
* Se realizan la menor cantidad de operaciones para obtener un resultado.
* Los datos no se procesan hasta que sea necesario.
* Solo resuelve las operaciones los días Lunes.

Answer 2

Los datos no se procesan hasta que sea necesario.

Question 3

Las transformaciones en Spark son lazy.
True or false

Answer 3

True

Question 4

Las acciones en Spark se pueden encadenar para procesar nuestros datos.
True or false

Answer 4

False

Question 5

Qué tipos de funciones deben utilizarse en un reduce?
* Funciones conmutativas
* Funciones conmutativas y asociativas
* Funciones conmutativas, asociativas y distributivas
* Solo funciones transnoche

Answer 5

Funciones conmutativas y asociativas

Question 6

No es posible realizar un Map luego de un ReduceByKey.
True or false

Answer 6

False

Question 7

Con FlatMap puedo obtener varios registros a partir de cada registro de mi RDD.
True or False

Answer 7

True

Question 8

Usando la transformación Filter puedo quedarme con menos atributos en mis datos.
True or False

Answer 8

False

Question 9

Dado un RDD de ventas (fecha, cliente, monto). Quiero obtener la cantidad de ventas.
* rdd.count()
* rdd.reduceByKey(lambda x,y: x + y)
* rdd.map(lambda x: x[2]).reduce(lambda x,y: x + y)
* rdd.map(lambda x: 1).reduce(lambda x,y: x + y)

Answer 9

rdd.count()

Question 10

Dado un RDD de ventas (fecha, cliente, monto). Quiero obtener la venta más chica.
* rdd.takeOrdered(1, lambda x: x[2])
* rdd.map(lambda x: x[2]).reduce(lambda x,y: x if x < y else y)
* rdd.reduceByKey(lambda x,y: x if x[2] < y[2] else y)
* rdd.reduce(lambda x,y: x if x[2] < y[2] else y)

Answer 10

rdd.reduce(lambda x,y: x if x[2] < y[2] else y)