Wykład 4 - Technologia Big Data Flashcards

1
Q

Kiedy dane nie są big: rozmiar

A

Mają ograniczony rozmiar i są łatwo interpretowane przez człowieka

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Kiedy dane nie są big: prędkość gromadzenia

A

Kiedy są gromadzone powoli i niekoniecznie aktualizowane

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Kiedy dane nie są big: struktura

A

Kiedy są ustrukturyzowane, np. możliwe do umieszczenia w tabeli

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Kiedy dane nie są big: przechowywania

A

Kiedy są trzymane w obrębie organizacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Cykl życia Big Data

A
  1. Gromadzenia i przechowywanie
  2. Tworzenie modelu danych
  3. Przetwarzanie danych
  4. Wizualizacja wyników
  5. Podejmowanie decyzji
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Cykl życia Big Data - 1. Gromadzenie i przechowywanie danych.
Jakie narzędzie?

A

Hadoop HDFS

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Cykl życia Big Data: 2. Tworzenie modelu danych
Jakie narzędzie

A

Na przykład wykorzystanie MapReduce

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Cykl życia Big Data: 3. Przetwarzanie danych
Jakie narzędzie

A

Apache Spark

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Pięć “V” Big Data (uzupełnij):
* _____ (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Volume

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* _____ (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Velocity

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* _____ (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Variety

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* _____ (wiarygodność)
* Value (wartość biznesowa)

A

Veracity

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* _____ (wartość biznesowa)

A

Value

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Powszechnie wykorzystywane rezultaty big data

A
  • silniki rekomendacji
  • inteligentni asystenci osobiści
  • duże modele językowe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. __________
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Telekomunikacja

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. __________
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Przemysł wytwórczy

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. __________
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Przemysł samochodowy

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. ___________
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Ubezpieczenia

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. ___________
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Sprzedaż detaliczna

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. __________
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Służba zdrowia

21
Q

Zastosowanie Big Data w służbie zdrowia

A
  • Przewidywanie obłożenia placówek
  • Alarmowanie w czasie rzeczywistym
  • Elektroniczne dane pacjentów
22
Q

Zastosowanie Big Data w sprzedaży detalicznej

A
  • Analiza cen
  • Analiza sentymentu
23
Q

Zastosowanie Big Data w ubezpieczeniach

A
  • Wykrywanie oszustw i podejrzanej aktywności
  • Ocena ryzyka
24
Q

Zastosowanie Big Data w przemyśle samochodowym

A
  • Przewidywanie awarii, zamawianie części i kierowanie w celu naprawy na podstawie informacji z sensorów
  • Wykorzystywanie danych z otoczenia do prowadzenia pojazdów autonomicznych
25
Q

Zastosowanie Big Data w przemyśle wytwórczym

A
  • Analiza wzorców wykorzystania urządzeń
  • Optymalizacja produkcji
26
Q

Zastosowanie Big Data w Telekomunikacji

A
  • Analiza zagrożeń
  • Reklama kontekstowa
  • Monitorowanie ruchu sieciowego
  • Optymalizacja cen
27
Q

Źródła danych 👭🧑‍🤝‍🧑👬👫

A

Społecznościowe

28
Q

Źródła danych 🖥️⚙️⚙️⚙️⚙️🖥️📠📟📟🖥️

A

Generowane maszynowo

29
Q

Źródła danych 📠💵💵💸💰💳💳💳💻🖥️

A

Transakcyjne

30
Q

Do jakich typów danych pod względem struktury należą:

Arkusze kalkulacyjne, relacyjne bazy danych

A

Do ustrukturyzowanych

31
Q

Do jakich typów danych pod względem struktury należą:

maile, XML, JSON, pakiety TCP/IP, zip…

A

Do częściowo ustrukturyzowanych

32
Q

Do jakich typów danych pod względem struktury należą:

audio, wideo, posty w mediach społecznościowych

A

Do nieustrukturyzowanych

33
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • Przetwarzanie chmurowe
  • Przetwarzanie równoległe i rozproszone
  • Narzędzia analizy i wizualizacji danych
  • Business intelligence
  • Oprogramowanie open source
  • 🖥️🧑‍💻⚙️🔧
A

Narzędzia programistyczne

34
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • Przetwarzanie chmurowe
  • Przetwarzanie równoległe i rozproszone
  • Narzędzia analizy i wizualizacji danych
  • Business intelligence
  • 🤗🙌🟥⚒️♥️
  • Narzędzia programistyczne
A

Oprogramowanie open source

35
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • Przetwarzanie chmurowe
  • Przetwarzanie równoległe i rozproszone
  • Narzędzia analizy i wizualizacji danych
  • 📈🧠
  • Oprogramowanie open source
  • Narzędzia programistyczne
A

Business intelligence

36
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • Przetwarzanie chmurowe
  • Przetwarzanie równoległe i rozproszone
  • 🧑‍💻👀📊📊
  • Business intelligence
  • Oprogramowanie open source
  • Narzędzia programistyczne
A

Narzędzia analizy i wizualizacji danych

37
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • Przetwarzanie chmurowe
  • 💻↔️🖥️↔️🖥️↕️🗺️🗺️🌐🗾
  • Narzędzia analizy i wizualizacji danych
  • Business intelligence
  • Oprogramowanie open source
  • Narzędzia programistyczne
A

Przetwarzanie równolegle i rozproszone

38
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • Technologie baz danych
  • ☁️☁️☁️☁️🌐🌐🌐
  • Przetwarzanie równoległe i rozproszone
  • Narzędzia analizy i wizualizacji danych
  • Business intelligence
  • Oprogramowanie open source
  • Narzędzia programistyczne
A

Przetwarzanie chmurowe

39
Q

Elementy i koncepcje związane z Big Data (uzupełnij):

  • 🗄️🗄️🗄️🗄️🗄️
  • Przetwarzanie chmurowe
  • Przetwarzanie równoległe i rozproszone
  • Narzędzia analizy i wizualizacji danych
  • Business intelligence
  • Oprogramowanie open source
  • Narzędzia programistyczne
A

Technologie baz danych

40
Q

5 narzędzi programistycznych dostarczających funkcjonalność przetwarzania danych

A
  • R
  • Python
  • SQL
  • Scala
  • Julia
41
Q

3 cechy oprogramowania open source

A
  • Nie tylko otwarty kod, ale także otwarte zarządzanie projektem - każdy może proponować zmiany i projekt służy całej społeczności
  • Często olbrzymie projekty
  • W kategorii Big Data duża część oprogramowania
42
Q

Na co pozwala licencja open source kodu źródłowego

A
  • wykorzystywanie
  • badanie
  • zmianę
  • rozpowszechnianie
43
Q

Przykłady licencji open source

A
  • Apache License
  • GNU General Public License
  • GNU Lesser General Public License
  • MIT License
  • Mozilla Public License
  • BSD license
  • Eclipse Public License
44
Q

BI / Analityka Biznesowa / Business Intelligence
Znaczenie

A

Wykorzystywanie danych do podejmowania decyzji.
Zawiera m.in. statystyczną analizę danych

45
Q

Narzędzia analizy i wizualizacji danych
👁️👁️🧑‍💻📊📊📊

A

Pozwalają wychwycić w danych wzorce, korelacje i trendy

… Pozwalają także przedstawić powyższe w łatwo przystępnej formie!

  • Tableau
  • Palantir
  • SAS
  • Pentaho
  • Teradata
46
Q

Dwie główne możliwości zrównoleglenia obliczeń

A
  • Żenująco równoległe (można wykonywać zadania na innych komputerach bez potrzeby wymiany między nimi danych)
  • Ściśle zintegrowane (konieczna ciągła wymiana danych między przetwarzającymi dane urządzeniami - duże spowolnienie)

W Big Data mamy do czynienia w dużej większości z obliczeniamiżenująco równoległymi

47
Q

Przetwarzanie chmurowe: jakie rodzaje, usługi możemy wykupić

  • IaaS - Infrastruktura jako usługa – tylko sprzęt
  • PaaS - Platforma jako usługa – jw+ systemy operacyjne i bazy danych
  • FaaS - Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi
  • SaaS
    UZUPEŁNIJ
A

Oprogramowanie jako usługa - użytkownik zarządza tylko danymi

48
Q

Rozwiń pojęcia

  • IaaS
  • PaaS
  • FaaS
  • SaaS
A
  • Infrastruktura jako usługa – tylko sprzęt
  • Platforma jako usługa – jw+ systemy operacyjne i bazy danych
  • Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi
  • Oprogramowanie jako usługa – użytkownik zarządza tylko danymi
49
Q

Technologie baz danych - czym są i co mamy najpopularniejszego do wyboru

A

Akwizycja, przechowywanie, przetwarzanie i współdzielenie danych o olbrzymiej objętości w różnych lokalizacjach

  • Apache Software Foundation:
  • Hadoop
  • Spark
  • HDFS