Wykład 4 - Technologia Big Data Flashcards

(49 cards)

1
Q

Kiedy dane nie są big: rozmiar

A

Mają ograniczony rozmiar i są łatwo interpretowane przez człowieka

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Kiedy dane nie są big: prędkość gromadzenia

A

Kiedy są gromadzone powoli i niekoniecznie aktualizowane

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Kiedy dane nie są big: struktura

A

Kiedy są ustrukturyzowane, np. możliwe do umieszczenia w tabeli

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Kiedy dane nie są big: przechowywania

A

Kiedy są trzymane w obrębie organizacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Cykl życia Big Data

A
  1. Gromadzenia i przechowywanie
  2. Tworzenie modelu danych
  3. Przetwarzanie danych
  4. Wizualizacja wyników
  5. Podejmowanie decyzji
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Cykl życia Big Data - 1. Gromadzenie i przechowywanie danych.
Jakie narzędzie?

A

Hadoop HDFS

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Cykl życia Big Data: 2. Tworzenie modelu danych
Jakie narzędzie

A

Na przykład wykorzystanie MapReduce

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Cykl życia Big Data: 3. Przetwarzanie danych
Jakie narzędzie

A

Apache Spark

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Pięć “V” Big Data (uzupełnij):
* _____ (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Volume

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* _____ (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Velocity

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* _____ (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)

A

Variety

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* _____ (wiarygodność)
* Value (wartość biznesowa)

A

Veracity

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* _____ (wartość biznesowa)

A

Value

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Powszechnie wykorzystywane rezultaty big data

A
  • silniki rekomendacji
  • inteligentni asystenci osobiści
  • duże modele językowe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. __________
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Telekomunikacja

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. __________
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Przemysł wytwórczy

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. __________
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Przemysł samochodowy

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. ___________
  5. Sprzedaż detaliczna
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Ubezpieczenia

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. ___________
  6. Służba zdrowia
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Sprzedaż detaliczna

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Top zastosowania Big Data (2019) - uzupełnij:

  1. Telekomunikacja
  2. Przemysł wytwórczy
  3. Przemysł samochodowy
  4. Ubezpieczenia
  5. Sprzedaż detaliczna
  6. __________
  7. Różne branże - spersonalizowana oferta
  8. Handel algorytmiczny
A

Służba zdrowia

21
Q

Zastosowanie Big Data w służbie zdrowia

A
  • Przewidywanie obłożenia placówek
  • Alarmowanie w czasie rzeczywistym
  • Elektroniczne dane pacjentów
22
Q

Zastosowanie Big Data w sprzedaży detalicznej

A
  • Analiza cen
  • Analiza sentymentu
23
Q

Zastosowanie Big Data w ubezpieczeniach

A
  • Wykrywanie oszustw i podejrzanej aktywności
  • Ocena ryzyka
24
Q

Zastosowanie Big Data w przemyśle samochodowym

A
  • Przewidywanie awarii, zamawianie części i kierowanie w celu naprawy na podstawie informacji z sensorów
  • Wykorzystywanie danych z otoczenia do prowadzenia pojazdów autonomicznych
25
Zastosowanie Big Data w przemyśle wytwórczym
* Analiza wzorców wykorzystania urządzeń * Optymalizacja produkcji
26
Zastosowanie Big Data w Telekomunikacji
* Analiza zagrożeń * Reklama kontekstowa * Monitorowanie ruchu sieciowego * Optymalizacja cen
27
Źródła danych 👭🧑‍🤝‍🧑👬👫
Społecznościowe
28
Źródła danych 🖥️⚙️⚙️⚙️⚙️🖥️📠📟📟🖥️
Generowane maszynowo
29
Źródła danych 📠💵💵💸💰💳💳💳💻🖥️
Transakcyjne
30
Do jakich typów danych pod względem struktury należą: Arkusze kalkulacyjne, relacyjne bazy danych
Do ustrukturyzowanych
31
Do jakich typów danych pod względem struktury należą: maile, XML, JSON, pakiety TCP/IP, zip...
Do częściowo ustrukturyzowanych
32
Do jakich typów danych pod względem struktury należą: audio, wideo, posty w mediach społecznościowych
Do nieustrukturyzowanych
33
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * Przetwarzanie chmurowe * Przetwarzanie równoległe i rozproszone * Narzędzia analizy i wizualizacji danych * Business intelligence * Oprogramowanie open source * 🖥️🧑‍💻⚙️🔧
Narzędzia programistyczne
34
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * Przetwarzanie chmurowe * Przetwarzanie równoległe i rozproszone * Narzędzia analizy i wizualizacji danych * Business intelligence * 🤗🙌🟥⚒️♥️ * Narzędzia programistyczne
Oprogramowanie open source
35
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * Przetwarzanie chmurowe * Przetwarzanie równoległe i rozproszone * Narzędzia analizy i wizualizacji danych * 📈🧠 * Oprogramowanie open source * Narzędzia programistyczne
Business intelligence
36
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * Przetwarzanie chmurowe * Przetwarzanie równoległe i rozproszone * 🧑‍💻👀📊📊 * Business intelligence * Oprogramowanie open source * Narzędzia programistyczne
Narzędzia analizy i wizualizacji danych
37
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * Przetwarzanie chmurowe * 💻↔️🖥️↔️🖥️↕️🗺️🗺️🌐🗾 * Narzędzia analizy i wizualizacji danych * Business intelligence * Oprogramowanie open source * Narzędzia programistyczne
Przetwarzanie równolegle i rozproszone
38
Elementy i koncepcje związane z Big Data (uzupełnij): * Technologie baz danych * ☁️☁️☁️☁️🌐🌐🌐 * Przetwarzanie równoległe i rozproszone * Narzędzia analizy i wizualizacji danych * Business intelligence * Oprogramowanie open source * Narzędzia programistyczne
Przetwarzanie chmurowe
39
Elementy i koncepcje związane z Big Data (uzupełnij): * 🗄️🗄️🗄️🗄️🗄️ * Przetwarzanie chmurowe * Przetwarzanie równoległe i rozproszone * Narzędzia analizy i wizualizacji danych * Business intelligence * Oprogramowanie open source * Narzędzia programistyczne
Technologie baz danych
40
5 narzędzi programistycznych dostarczających funkcjonalność przetwarzania danych
* R * Python * SQL * Scala * Julia
41
3 cechy oprogramowania open source
* Nie tylko otwarty kod, ale także otwarte zarządzanie projektem - każdy może proponować zmiany i projekt służy całej społeczności * Często olbrzymie projekty * W kategorii Big Data **duża część oprogramowania**
42
Na co pozwala licencja open source kodu źródłowego
- wykorzystywanie - badanie - zmianę - rozpowszechnianie
43
Przykłady licencji open source
- Apache License - GNU General Public License - GNU Lesser General Public License - MIT License - Mozilla Public License - BSD license - Eclipse Public License
44
BI / Analityka Biznesowa / Business Intelligence **Znaczenie**
Wykorzystywanie danych do podejmowania decyzji. Zawiera m.in. statystyczną analizę danych
45
Narzędzia analizy i wizualizacji danych 👁️👁️🧑‍💻📊📊📊
Pozwalają wychwycić w danych wzorce, korelacje i trendy ... Pozwalają także przedstawić powyższe w łatwo przystępnej formie! * Tableau * Palantir * SAS * Pentaho * Teradata
46
Dwie główne możliwości zrównoleglenia obliczeń
* Żenująco równoległe (można wykonywać zadania na innych komputerach bez potrzeby wymiany między nimi danych) * Ściśle zintegrowane (konieczna ciągła wymiana danych między przetwarzającymi dane urządzeniami - duże spowolnienie) W Big Data mamy do czynienia w dużej większości z obliczeniami**żenująco równoległymi**
47
Przetwarzanie chmurowe: jakie rodzaje, usługi możemy wykupić - IaaS - Infrastruktura jako usługa -- tylko sprzęt - PaaS - Platforma jako usługa -- jw+ systemy operacyjne i bazy danych - FaaS - Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi - SaaS UZUPEŁNIJ
Oprogramowanie jako usługa - użytkownik zarządza tylko danymi
48
Rozwiń pojęcia - IaaS - PaaS - FaaS - SaaS
- Infrastruktura jako usługa -- tylko sprzęt - Platforma jako usługa -- jw+ systemy operacyjne i bazy danych - Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi - Oprogramowanie jako usługa -- użytkownik zarządza tylko danymi
49
Technologie baz danych - czym są i co mamy najpopularniejszego do wyboru
Akwizycja, przechowywanie, przetwarzanie i współdzielenie danych o olbrzymiej objętości w różnych lokalizacjach * Apache Software Foundation: - Hadoop - Spark - HDFS