"Duże dane" to nowa nauka o zrozumieniu i przewidywaniu ludzkich zachowań poprzez badanie dużych ilości nieustrukturyzowanych danych. Duże dane są również nazywane "analizami predykcyjnymi".
Analiza postów na Twitterze, kanałów Facebooka, wyszukiwań w serwisie eBay, trackerów GPS i bankomatów to tylko niektóre przykłady dużych danych. Badanie filmów o bezpieczeństwie, danych o ruchu, wzorców pogodowych, przylotów, dzienników w telefonach komórkowych i czytników tętna to inne formy. Duże dane to niechlujna nowa nauka, która zmienia się co tydzień i tylko niewielu ekspertów rozumie to wszystko.
Jakie są przykłady dużych danych w zwykłym życiu?
Podczas gdy większość dużych projektów danych jest bardzo mało znanych, istnieją udane przykłady dużych danych mających wpływ na codzienne życie osób, firm i rządów:
Przewidywanie epidemii wirusów: analizując dane społeczno-polityczne, dane pogodowe i klimatyczne oraz dane szpitalne / kliniczne, naukowcy ci obecnie przewidują epidemie gorączki denga z 4-tygodniowym wyprzedzeniem.
Watch Manicide: ten duży projekt danych zawiera morderstwa ofiar, podejrzanych i przestępców w Waszyngtonie. Zarówno jako sposób na uhonorowanie zmarłego, jak i jako źródło wiedzy dla ludzi, ten duży projekt danych jest fascynujący.
Planowanie podróży tranzytowych, NYC: Programista radiowy WNYC, Steve Melendez, połączył internetowy plan metra z oprogramowaniem do planowania podróży. Jego stworzenie pozwala nowojorczykom kliknąć ich lokalizację na mapie, a pojawi się prognoza czasu podróży pociągów i metra.
Xerox ograniczył utratę siły roboczej: praca call center jest emocjonalnie wyczerpująca. Xerox zbadał rozbieżność danych z pomocą profesjonalnych analityków, a teraz może przewidzieć, które wypożyczalnie call center najprawdopodobniej pozostaną w firmie najdłużej.
Wspieranie walki z terroryzmem: studiując media społecznościowe, zapisy finansowe, rezerwacje lotów i dane bezpieczeństwa, organy ścigania mogą przewidzieć i zlokalizować podejrzanych o terroryzm, zanim zrobią swoje nikczemne czyny.
Dostosowanie marketingu marki w oparciu o recenzje w mediach społecznościowych: ludzie bez ogródek i szybko dzielą się swoimi przemyśleniami online w pubie, restauracji lub klubie fitness. Można analizować miliony postów w mediach społecznościowych i przekazywać firmie informacje zwrotne na temat tego, co ludzie myślą o swoich usługach.
Kto korzysta z Big Data? Co z tym robią?
Wiele monolitycznych korporacji używa dużych danych, aby dostosować swoją ofertę i ceny, aby zmaksymalizować satysfakcję klienta.
- Dom towarowy Macy'sna przykład używa dużych danych, aby dostosować swoje ceny w locie do ponad 70 milionów produktów. Wysyłają nawet spersonalizowane wiadomości e-mail do swoich klientów na podstawie tego, co Macy sądzi, że są nimi zainteresowani.
- Reakcja policji na bombardowanie maratonu w Bostonie: dzięki wykorzystaniu dużych danych do badania obrazów wideo i monitoringu policja mogła szybko zawęzić poszukiwania podejrzanych.
- Morton's Steakhouse wykorzystuje Twittera do ściągania akrobacji marketingowych, w tym słynnego portu lotniczego New Jersey z stekiem porterhouse i kolacją z krewetek.
- Visa wykorzystuje duże dane do identyfikacji i łapania oszustów.Pojedyncze transakcje tu i tam mogą łatwo ukryć nieuczciwego użytkownika karty kredytowej, ale uważnie obserwując miliony transakcji, można wykryć oszustwa.
- Facebook wykorzystuje duże dane do dostosowywania reklam. Starannie przestudiowawszy upodobania swojego FB i poznając przyzwyczajenia, gigant mediów społecznościowych ma niesamowity wgląd w twoje gusta. Te reklamy na pasku bocznym, które widzisz na swoim kanale na Facebooku, są wybierane przez bardzo przemyślane i złożone algorytmy, które obserwują Twoje nawyki na Facebooku.
Dlaczego Big Data jest tak wielką transakcją?
4 rzeczy sprawiają, że duże dane są znaczące:
1. Dane są ogromne. Nie zmieści się na jednym twardym dysku, a tym bardziej na pamięci USB. Ilość danych znacznie przekracza to, co ludzki umysł może dostrzec (myśl o miliardach miliardów megabajtów, a następnie pomnóż to przez więcej miliardów).
2. Dane są niechlujne i nieustrukturyzowane. 50% do 80% pracy z dużymi danymi polega na konwertowaniu i czyszczeniu informacji, aby można było je wyszukać i sortować. Tylko kilka tysięcy ekspertów na naszej planecie w pełni wie, jak wykonać to oczyszczanie danych. Eksperci ci potrzebują również specjalistycznych narzędzi, takich jak HPE i Hadoop, do wykonywania swoich zadań. Być może za 10 lat eksperci w dziedzinie dużych zbiorów danych staną się dziesięciocentówką, ale na razie są bardzo rzadkim gatunkiem analityka, a ich praca jest nadal bardzo niejasna i nużąca.
3. Dane stały się towarem **, który można sprzedać i kupić. Istnieją tarcze danych, na których firmy i osoby fizyczne mogą kupować terabajty mediów społecznościowych i inne dane. Większość danych jest oparta na chmurze, ponieważ jest zbyt duża, aby zmieścić się na dowolnym pojedynczym dysku twardym. Kupowanie danych zwykle wiąże się z opłatą za subskrypcję, gdy podłączasz się do farmy serwerów w chmurze.
** Liderami dużych narzędzi i pomysłów na dane są: Amazon, Google, Facebook i Yahoo. Ponieważ firmy te obsługują wiele milionów osób dzięki swoim usługom online, ma sens, aby były punktem zbiorczym i wizjonerami analiz dużych zbiorów danych.4. Możliwości dużych zbiorów danych są nieograniczone. Być może lekarze pewnego dnia będą przewidywać ataki serca i udary dla osób na kilka tygodni przed ich wystąpieniem. Wypadki w samolotach i samochodach mogą zostać zmniejszone dzięki analizie predykcyjnej danych mechanicznych i ruchów oraz wzorców pogodowych. Randki online mogą zostać ulepszone poprzez posiadanie dużych predyktorów danych, którzy są dla ciebie odpowiednimi osobowościami. Muzycy mogą uzyskać wgląd w to, jaka kompozycja muzyczna jest najbardziej podobna do zmieniających się gustów docelowych odbiorców.Specjaliści od żywienia mogą być w stanie przewidzieć, która kombinacja kupowanych w sklepie pokarmów pogorszy się lub pomoże chorym. Powierzchnia została tylko porysowana, a odkrycia w dużych danych zdarzają się co tydzień.
Big Data jest niechlujny
Duże dane to analizy prognostyczne: konwersja ogromnych niestrukturalnych danych w coś, co można przeszukiwać i sortować. To chaotyczna i chaotyczna przestrzeń, wymagająca szczególnej wiedzy i cierpliwości.
Weźmy na przykład monolityczną usługę dostawy UPS. Programiści z UPS badają dane z GPS swoich kierowców i smartfonów, aby przeanalizować najbardziej efektywne sposoby dostosowywania się do korków. Dane GPS i smartfona są gigantyczne i nie są automatycznie gotowe do analizy. Dane te są przesyłane z różnych baz danych GPS i map za pośrednictwem różnych urządzeń sprzętowych smartfonów. Analitycy UPS spędzili miesiące, konwertując wszystkie te dane do formatu, który można łatwo przeszukiwać i sortować. Jednak wysiłek był tego wart. Dzisiaj UPS zaoszczędził ponad 8 milionów litrów paliwa, odkąd zaczęto używać tych analiz dużych zbiorów danych.
Ponieważ duże zbiory danych są nieporządne i wymagają tak wiele wysiłku, aby oczyścić i przygotować się do użycia, naukowcy zajmujący się danymi zyskały przydomek "dozorcy danych" dla całej żmudnej pracy, którą wykonują. Wcześniejsze
Jednak nauka o dużych danych i analizach predykcyjnych poprawia się co tydzień. Oczekuj, że duże dane staną się łatwo dostępne dla wszystkich do roku 2025.
Czy Big Data nie stanowi introspekcyjnego zagrożenia dla prywatności?
Tak, jeśli nasze prawa i indywidualne mechanizmy ochrony prywatności nie są dokładnie zarządzane, wtedy duże dane wchodzą w prywatność. W tej chwili Google, YouTube i Facebook już śledzą codzienne nawyki online. Twój smartfon i życie komputerowe pozostawia cyfrowe ślady każdego dnia, a wyrafinowane firmy badają te ślady.
Prawa dotyczące dużych zbiorów danych ewoluują. Prywatność to stan, w którym należy teraz wziąć na siebie osobistą odpowiedzialność, ponieważ nie można już oczekiwać, że będzie to prawo domyślne.
Co możesz zrobić, aby chronić swoją prywatność:
Największym pojedynczym krokiem, jaki możesz wykonać, jest ukrycie codziennych nawyków za pomocą połączenia sieciowego VPN. Usługa VPN będzie przesyłać sygnał, aby Twoja tożsamość i lokalizacja były co najmniej częściowo zamaskowane przez urządzenia śledzące. To nie sprawi, że będziesz w 100% anonimowy, ale VPN znacznie zmniejszy, ile świat może obserwować twoje nawyki online.
Gdzie mogę dowiedzieć się więcej o dużych danych?
Big data to fascynująca rzecz dla ludzi z analitycznymi umysłami i zamiłowaniem do technologii. Jeśli to ty, to zdecydowanie odwiedź tę stronę ciekawych projektów big data.
