1. Identyfikowanie i usuwanie zduplikowanych wpisów

 Zduplikowane wpisy to jeden z najczęstszych problemów z danymi. W rozbudowanych zestawach danych z wieloma wierszami i kolumnami często trudno jest dostrzec możliwe zduplikowane wpisy. Często wynika to z różnic w formie zapisu np. małe-wielkie litery. W tym miejscu może się przydać zastosowanie przekształcenia deduplikacji, które pomaga usunąć zduplikowane wpisy w ciągu kilku sekund.

2. Radzenie sobie z formatami dat

Różne systemy i regiony często rejestrują wartości dat w różnych formatach, a te różnice mogą prowadzić do komplikacji podczas scalania zestawów danych.

Np.  wiele formatów, takich jak DD/MM/RRRR, DD-MM-RR i DD-MMM-RR, lub rejestrowanie daty w formacie numerycznym (03 dla marca) lub alfabetycznym (MAR dla marca), może wprowadzać chaos.  Dzięki Zoho DataPrep możesz rozwiązać ten problem na dwa sposoby: 

• zmieniając lub ujednolicając formaty dat 
• lub stosując transformację 

Zmień format daty w kolumnie daty, a Zoho DataPrep automatycznie udostępni opcje standaryzacji. Możesz wybrać jeden z predefiniowanych formatów lub stworzyć własny format.

3. Postępowanie z nieprawidłowymi wpisami

Nieprawidłowe wpisy w zestawach danych mogą prowadzić do problemów z dalszymi procesami, takimi jak analityka, uczenie maszynowe, magazynowanie danych i inne. Ponieważ nie zostaną one zaakceptowane przez większość baz danych lub narzędzi analitycznych, nieprawidłowe wartości utrudniają możliwość dokładnego przetwarzania lub analizowania zestawu danych. Dlatego konieczne jest ich czyszczenie przed importem, a to czasochłonny proces. W Zoho DataPrep Studio możesz importować dane z nieprawidłowymi wartościami, a każdy importowany zestaw danych jest automatycznie analizowany pod kątem jakości danych. Jest to wizualnie przedstawione na wykresach i histogramach, dzięki czemu użytkownicy mogą mieć szybki podgląd prawidłowych i nieprawidłowych wpisów, oprócz brakujących wartości.

Dzięki wielu dostępnym przekształceniom możesz naprawić, wyczyścić lub usunąć wszelkie nieprawidłowe wartości z zestawu danych. Poprawa jakości danych w ten sposób może prowadzić do włączenia i przetwarzania danych, których analiza byłaby wcześniej niemożliwa.

4. Uzupełnij brakujące dane

 Brakujące wartości w zestawach danych mają złożony wpływ na procesy — algorytmy uczenia maszynowego mogą nie zadziałać z powodu brakujących wartości, modele ML mogą tworzyć błędy systematyczne, a dokładność analizy statystycznej może mieć ogromny wpływ.

 Faktem jest, że brakujące wartości są powszechne i istnieją różne powody, dla których się pojawiają. Weźmy na przykład ankietę marketingową: respondenci mogą nie wypełnić odpowiedzi z powodu obaw o prywatność lub dlatego, że nie rozumieją konkretnego pytania.

 Dzięki Zoho DataPrep możliwe jest użycie transformacji Column do wypełnienia pustych komórek wartościami danych w drodze aproksymacji.

Korzystając z funkcji przekształcania kolumn wypełniania pustych komórek, użytkownicy mogą wybierać spośród wielu zalecanych logiki w celu wypełnienia pustych komórek. Opcje obejmują wypełnienie brakujących komórek „najczęstszą wartością”, „wartość średnią” lub „wartość niestandardową”.

5. Tworzenie niestandardowych typów danych

Zoho DataPrep identyfikuje najpopularniejsze formaty danych podczas ich importowania. Dotyczy to tylko ogólnych typów danych przypisywanych do kolumn, jak tekst, liczba, e-mail, data itp.  Nie identyfikuje semantycznych typów danych, które są specyficzne dla organizacji.

Na przykład organizacje mogą tworzyć unikalne identyfikatory pracowników na podstawie kombinacji kodu kraju i numeru pracownika. Na przykład pracownikowi w Indiach można przypisać numer IN-24551. Inny pracownik oddziału w USA może otrzymać US-452 i tak dalej.

Dlatego w DataPrep można utworzyć własny typ danych zgodny z preferowanym formatem Twojej organizacji. 

Po utworzeniu niestandardowego typu danych Zoho DataPrep zidentyfikuje te dane w zestawie danych, a także automatycznie zidentyfikuje je podczas przyszłych importów.

 Jak widać uzyskanie optymalnej wartości z danych organizacji zależy zarówno od elastyczności używanego narzędzia do przygotowywania danych, jak i świadomości kontekstowej stosowanej przez użytkownika podczas procesu czyszczenia. 

Jeśli zainteresował Cię temat zarządzania danymi, sprawdź jakie funkcje oferujeDataPrepdla Twojej organizacji. Jeśli masz pytania chętnie na nie odpowiemy.