30 najpopularniejszych pytań i odpowiedzi na rozmowie kwalifikacyjnej w Hive (2024)

Pytania do rozmowy kwalifikacyjnej w Hive dla nowicjuszy i doświadczonych

Oto pytania i odpowiedzi dotyczące rozmów kwalifikacyjnych w Hive zarówno dla nowicjuszy, jak i doświadczonych kandydatów, którzy chcą zdobyć wymarzoną pracę.

Bezpłatne pobieranie w formacie PDF: Pytania do wywiadu z Hive


1) Wyjaśnij, czym jest Hive?

Hive to narzędzie do obsługi ETL i hurtowni danych opracowane w oparciu o rozproszony system plików Hadoop (HDFS). Jest to platforma hurtowni danych służąca do wykonywania zapytań i analizy danych przechowywanych w systemie HDFS. Hive to oprogramowanie typu open source, które umożliwia programistom analizowanie dużych zbiorów danych Hadoop.


2) Kiedy używać Hive?

  • Ul jest przydatny podczas robienia hurtownia danych aplikacje
  • Kiedy masz do czynienia z danymi statycznymi, a nie dynamicznymi
  • Gdy aplikacja ma duże opóźnienia (wysoki czas odpowiedzi)
  • Gdy utrzymywany jest duży zbiór danych
  • Kiedy używamy zapytań zamiast skryptów

3) Wspomnij, jakie są różne tryby Hive?

W zależności od rozmiaru węzłów danych w Hadoop, Hive może działać w dwóch trybach. Tryby te to m.in.

  • Tryb lokalny
  • Tryb zmniejszania mapy

4) Wspomnij, kiedy używać trybu zmniejszania mapy?

Tryb zmniejszania mapy jest używany, gdy:

  • Będzie działać na dużej liczbie zestawów danych, a zapytanie będzie wykonywane równolegle
  • Hadoop ma wiele węzłów danych, a dane są rozproszone w różnych węzłach, w których używamy Hive w tym trybie
  • Należy zapewnić lepszą wydajność przetwarzania dużych zbiorów danych

5) Wymień kluczowe komponenty architektury Hive?

Kluczowe elementy architektury Hive obejmują:

  • Interfejs użytkownika
  • kompilator
  • Magazyn metadanych
  • Kierowca
  • Uruchom silnik
Pytania do rozmowy kwalifikacyjnej Hive
Pytania do rozmowy kwalifikacyjnej Hive

6) Wspomnij, jakie są różne typy tabel dostępnych w Hive?

W Hive dostępne są dwa typy tabel.

  • Zarządzany stół: W tabeli zarządzanej zarówno dane, jak i schemat są pod kontrolą Hive
  • Stół zewnętrzny: W tabeli zewnętrznej tylko schemat jest pod kontrolą Hive.

7) Wyjaśnij, czym jest Metastore w Hive?

Metastore to centralne repozytorium w Hive. Służy do przechowywania informacji o schemacie lub metadanych w zewnętrznej bazie danych.


8) Wspomnij, z czego składa się Hive?

Ul składa się z 3 głównych części,

  1. Klienci Hive
  2. Usługi ula
  3. Pamięć masowa i komputery Hive

9) Wspomnij, jakie typy baz danych obsługuje Hive?

Do przechowywania metadanych jednego użytkownika Hive używa bazy danych derby, a do przechowywania metadanych wielu użytkowników lub współdzielonych metadanych Hive używa MYSQL.


10) Wspomnij o domyślnych klasach odczytu i zapisu Hive?

Domyślne klasy odczytu i zapisu Hive to

  1. TextInputFormat/HiveIgnoreKeyTextOutputFormat
  2. SequenceFileInputFormat/SequenceFileOutputFormat

11) Co to jest indeksowanie w Hive?

Indeksowanie Hive to technika optymalizacji zapytań, która poprawia szybkość wyszukiwania zapytań w określonych kolumnach tabeli.


12) Dlaczego Hive nie nadaje się do systemów OLTP?

Hive nie jest odpowiedni dla systemów OLTP, ponieważ nie zapewnia funkcji wstawiania i aktualizacji na poziomie wiersza.


13) Wspomnij, jaka jest różnica między Hbase i Hive?

Różnica między Hbase i Hive polega na tym,

  • Hive umożliwia większość SQL zapytania, ale HBase nie zezwala na zapytania SQL
  • Hive nie obsługuje operacji wstawiania, aktualizowania i usuwania na poziomie rekordu w tabeli
  • Hive to platforma hurtowni danych, podczas gdy HBase to baza danych NoSQL
  • Hive działa na MapReduce, HBase działa na górze HDFS

14) Wyjaśnij, czym jest zmienna Hive? Po co go używamy?

Zmienna Hive jest tworzona w środowisku Hive, do którego mogą odwoływać się skrypty Hive. Służy do przekazywania niektórych wartości do zapytań gałęzi, gdy zapytanie rozpoczyna wykonywanie.


15) Wspomnij, jaka jest funkcjonalność ObjectInspector w Hive?

Funkcjonalność ObjectInspector w Hive służy do analizowania wewnętrznej struktury kolumn, wierszy i złożonych obiektów. Umożliwia dostęp do pól wewnętrznych wewnątrz obiektów.


16) Wspomnij, czym jest (HS2) HiveServer2?

Jest to interfejs serwera, który realizuje następujące funkcje.

  • Umożliwia zdalnym klientom wykonywanie zapytań przeciwko Hive
  • Pobierz wyniki wspomnianych zapytań

Niektóre zaawansowane funkcje oparte na najnowszej wersji Thrift RPC obejmują

  • Współbieżność wielu klientów
  • Uwierzytelnianie

17) Wspomnij, co robi procesor zapytań Hive?

Procesor zapytań Hive konwertuje wykres zadań MapReduce z ramą czasu wykonania. Aby zadania mogły być wykonywane w kolejności zależności.


18) Wspomnij, jakie są komponenty procesora zapytań Hive?

Składniki procesora zapytań Hive obejmują:

  • Generowanie planu logicznego
  • Generowanie planu fizycznego
  • Silnik wykonania
  • Operatorzy
  • UDF i UDAF
  • Optimizer
  • Parser
  • Analizator semantyczny
  • Sprawdzanie typów

19) Wspomnij, czym są partycje w ulu?

Hive organizuje tabele w partycje.

  • Jest to jeden ze sposobów podziału tabel na różne części w oparciu o klucze partycji.
  • Partycja jest przydatna, gdy tabela ma jeden lub więcej kluczy partycji.
  • Klucze partycji to podstawowe elementy określające sposób przechowywania danych w tabeli.

20) Wspomnij, kiedy wybrać „Tabelę wewnętrzną” i „Tabelę zewnętrzną” w ulu?

W Hive możesz wybrać tabelę wewnętrzną,

  • Jeśli przetwarzanie danych jest dostępne w lokalnym systemie plików
  • Jeśli chcemy, aby Hive zarządzał pełnym cyklem życia danych, łącznie z usuwaniem

Możesz wybrać stół zewnętrzny,

  • Jeśli przetwarzane są dane dostępne w HDFS
  • Przydatne, gdy pliki są używane poza Hive

21) Wspomnij, czy możemy nazwać widok tak samo jak nazwę tabeli Hive?

Nie. Nazwa widoku musi być unikalna w porównaniu do wszystkich innych tabel i widoków znajdujących się w tej samej bazie danych.


22) Wspomnij, jakie są widoki w Hive?

W Hive widoki są podobne do tabel. Generowane są na podstawie wymagań.

  • Możemy zapisać dowolne dane zestawu wyników jako widok w Hive
  • Sposób użycia jest podobny do widoków używanych w SQL
  • Na widoku można wykonywać wszelkiego rodzaju operacje DML

23) Wyjaśnij, w jaki sposób Hive deserializuje i serializuje dane?

Zwykle podczas odczytu/zapisu danych użytkownik najpierw komunikuje się z formatem wejściowym. Następnie łączy się z czytnikiem rekordów w celu odczytu/zapisu rekordu. Aby serializować dane, dane trafiają do wiersza. Tutaj deserializowana niestandardowa serde używa inspektora obiektów do deserializacji danych w polach.


24) Co to są wiadra w ulu?

  • Dane znajdujące się w partycjach można dalej podzielić na Buckets
  • Podział odbywa się na podstawie Hasha poszczególnych kolumn wybranego w tabeli.

25) Jak w Hive włączyć segmenty?

W Hive możesz włączyć segmenty za pomocą następującego polecenia:

set.hive.enforce.bucketing=true;

26) Czy w Hive możesz zastąpić konfigurację Hadoop MapReduce w Hive?

Tak, możesz zastąpić konfigurację Hadoop MapReduce w Hive.


27) Wyjaśnij, jak zmienić typ danych kolumny w Hive?

Możesz zmienić typ danych kolumny w Hive za pomocą polecenia,

ALTER TABLE table_name CHANGE column_name column_name new_datatype;

28) Wspomnij, jaka jest różnica między sortowaniem według i sortowaniem w Hive?

  • SORT BY posortuje dane w obrębie każdego reduktora. Do operacji SORTOWANIE WEDŁUG można zastosować dowolną liczbę reduktorów.
  • ORDER BY posortuje wszystkie dane razem, które muszą przejść przez jeden reduktor. Zatem ORDER BY w ulu używa pojedynczego

29) Wyjaśnij, kiedy używać eksplodowania w ulu?

Programiści Hadoop czasami podejmują szyk jako dane wejściowe i przekonwertuj je na oddzielny wiersz tabeli. Aby przekonwertować złożone typy danych na żądane formaty tabel, użyj funkcji Hive eksploduj.


30) Wspomnij, jak możesz zatrzymać sprawdzanie formularza podziału?

Można zatrzymać odpytywanie formularza partycji, używając klauzuli ENABLE OFFLINE z instrukcją ALTER TABLE.

Te pytania do rozmowy kwalifikacyjnej pomogą również w Twoim życiu (ustnym). Zapoznaj się z naszym Poradniki dotyczące ula dla dodatkowej przewagi podczas rozmowy kwalifikacyjnej.

Share

Komentarze 3

  1. Avatar Satyaranjan Singh mówi:

    Jest to bardzo pomocne…..pomocne…..pomocne w przygotowaniu do rozmowy kwalifikacyjnej, a także w samoprzygotowaniu.

  2. Dziękuję! To bardzo pomocne!

    Myślę, że możesz dodać kilka pytań na temat „zniekształceń danych”, ponieważ zwykle proszono mnie o udzielenie odpowiedzi na te pytania, gdy brałem udział w rozmowie kwalifikacyjnej.

    1. Avatar meenakshi mówi:

      dodaj pytania do rozmowy kwalifikacyjnej, które zadałeś

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *