Thuật ngữ Big Data được phải sử dụng cho phần đa cỗ tập tài liệu kếch xù kể cả trọng lượng to, tốc độ cao & những một số loại dữ liệu sẽ tăng lên mỗi ngày. Dùng đều khối hệ thống cai quản trị dữ liệu cổ điển, cực nặng nề nhằm xử lý Big data. bởi vậy, Quỹ ứng dụng Apabịt (Apađậy Software Foundation) đã ra mắt một framework thương hiệu là Hadoop nhằm xử lý phần đông thử thách quản lí trị & cách xử lý Big data.

Bạn đang xem: Apache hive là gì

Bài Viết: Hive là gì

Hadoop

Hadoop là một framework open-source nhằm tàng trữ and giải pháp xử lý Big data trong môi trường xung quanh phân tán. Nó đựng hai mô-đun, một là MapReduce and một mô-đun khác là Hệ thống tệp phân tán Hadoop (Hadoop Distributed Tệp tin System – HDFS).

MapReduce: Đó là đồ sộ lập trình sẵn tuy vậy tuy nhiên để giải pháp xử lý một lượng khổng lồ dữ liệu gồm kết cấu, bán kết cấu and ko kết cấu bên trên phần đông các lớn của Hartware kinh tế tài chính (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là 1 phần của framework Hadoop, đc buộc phải thực hiện nhằm tàng trữ and giải pháp xử lý rất nhiều cỗ tài liệu. Nó thỏa mãn một khối hệ thống tập tin chịu lỗi để chạy trên phần cứng kinh tế.

HST Hadoop chứa hầu hết sub-project (tool) khác biệt nlỗi Sqoop, Pig and Hive sầu được đề xuất thực hiện nhằm hỗ trợ đa số mô-đun Hadoop.

Sqoop: Nó được buộc phải áp dụng để nhập and xuất tài liệu mang lại và đi thân HDFS và RDBMS.Pig: Đó là 1 trong những bắt đầu ngôn từ giấy tờ thủ tục được phải sử dụng để cách tân và phát triển tập lệnh mang lại hầu hết hoạt động của MapReduce.

Xem thêm: Thông Tin Mới Về Cẩm Nang Đấu Trường Chân Lý Bá Đạo Nhất Dành Cho Mọi Game Thủ

Hive: Đó là 1 trong nguồn gốc đc buộc phải thực hiện nhằm cách tân và phát triển phần lớn tập lệnh nhiều loại Squốc lộ nhằm tiến hành hầu như hoạt động MapReduce.

Chình ảnh báo: Có các cách làm không giống nhau để tiến hành hầu như hoạt động MapReduce:

Phương thơm thức tiếp cận truyền thống bắt buộc thực hiện công tác Java MapReduce đến dữ liệu gồm kết cấu, buôn bán kết cấu & ko kết cấu.Phương thơm thức tiếp cận bắt buộc áp dụng câu lệnh đến MapReduce nhằm xử trí dữ liệu bao gồm kết cấu và buôn bán kết cấu bằng Pig.Ngôn ngữ truy vấn Hive (HiveQL hoặc HQL) cho MapReduce để xử lý tài liệu tất cả kết cấu bởi Hive sầu.Hive sầu là gì?

Hive là 1 trong những phép tắc cơ sở hạ tầng kho tài liệu để cách xử trí dữ liệu bao gồm kết cấu vào Hadoop. Nó tọa lạc trên đỉnh Hadoop nhằm tóm tắt Dữ liệu to lớn and cứu truy vấn vấn & so sánh thuận lợi.

Msinh hoạt màn Hive đc cách tân và phát triển vày FB, sau đó Quỹ Ứng dụng Apache đã lấy and phát triển nó thành một mối cung cấp mnghỉ ngơi bên dưới thương hiệu Apađậy Hive sầu. Nó đc buộc phải thực hiện do gần như công ty khác nhau. Ví dụ: Amazon đề xuất thực hiện nó vào Amazon Elastic MapReduce.

Hive sầu ko cần là:Một cơ sở dữ liệu quan hệMột kiến tạo để xử lý giao dịch thanh toán Trực đường (OnLine Transaction Processing – OLTP)Một ngôn ngữ mang đến đa số truy tìm vấn thời hạn thực and update cấp hàngĐặc biệt của HiveNó lưu trữ lược đồ gia dụng trong cửa hàng tài liệu & cách xử trí tài liệu vào HDFS.Nó được gia công mang đến OLAPhường.Nó thỏa mãn nhu cầu ngôn ngữ dạng hình SQL để tróc nã vấn được call là Hivequốc lộ hoặc Hquốc lộ.Nó là thân thuộc, chóng vánh, có chức năng mở rộng.Kiến trúc của Hive

Sơ đồ dùng tiếp sau đây miêu tả phong cách xây dựng của Hive:

Sơ thứ thành phần này đựng đều đơn vị chức năng khác biệt.User Interface: Hive sầu là 1 ứng dụng cơ sở hạ tầng kho tài liệu có thể tạo ra sự liên quan thân người tiêu dùng và HDFS. Những đồ họa người tiêu dùng mà lại Hive sầu giúp sức là Hive sầu Web UI, Hive sầu command line and Hive HD Insight (Trong máy chủ Windows).Meta Store: Hive sầu lựa chọn các máy chủ cơ sở dữ liệu tương ứng nhằm lưu trữ lược đồ vật hoặc metadata của không ít bảng, cơ sở tài liệu, hồ hết cột trong một bảng, hầu hết các loại dữ liệu của bọn chúng & ánh xạ HDFS.HiveQL Process Engine: Hivequốc lộ cũng tương tự nhỏng Squốc lộ để tầm nã vấn công bố lược trang bị bên trên Metastore. Đó là 1 trong số sửa chữa của phương pháp cổ điển cho chương trình MapReduce. Ttuyệt ráng vì viết chương trình MapReduce bởi Java, những bạn cũng có thể viết một tầm nã vấn mang lại Việc có tác dụng MapReduce & xử lý nó.Execution Engine: Phần phối hợp của phép tắc xử lý Hivequốc lộ & MapReduce là Công vắt thực hiện Hive (Hive Execution Engine). Công nuốm xúc tiến cách xử trí tróc nã vấn and chế tạo ra kết quả gần giống công dụng MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là phần đa chuyên môn lưu trữ dữ liệu để tàng trữ dữ liệu vào khối hệ thống tệp.Phương thức làm việc của Hive

Sơ trang bị sau miêu tả quá trình làm việc thân Hive sầu và Hadoop.

Pmùi hương thức Hive sầu xúc tiến cùng với framework Hadoop:

Thực thi query: Giao diện Hive sầu như Commvà line hoặc Giao diện người mua website gửi truy hỏi vấn đến Trình điều khiển và tinh chỉnh (bất kỳ trình điều khiển và tinh chỉnh các đại lý dữ liệu làm sao như JDBC, ODBC, v.v.) nhằm thực hiện.Nhận kế hoạch: Trình điều khiển có sự cung ứng của trình biên dịch truy vấn vấn nhằm so sánh cú pháp tróc nã vấn để kiểm tra cú pháp và planer tầm nã vấn hoặc nhu yếu của truy tìm vấn.Nhận metadata: Trình biên dịch gửi nhu yếu metadata đến Metastore (bất cứ cơ sở dữ liệu nào).Gửi metadata: Metastore gửi metadata như một bình luận cho trình biên dịch.Gửi kế hoạch: Trình biên dịch kiểm tra yêu cầu & gửi lại planer đến trình tinh chỉnh. Đến trên đây, Việc so sánh cú pháp and biên dịch một truy vấn vấn đã hoàn chỉnh.Kế hoạch tiến hành: Trình tinh chỉnh gửi chiến lược thực hiện đến mức sử dụng thực hiện.Thực tiến hành tiến hành việc: Trong nội cỗ, công đoạn thực thực hiện thực hiện vấn đề là 1 trong những Việc có tác dụng MapReduce. Công cố tiến hành gửi bài toán làm cho mang lại JobTracker, vào node Name và nó gán câu hỏi làm cho này đến TaskTracker, trong node Data. Tại phía trên, tróc nã vấn thực tiến hành xúc tiến việc MapReduce.

Vận đụng metadata: Trong Khi triển khai, lý lẽ thực thi có thể tiến hành hầu hết chuyển động metadata với Metastore.Lấy kết quả: Công cụ tiến hành dìm tác dụng tự đều node Data.Gửi kết quả: Công núm triển khai gửi hồ hết túi tiền hiệu quả đó đến trình điều khiển và tinh chỉnh.Gửi kết quả: Trình điều khiển gửi công dụng mang đến Giao diện Hive.

Thể Loại: Giải bày Kiến Thức Cộng Đồng

Bài Viết: Hive sầu Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apabịt Hive

Thể Loại: LÀ GÌ

Nguồn Blog là gì: https://danangmoment.com Hive sầu Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apađậy Hive