#1 Mapreduce là gì ?

Các Sự khác biệt chính giữa HDFS và MapReduce là thế HDFS là một hệ thống tệp phân tán cung cấp quyền truy cập thông lượng cao vào dữ liệu ứng dụng trong khi MapReduce là một khung phần mềm xử lý dữ liệu lớn trên các cụm lớn một cách đáng tin cậy.

Bạn đang xem: Mapreduce là gì

Dữ liệu lớn là tập hợp của một tập dữ liệu lớn. Nó có ba tính chất chính: khối lượng, vận tốc và sự đa dạng. Hadoop là một phần mềm cho phép lưu trữ và quản lý dữ liệu lớn. Nó là một khung nguồn mở được onlineaz.vnết bằng Java. Hơn nữa, nó hỗ trợ xử lý phân tán các tập dữ liệu lớn trên các cụm máy tính. HDFS và MapReduce là hai mô-đun trong kiến ​​trúc Hadoop.

Các khu vực chính được bảo hiểm

1. HDFS là gì – Định nghĩa, chức năng 2. MapReduce là gì – Định nghĩa, chức năng 3. Sự khác biệt giữa HDFS và MapReduce là gì – So sánh sự khác biệt chính

Điều khoản quan trọng

Dữ liệu lớn, HDFS, MapReduce

HDFS là gì

HDFS là onlineaz.vnết tắt củaHệ thống tệp phân tán Hadoop. Đây là một hệ thống tệp phân tán của Hadoop để chạy trên các cụm lớn một cách đáng tin cậy và hiệu quả. Ngoài ra, nó dựa trên Hệ thống tệp của Google (GFS). Hơn nữa, nó cũng có một danh sách các lệnh để tương tác với hệ thống tập tin.

Hơn nữa, HDFS hoạt động theo kiến ​​trúc chính, nô lệ. Nút chủ hoặc nút tên quản lý siêu dữ liệu hệ thống tệp trong khi các nút tớ hoặc ghi chú dữ liệu lưu trữ dữ liệu thực tế.

Hình 1: Kiến trúc HDFS

Ngoài ra, một tệp trong không gian tên HDFS được chia thành nhiều khối. Các nút dữ liệu lưu trữ các khối này. Và, nút tên ánh xạ các khối tới các nút dữ liệu, xử lý các hoạt động đọc và ghi với hệ thống tệp. Hơn nữa, họ thực hiện các nhiệm vụ như tạo khối, xóa, vv theo hướng dẫn của nút tên.

Xem thêm:

MapReduce là gì

MapReduce là một khung phần mềm cho phép onlineaz.vnết các ứng dụng xử lý dữ liệu lớn đồng thời trên các cụm phần cứng hàng hóa lớn. Khung này bao gồm một trình theo dõi công onlineaz.vnệc chủ duy nhất và một trình theo dõi nhiệm vụ nô lệ cho mỗi nút cụm. Bậc thầy thực hiện quản lý tài nguyên, lên lịch các công onlineaz.vnệc trên nô lệ, giám sát và thực hiện lại các nhiệm vụ thất bại. Mặt khác, trình theo dõi nhiệm vụ nô lệ thực thi các nhiệm vụ do chủ chỉ dẫn và gửi thông tin trạng thái nhiệm vụ trở lại phương tiện liên tục.

Hình 2: Tổng quan về MapReduce

Ngoài ra, có hai nhiệm vụ liên quan đến MapReduce. Họ là nhiệm vụ bản đồ và nhiệm vụ giảm. Tác vụ bản đồ lấy dữ liệu đầu vào và chia chúng thành các bộ khóa, cặp giá trị trong khi tác vụ Giảm lấy đầu ra từ tác vụ bản đồ làm đầu vào và kết nối các bộ dữ liệu đó thành các bộ dữ liệu nhỏ hơn. Hơn nữa, nhiệm vụ bản đồ được thực hiện trước nhiệm vụ giảm.

Sự khác biệt giữa HDFS và MapReduce

Định nghĩa

HDFS là một Hệ thống tệp phân tán lưu trữ các tệp lớn trên các máy trong một cụm lớn một cách đáng tin cậy. Ngược lại, MapReduce là một khung phần mềm để dễ dàng onlineaz.vnết các ứng dụng xử lý lượng lớn dữ liệu song song trên các cụm phần cứng hàng hóa lớn một cách đáng tin cậy, có khả năng chịu lỗi. Các định nghĩa này giải thích sự khác biệt chính giữa HDFS và MapReduce.

Chức năng chính

Một điểm khác biệt giữa HDFS và MapReduce là HDFS cung cấp quyền truy cập hiệu suất cao vào dữ liệu trên các cụm Hadoop có khả năng mở rộng cao trong khi MapReduce thực hiện xử lý dữ liệu lớn.

Xem thêm:

Phần kết luận

Tóm lại, HDFS và MapReduce là hai mô-đun trong kiến ​​trúc Hadoop. Sự khác biệt chính giữa HDFS và MapReduce là HDFS là một hệ thống tệp phân tán cung cấp quyền truy cập thông lượng cao vào dữ liệu ứng dụng trong khi MapReduce là một khung phần mềm xử lý dữ liệu lớn trên các cụm lớn một cách đáng tin cậy.