Ưu điểm của Khung Hadoop 2.0 (YARN) là gì?

Tác Giả: Roger Morrison
Ngày Sáng TạO: 18 Tháng Chín 2021
CậP NhậT Ngày Tháng: 1 Tháng BảY 2024
Anonim
Ưu điểm của Khung Hadoop 2.0 (YARN) là gì? - Công Nghệ
Ưu điểm của Khung Hadoop 2.0 (YARN) là gì? - Công Nghệ

NộI Dung


Nguồn: Jim Hughes / Dreamstime.com

Lấy đi:

YARN là một cải tiến đáng kể so với khung Hadoop 1.0. Ở đây chúng tôi kiểm tra một số lợi thế của nó so với người tiền nhiệm của nó.

Kể từ thời điểm khái niệm dữ liệu lớn được giới thiệu, nó đã trải qua nhiều giai đoạn tiến hóa. Hadoop được giới thiệu vào năm 2005 với một số tính năng ban đầu như công cụ xử lý MapReduce cho phép khối lượng công việc xử lý dữ liệu quy mô lớn được phân phối theo cụm. Bản thân Hadoop đã trải qua rất nhiều thay đổi và đã phát triển các khuôn khổ và phương pháp tiên tiến.

YARN là thành phần cốt lõi của Hadoop 2.0. Nó về cơ bản quản lý các tài nguyên trong một môi trường cụm. Nhà môi giới YARN tương tác với các tài nguyên tính toán (thay mặt cho các ứng dụng) và gán tài nguyên cho từng ứng dụng dựa trên các tiêu chí lọc khác nhau.


Trong bài viết này, chúng tôi sẽ xem xét các lợi thế hàng đầu của YARN so với Hadoop 1.0.

Khung YARN là gì?

Yet Mộtkhông có Rnguồn VIẾT SAI RỒIegotoder là thành phần cốt lõi của Hadoop 2.0, quản lý tài nguyên trong môi trường cụm. Khung YARN Hadoop là phiên bản nâng cao của Hadoop 1.0 cung cấp hiệu suất được cải thiện, có lợi cho hệ sinh thái Hadoop và toàn bộ phạm vi công nghệ liên quan đến nó. Bây giờ chúng ta đã quen thuộc hơn với YARN, hãy để Lôi xem kỹ hơn về Hadoop 1.0 và YARN.

Hạn chế của Khung Hadoop 1.0

Để hiểu được các ưu điểm của khung YARN, điều rất quan trọng là phải hiểu cách Hadoop 1.0 hoạt động và những hạn chế của khung này là gì.


Đây là nơi đóng vai trò của JobTracker. Nó quản lý cả tài nguyên cụm và xác định thực thi công việc MapReduce. Tóm lại, JobTracker lên lịch và bảo lưu các vị trí tác vụ cũng như cấu hình và giám sát từng tác vụ đang chạy. Nếu một tác vụ thất bại, nó sẽ phân bổ lại một vị trí mới để tác vụ bắt đầu lại. Khi một tác vụ kết thúc, JobTracker sẽ giải phóng vị trí cho các tác vụ khác và xóa các tài nguyên tạm thời.

Nhược điểm chính của phương pháp trên:

  • Tính khả dụng - JobTracker là điểm khả dụng duy nhất trong Hadoop 1.0. Điều này có nghĩa là nếu JobTracker thất bại, tất cả các tác vụ sẽ khởi động lại theo mặc định.
  • Khả năng mở rộng hạn chế - Vì JobTracker đang thực hiện nhiều tác vụ và chạy trên một máy duy nhất, các máy có sẵn khác không được sử dụng; do đó, dẫn đến khả năng mở rộng hạn chế.
  • Sử dụng tài nguyên - Theo cách tiếp cận trên, các vị trí bản đồ và vị trí giảm được xác định trước. Có thể xảy ra một trong các vị trí đã đầy nhưng các vị trí máy khác trống. Vì các vị trí trống được dành riêng, chúng sẽ không hoạt động thay vì thỏa hiệp cho các vị trí đầy đủ. Điều này có thể gây ra vấn đề sử dụng tài nguyên.
  • Chạy các ứng dụng không phải MapReduce - JobTracker là một ứng dụng được xây dựng cho khung MapReduce. Vấn đề phát sinh khi một ứng dụng không phải MapReduce cố chạy trong khung này. Ứng dụng cần tuân thủ lập trình khung MapReduce để chạy thành công. Một số vấn đề phổ biến gặp phải do điều này bao gồm các vấn đề với:
    • Truy vấn đặc biệt
    • Phân tích thời gian thực
    • tiếp cận thông qua
  • Thất bại trong xếp tầng - Một trong những vấn đề chính trong khung này xảy ra khi số lượng nút lớn hơn 4000. Trong trường hợp như vậy, xảy ra lỗi xếp tầng, dẫn đến suy giảm cụm hoàn chỉnh.

Đây là một số hạn chế chính gặp phải khi làm việc với khung này. Có một số hạn chế nhỏ khác, không được đề cập. Khung YARN đã được giới thiệu để khắc phục những hạn chế này.

Không lỗi, không căng thẳng - Hướng dẫn từng bước của bạn để tạo ra phần mềm thay đổi cuộc sống mà không phá hủy cuộc sống của bạn

Bạn không thể cải thiện kỹ năng lập trình của mình khi không ai quan tâm đến chất lượng phần mềm.

Khung YARN và các Ưu điểm của nó

Khung YARN, được giới thiệu trong Hadoop 2.0, nhằm chia sẻ trách nhiệm của MapReduce và đảm nhiệm nhiệm vụ quản lý cụm. Điều này cho phép MapReduce chỉ thực hiện xử lý dữ liệu và do đó, hợp lý hóa quy trình.

YARN mang đến khái niệm quản lý tài nguyên trung tâm. Điều này cho phép nhiều ứng dụng chạy trên Hadoop, chia sẻ quản lý tài nguyên chung.

Một số thành phần chính của khung YARN là:

  • ResourceManager - Thành phần ResourceManager là người đàm phán trong một cụm cho tất cả các tài nguyên có trong cụm đó. Hơn nữa, thành phần này được phân loại thành một trình quản lý ứng dụng chịu trách nhiệm quản lý công việc của người dùng. Từ Hadoop 2.0, mọi công việc MapReduce sẽ được coi là một ứng dụng.
  • ApplicationMaster - Thành phần này là nơi tồn tại một công việc hoặc ứng dụng. Nó cũng quản lý tất cả các công việc MapReduce và được kết thúc sau khi quá trình xử lý công việc hoàn tất.
  • NodeManager - Thành phần quản lý nút đóng vai trò là máy chủ cho lịch sử công việc. Nó có trách nhiệm bảo mật thông tin của các công việc đã hoàn thành. Nó cũng theo dõi các công việc của người dùng cùng với quy trình làm việc của họ cho một nút cụ thể.

Hãy nhớ rằng khung YARN có các thành phần khác nhau để quản lý các tác vụ khác nhau, hãy để xem cách nó khắc phục các hạn chế của Hadoop 1.0.

  • Sử dụng tài nguyên tốt hơn - Khung YARN không có bất kỳ vị trí cố định nào cho các tác vụ. Nó cung cấp một trình quản lý tài nguyên trung tâm cho phép bạn chia sẻ nhiều ứng dụng thông qua một tài nguyên chung.
  • Chạy các ứng dụng không phải MapReduce - Trong YARN, các khả năng lập lịch và quản lý tài nguyên được tách biệt khỏi thành phần xử lý dữ liệu. Điều này cho phép Hadoop chạy các loại ứng dụng khác nhau không phù hợp với chương trình của khung Hadoop. Các cụm Hadoop hiện có khả năng chạy các truy vấn tương tác độc lập và thực hiện phân tích thời gian thực tốt hơn.
  • Khả năng tương thích ngược - YARN là một khung tương thích ngược, có nghĩa là mọi công việc hiện có của MapReduce đều có thể được thực thi trong Hadoop 2.0.
  • JobTracker không còn tồn tại - Hai vai trò chính của JobTracker là quản lý tài nguyên và lập lịch công việc. Với việc giới thiệu khung YARN, giờ đây chúng được tách thành hai thành phần riêng biệt, đó là:
    • Trình quản lý nút
    • Quản lý tài nguyên

Phần kết luận

Sự ra đời của khung YARN đã giúp việc xây dựng các ứng dụng cho các nhà phát triển Hadoop dễ dàng hơn. Bây giờ, các ứng dụng không còn cần phải được thực hiện với các công cụ của bên thứ ba. YARN là một thay đổi lớn sẽ cho phép người dùng xem xét Hadoop 2.0 để tạo các ứng dụng và thao tác dữ liệu hiệu quả hơn. Theo thời gian, sẽ có những phát triển hơn nữa để tăng cường khả năng sử dụng của Hadoop. Hiện tại, khung YARN sẽ đóng một vai trò quan trọng trong việc xử lý các vấn đề hiện có và tạo ra một môi trường không rắc rối, linh hoạt hơn phiên bản trước của mô hình MapReduce.