Làm thế nào để thực hành Hadoop trực tuyến: 11 bước (có hình ảnh)

Mục lục:

Làm thế nào để thực hành Hadoop trực tuyến: 11 bước (có hình ảnh)
Làm thế nào để thực hành Hadoop trực tuyến: 11 bước (có hình ảnh)

Video: Làm thế nào để thực hành Hadoop trực tuyến: 11 bước (có hình ảnh)

Video: Làm thế nào để thực hành Hadoop trực tuyến: 11 bước (có hình ảnh)
Video: Mail Merge _ Tạo tem nhãn hàng loạt 2024, Tháng tư
Anonim

Là một trong những khung lập trình mã nguồn mở mạnh mẽ nhất, Hadoop là một công cụ quan trọng cho bất kỳ ai hy vọng tìm được công việc dữ liệu lớn. Nếu bạn muốn nâng cao kỹ năng Hadoop của mình hoặc học cách thành thạo nó, lựa chọn tốt nhất của bạn là tham gia một khóa học trực tuyến. Nếu điều đó không có sẵn cho bạn, hãy xem hướng dẫn trực tuyến miễn phí và sử dụng tài liệu tham khảo để khắc phục sự cố cụ thể. Khi bạn đã nắm được kiến thức cơ bản, hãy thực hành trên một số tập hợp nhỏ dữ liệu trong thế giới thực để cải thiện kỹ năng của bạn.

Các bước

Phương pháp 1/2: Tham gia khóa học và sử dụng hướng dẫn

Thực hành Hadoop trực tuyến Bước 1
Thực hành Hadoop trực tuyến Bước 1

Bước 1. Đăng ký Cloudera để tham gia khóa học 6 phần và các hướng dẫn tương tác

Cloudera cung cấp cho bạn các ví dụ thực tế để thực hành trong môi trường chỉ đọc, vì vậy bạn không phải lo lắng về việc mắc phải những sai lầm lớn. Họ cũng cung cấp các công cụ phân tích để giúp bạn thử nghiệm dữ liệu truy vấn, cũng như bản demo trực tiếp miễn phí có tên Cloudera Live để giúp bạn tìm hiểu môi trường Hadoop.

Mặc dù khóa học chuyên sâu, đầy đủ với chứng chỉ sẽ tiêu tốn của bạn 295 đô la, nhưng chắc chắn sẽ rất xứng đáng nếu bạn đang sử dụng những kỹ năng này cho công việc của mình. Sử dụng khóa học Cloudera sẽ giúp bạn nắm bắt được những sai lầm và tiết kiệm thời gian, điều này sẽ giúp bạn nhanh chóng phải trả giá

Thực hành Hadoop trực tuyến Bước 2
Thực hành Hadoop trực tuyến Bước 2

Bước 2. Hãy thử các khóa học trực tuyến miễn phí thông qua Cloudera nếu bạn đã biết những điều cơ bản

Nếu bạn đã có kinh nghiệm với Hadoop và chỉ muốn học lại, bạn có thể không cần bỏ tiền ra cho khóa học 6 phần. Thay vào đó, hãy xem các khóa học trực tuyến miễn phí trên trang web của Đại học Cloudera.

Có các tài nguyên dành cho quản trị viên, nhà phát triển và nhà phân tích dữ liệu, vì vậy, không quan trọng vai trò của bạn là gì, bạn sẽ có thể tìm thấy một khóa học thích hợp

Thực hành Hadoop trực tuyến Bước 3
Thực hành Hadoop trực tuyến Bước 3

Bước 3. Tham gia một khóa học cấp đại học trên Coursera nếu bạn muốn có thêm lý thuyết

Coursera là một nguồn cung cấp các khóa học lập trình nổi tiếng và được tôn trọng. Mặc dù các hướng dẫn thường mang tính lý thuyết hơn và không bao gồm nhiều ví dụ đang chạy, nhưng bạn có thể thực hành cùng với hướng dẫn và sử dụng các dự án khóa học để có được kinh nghiệm thực tế.

  • Bạn có thể tìm thấy khóa học này trực tuyến tại
  • Chi phí khác nhau giữa các khóa học, nhưng Coursera cũng cung cấp tùy chọn hỗ trợ tài chính cho những người đủ điều kiện.
Thực hành Hadoop trực tuyến Bước 4
Thực hành Hadoop trực tuyến Bước 4

Bước 4. Theo dõi một khóa học miễn phí trên Đại học Dữ liệu lớn để có lựa chọn thân thiện với chi phí

Nếu bạn không muốn trả tiền cho một khóa học trực tuyến, Big Data University là một lựa chọn tuyệt vời. Họ có một khóa học gồm 2 phần, trước tiên tập trung vào kiến thức cơ bản về Hadoop, sau đó là lập trình với Hadoop và định dạng trực tuyến giúp bạn dễ dàng thực hiện theo tốc độ của riêng mình.

  • Bạn có thể tìm thấy các khóa học này trên
  • Họ cung cấp nhiều hướng dẫn bằng tiếng Anh, cũng như tiếng Nhật, tiếng Tây Ban Nha, tiếng Bồ Đào Nha và tiếng Nga.
Thực hành Hadoop trực tuyến Bước 5
Thực hành Hadoop trực tuyến Bước 5

Bước 5. Tìm kiếm hướng dẫn trên YouTube nếu bạn cần đào tạo miễn phí, cụ thể

Có hàng nghìn video được thực hiện để giải thích về Hadoop và cách sử dụng nó. Nhiều loại video mang lại cho bạn sự linh hoạt, ngoài ra còn miễn phí. Nếu bạn gặp phải một vấn đề cụ thể, hãy tìm kiếm trên YouTube một video hướng dẫn bạn thực hiện quá trình.

Hướng dẫn về Hadoop cũng nên khá dễ tìm, vì “hadoop” là một thuật ngữ tìm kiếm duy nhất

Thực hành Hadoop trực tuyến Bước 6
Thực hành Hadoop trực tuyến Bước 6

Bước 6. Sử dụng các hướng dẫn miễn phí của Yahoo nếu bạn muốn thực hành với một ví dụ ảo

Các hướng dẫn này được chia thành 7 mô-đun và chúng hướng dẫn bạn cài đặt và vận hành Hadoop ngay từ đầu. Đây là một lựa chọn tuyệt vời để tập luyện các kỹ năng cụ thể nếu chúng hơi bị rỉ sét.

Thực hành Hadoop trực tuyến Bước 7
Thực hành Hadoop trực tuyến Bước 7

Bước 7. Tham khảo tài liệu Nguồn mở của IBM để được hướng dẫn chuyên sâu, miễn phí

Đây là một tài liệu PDF mã nguồn mở cực kỳ kỹ lưỡng được tạo ra bởi một sáng kiến đào tạo của IBM. Nó hướng dẫn bạn qua Hadoop một cách cẩn thận, từng bước và đưa ra các hướng dẫn bằng văn bản rõ ràng.

Những hướng dẫn này cũng hoạt động tốt khi được ghép nối với bản demo trực tiếp như Cloudera

Phương pháp 2/2: Chuyển sang ứng dụng trong thế giới thực

Thực hành Hadoop trực tuyến Bước 8
Thực hành Hadoop trực tuyến Bước 8

Bước 1. Hỏi xem bạn có thể triển khai Hadoop tại nơi làm việc để thực hành với dữ liệu thực hay không

Đưa ra yêu cầu với sếp hoặc người giám sát của bạn hoặc trao đổi trực tiếp với họ về việc đưa những kỹ năng mới này vào nơi làm việc. Điều này đặc biệt quan trọng nếu công ty của bạn trả tiền cho bất kỳ khóa đào tạo hoặc khóa học trực tuyến nào.

Bạn bắt đầu triển khai các kỹ năng đã học được càng sớm thì bạn càng sớm có thể thành thạo chúng

Thực hành Hadoop trực tuyến Bước 9
Thực hành Hadoop trực tuyến Bước 9

Bước 2. Tìm kiếm các dự án đơn giản để thực hành các kỹ năng của bạn

Chọn các dự án tương đối đơn giản và ít rủi ro, chẳng hạn như đếm và xếp hạng số lượng tương tác trên mỗi tác nhân khách hàng, như email và phiên trò chuyện.

  • Một số ứng dụng dữ liệu thực khác bao gồm quét qua các nhật ký web để tìm lỗi hoặc theo dõi các kênh truyền thông xã hội để tìm cảm tình thương hiệu.
  • Bạn cũng có thể thực hành với dữ liệu mẫu từ các trang web như https://www.kaggle.com/datasets hoặc
Thực hành Hadoop trực tuyến Bước 10
Thực hành Hadoop trực tuyến Bước 10

Bước 3. Thường xuyên kiểm tra mã của bạn với các tập hợp con nhỏ để tìm ra bất kỳ lỗi nào

Trước khi chạy toàn bộ tập dữ liệu, hãy lấy một tập dữ liệu thử nghiệm nhỏ hơn vào máy cục bộ của bạn và chạy nó qua một số chế độ khác nhau. Ví dụ: bạn có thể chạy nó lặp đi lặp lại thông qua Chế độ chạy công việc cục bộ, sau đó là Chế độ giả phân tán và sau đó là Chế độ phân phối hoàn toàn.

  • Điều này sẽ cho phép bạn nhận ra bất kỳ sai sót hoặc lỗi nào trước khi chúng được khuếch đại trong tập dữ liệu đầy đủ.
  • Chế độ Local Jobrunner cho phép bạn kiểm tra cục bộ và gỡ lỗi mã Bản đồ và Rút gọn của bạn, Chế độ Pseudo-Distributed bắt chước môi trường sản xuất và Chế độ phân phối hoàn toàn xem xét cụm sản xuất thực của bạn.
Thực hành Hadoop trực tuyến Bước 11
Thực hành Hadoop trực tuyến Bước 11

Bước 4. Sử dụng bản dùng thử miễn phí 1 năm để thực hành trên môi trường máy ảo

Các công ty như Amazon và Microsoft cung cấp đăng ký trả phí cho các dịch vụ thực hành Hadoop của họ. Máy ảo của Amazon được gọi là Amazon Web Service (AWS) và dịch vụ của Microsoft được gọi là Microsoft Azure. Đối với cả hai dịch vụ, năm đầu tiên của bạn là miễn phí khi bạn nhập thông tin thẻ tín dụng của mình.

Đừng quên hủy đăng ký sau 1 năm để tránh bị tính phí

Lời khuyên

  • Hãy nhớ rằng Hadoop là một ngôn ngữ lập trình chuyên biệt hơn, sử dụng trong phạm vi hẹp. Nó chắc chắn sẽ mang lại cho bạn lợi thế trong thế giới dữ liệu lớn, nhưng không phải lúc nào cũng cần thiết để trở thành một lập trình viên.
  • Bạn cũng có thể đọc các sách và bài báo về Hadoop, chẳng hạn như Hadoop: The Definitive Guide, Phiên bản thứ 3 của Tom White.

Đề xuất: