Airflow, một xuất xứ nguồn gốc xuất xứ nguồn mở, được sử dụng để sắp xếp những luồng việc làm phía bên dưới dạng biểu đồ chu kỳ luân hồi luân hồi theo hướng (DAG) của nhiều tác vụ theo phương thức lập trình. Một lịch trình luồng khoảng trống được sử dụng đặt lên trên lịch những tiến trình việc làm và đường ống giải quyết và xử lý và giải quyết dữ liệu. Giao diện người mua Airflow được chấp nhận dễ dàng và đơn giản đơn giản dễ dàng tưởng tượng những đường ống chạy trong thiên nhiên môi trường tự nhiên và thoải mái xung quanh sản xuất, đo lường tiến trình của tiến trình việc làm và giải quyết và xử lý và giải quyết sự cố khi cần. Những tiện lợi dòng lệnh nhiều mẫu mã vóc dáng được sử dụng để thực hiện những ca phẫu thuật khó khăn trên DAG. Bài Viết: Airflow là gì Trong blog này, hãy đàm luận về lập lịch và thực hiện những việc làm Talend với Airflow.
Nội Dung
Trường hợp tiên quyết
Luồng khí 1.7 trở lên Python 2.7 Studio mở Talend (Phối kết hợp dữ liệu to hoặc dữ liệu)
Ca sử dụng
Lập lịch và thực hiện những việc làm Talend ETL với Airflow.
Tóm tắc
Tác giả Talend việc làm Lịch trình việc làm Talend Thống kê giám sát tiến trình việc làm trong Web UI
Miêu tả việc làm
Việc làm Talend ETL được tạo bởi: Tham gia application_id từ applicant_loan_info và loan_info như dấu hiệu trong sơ đồ tiếp về sau:
Đang tải dữ liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một bộ lọc trên LoanDecisionType nghành trong những loan_application_analysis bảng để cô lập những giá trị như Approved , bị không chấp thuận , và bị thu hồi . Áp dụng một bộ lọc khác trên những giá trị được tách riêng ở trên cao cao để tách riêng LoanType thành Thành viên , Tự động hóa hóa , Tín dụng thanh toán thanh toán giao dịch và Nhà . Việc làm Talend đã tạo nên thiết kế và xây dựng và dịch chuyển đến điểm đặt máy chủ. Một DAG mang tên Loan_Application_Analysis.py được tạo với đường dẫn tương xứng của nhiều tập lệnh để thực hiện luồng theo đề xuất.
Tạo thư mục DAG và khởi động lại máy chủ web luồng khoảng trống
Sau thời điểm thiết lập Airflow, hãy thực hiện như sau: Tạo thư mục DAG ( / home / ubfox / airflow / dags ) trong đường dẫn Airflow. Chuyển dời tất cả những .py tập tin cẩn vào thư mục DAG. Khởi động lại máy chủ web Airflow bằng mã tiếp về sau để xem DAG này trong danh sách UI: Loginto the AIRFLOW_HOME path– eg.(/home/ubuntu/airflow) To restart webserver —> airflow webserver To restart scheduler —> airflow scheduler Sau thời điểm khởi động lại máy chủ web, tất cả .py những tệp hoặc DAG trong thư mục sẽ thực hiện tham chiếu và tải vào danh sách DAG UI web.
Lập kế hoạch việc làm
Những việc làm Talend đã tạo rất rất có thể được lên lịch bằng phương thức thức sử dụng bộ lập lịch Airflow. Để biết mã, xem phần Tài liệu tham khảo thêm . Lưu ý : Việc làm rất rất có thể được kích hoạt bằng tay thủ công bình phương thức thức nhấp vào nút Run phía bên dưới cột Liên kết như hình tiếp về sau:
Cả hai việc làm được lên lịch auto hóa và được kích hoạt bằng tay thủ công rất rất có thể đc nhận định trong giao diện người mua như sau:
Thống kê giám sát việc làm
Khi thực hiện những việc làm, những tiến trình ngược dòng hoặc xuôi dòng sẽ thực hiện mở màn như được tạo trong DAG. Khi nhấp vào một trong những DAG chi tiết cụ thể cụ thể chi tiết, trạng thái tương xứng như thành công, thất bại, thử lại, xếp hàng, v.v. của sự việc công việc rất rất có thể được tưởng tượng theo một trong những phương thức thức độc đáo và khác biệt trong giao diện người mua. Xem Ngay: Nghĩa của từ cross over là gì
Xem biểu đồ
Những trạng thái của nhiều việc làm được dấu hiệu phía bên dưới dạng đồ họa như tiếp về sau:
Cơ chế xem cây
Những trạng thái của nhiều việc làm cùng theo với ngày thực hiện của nhiều việc làm được dấu hiệu phía bên dưới dạng cây như tiếp về sau:
Xem Gannt
Những trạng thái của nhiều việc làm cùng theo với ngày thực hiện của nhiều việc làm được dấu hiệu theo định dạng Gannt như tiếp về sau:
Xem thời lượng tác vụ
Khi nhấp vào tab Thời lượng tác vụ , bạn cũng xuất hiện thể xem thời lượng tác vụ của toàn diện quy trình tiến độ hoặc DAG theo định dạng đồ họa như tiếp về sau:
Xem trường hợp nhiệm vụ
Bằng phương thức thức nhấp vào Duyệt > Trường hợp tác ký kết và ký cam kết vụ , bạn cũng xuất hiện thể xem những trường hợp mà những tác vụ đang hoạt động và sinh hoạt, như được hiển thị phía bên dưới:
Xem việc làm
Bằng phương thức thức nhấp vào Duyệt > Việc làm , bạn cũng xuất hiện thể xem rõ rệt như thời khắc mở màn, thời khắc kết thúc và người triển khởi công việc, như được hiển thị trong sơ đồ phía bên dưới:
Xem nhật ký
Bằng phương thức thức nhấp vào Duyệt > ViewLog , bạn cũng xuất hiện thể xem rõ rệt của nhật ký, như được hiển thị trong sơ đồ phía bên dưới:
Hồ sơ dữ liệu
Airflow ưng ý giao diện truy vấn SQL dễ dàng và đơn giản và đơn giản dễ dàng để truy vấn dữ liệu và giao diện người mua biểu đồ để trực quan hóa những tác vụ. Để thông số kỹ thuật kỹ thuật dữ liệu của bạn, nhấp vào Quản trị viên > Kết nối để chọn loại kết nối cơ sở dữ liệu, như được hiển thị trong sơ đồ phía bên dưới:
Truy vấn Ad Hoc
Để viết và truy vấn dữ liệu, nhấp vào Hồ sơ dữ liệu > Truy vấn quảng cáo .
Biểu đồ
Nhiều chủng loại trực quan hóa độc đáo và khác biệt rất rất có thể được tạo cho thời khắc tác vụ và trạng thái nhiệm vụ bằng biểu đồ. Để tạo những biểu đồ như thanh, đường, khu vực, v.v. cho một DAG chi tiết cụ thể cụ thể chi tiết bằng truy vấn SQL, nhấp vào Thông số kỹ thuật kỹ thuật dữ liệu > Biểu đồ > DAG_id , như được hiển thị trong sơ đồ phía bên dưới:
Toàn diện những DAG được biểu hiện bằng đồ họa, như dấu hiệu trong sơ đồ tiếp về sau:
thông báo có email
Thông báo qua email như email_on_failure, email_on_successvà email_on_retriesrất rất có thể được đặt để biết trạng thái việc làm. Để bật thông báo, hãy thực hiện như sau: Định thông số kỹ thuật kỹ thuật thiết lập trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị phía bên dưới:
Đặt lại thiết lập email của bạn thành thiết lập Gmail > allow_less safe_apps > ON để nhận thông báo qua email từ Airflow. Lưu ý : Bạn cũng xuất hiện thể nhận được authentication_error nếu thiết lập email không được thông số kỹ thuật kỹ thuật đúng. Để giải quyết và xử lý và giải quyết và khắc phục sự cố này, hãy chấp nhận thiết bị đăng nhập làm thiết bị của chúng tôi trong thiết bị Gmail quan tâm đến là Có Đó là Tôi . Một email thất bại việc làm được hiển thị tiếp về sau:
Khi nhấp vào Liên kết trong email, các bạn sẽ thực hiện chuyển hướng đến trang Nhật ký. Xem Ngay: Chủ đề 6: Cụm động Từ đi Với Look Into Nghĩa Là Gì
Phần Kết luận
Trong blog này, chúng tôi đã đàm luận về tác giả, lập lịch và đo lường tiến trình việc làm từ giao diện người mua web, y như kích hoạt những việc làm Talend trực tiếp từ giao diện người mua web theo đề xuất bằng phương thức thức sử dụng bash toán tử. Bạn cũng xuất hiện thể chuyển dữ liệu từ cơ sở dữ liệu này sang cơ sở dữ liệu khác bằng generic_transfer toán tử.
Tài liệu tham khảo thêm
Mã trong GitHub Thể Loại: Chia sẻ trình bày trình diễn Kiến Thức Cộng Đồng
Bài Viết: Airflow Là Gì – Apache Airflow Thể Loại: LÀ GÌ Nguồn Blog là gì: https://hethongbokhoe.com Airflow Là Gì – Apache Airflow
