Airflow, một xuất xứ nguồn gốc xuất xứ, xuất xứ nguồn mở, được sử dụng để thu xếp, những luồng việc làm
Phía dưới, dạng biểu đồ chu kỳ luân hồi luân hồi
theo phía (DAG) của nhiều tác vụ theo phương thức lập trình. Một lịch trình luồng
không gian được sử dụng đặt lên trên lịch những tiến trình việc làm và đường ống giải quyết và xử lý, và xử lý và giải quyết và xử lý, tài liệu,. Giao diện
người sử dụng Airflow được cho phép, dễ dàng và đơn giản, và đơn giản và giản dị, đơn giản và dễ dàng, tưởng tượng những đường ống chạy trong thiên nhiên và môi trường, tự nhiên và thoải mái và dễ chịu, xung quanh sản xuất,
Thống kê, tiến trình của tiến trình việc làm và giải quyết và xử lý, và xử lý và giải quyết và xử lý, sự cố khi cần. Những tiện lợi dòng lệnh
Phong phú, vóc dáng được sử dụng để tiến hành, những ca phẫu thuật phức tạp, trên DAG. Bài Viết: Airflow là gì Trong blog này, hãy luận bàn, về lập lịch và tiến hành, những việc làm Talend với Airflow.
Nội Dung
Trường hợp tiên quyết
Luồng khí 1.7 trở lên Python 2.7 Studio mở Talend (Phối phối hợp, tài liệu, to hoặc tài liệu,)
Ca sử dụng
Lập lịch và tiến hành, những việc làm Talend ETL với Airflow.
Tóm tắc
Tác giả Talend việc làm Lịch trình việc làm Talend Thống kê giám sát tiến trình việc làm trong Web UI
Mô tả, việc làm
Việc làm Talend ETL được tạo bởi: Ký danh, application_id từ applicant_loan_info và loan_info như thể hiện, trong sơ đồ tiếp về sau:
Đang tải tài liệu, trùng khớp vào loan_application_analysis bảng.
Cần sử dụng, một bộ lọc trên LoanDecisionType nghành trong những loan_application_analysis bảng để cô lập những giá trị như Approved , bị không chấp thuận đồng ý, , và bị tịch thu, .
Cần sử dụng, một bộ lọc khác trên những giá trị được tách riêng ở trên cao cao để tách riêng LoanType thành Thành viên , Tự động hóa, hóa hóa , Tín dụng thanh toán thanh toán thanh toán giao dịch, và Nhà . Việc làm Talend
Đã tạo ra,
thiết kế xây dựng và dịch rời,
Tới điểm, đặt máy chủ. Một DAG mang tên Loan_Application_Analysis.py được tạo với đường dẫn tương xứng của nhiều tập lệnh để tiến hành, luồng theo
Đề xuất kiến nghị,.
Tạo thư mục DAG và khởi động lại máy chủ web luồng
không gian
Sau thời điểm thiết lập Airflow, hãy tiến hành, như sau: Tạo thư mục DAG ( / home / ubfox / airflow / dags ) trong đường dẫn Airflow. Chuyển dời
toàn bộ những .py tập tin cẩn vào thư mục DAG. Khởi động lại máy chủ web Airflow bằng mã tiếp về sau để xem DAG này trong danh sách UI: Loginto the AIRFLOW_HOME path– eg.(/home/ubuntu/airflow) To restart webserver —> airflow webserver To restart scheduler —> airflow scheduler Sau thời điểm khởi động lại máy chủ web,
toàn bộ .py những tệp hoặc DAG trong thư mục sẽ tiến hành, tham chiếu và tải vào danh sách DAG UI web.
Lập kế hoạch việc làm
Những việc làm Talend đã tạo rất rất có thể được lên lịch bằng phương thức thức sử dụng bộ lập lịch Airflow. Để biết mã, xem phần Tài liệu
Tìm hiểu thêm, . Nhắc nhở, : Việc làm rất rất có thể được kích hoạt thủ công bằng tay, bình phương thức thức nhấp vào nút Run
Phía dưới, cột Liên kết như hình tiếp về sau:
Cả hai việc làm được lên lịch tự động, hóa và được kích hoạt thủ công bằng tay, rất rất có thể đc
Nhận định và đánh giá, trong giao diện
người sử dụng như sau:
Thống kê giám sát việc làm
Khi tiến hành, những việc làm, những tiến trình ngược dòng hoặc xuôi dòng sẽ tiến hành, mở màn như được tạo trong DAG. Khi nhấp
vào trong 1 DAG cụ thể rõ ràng, rõ ràng, cụ thể, trạng thái tương xứng như thành công, thất bại, thử lại, xếp hàng, v.v. của việc,
việc làm, rất rất có thể được tưởng tượng theo một vài, phương thức thức độc lạ, và
khác hoàn toàn trong giao diện
người sử dụng. Xem Ngay: Nghĩa của từ cross over là gì
Xem biểu đồ
Những trạng thái của nhiều việc làm được thể hiện,
Phía dưới, dạng đồ họa như tiếp về sau:
Cơ chế xem cây
Những trạng thái của nhiều việc làm
cùng với, ngày tiến hành, của nhiều việc làm được thể hiện,
Phía dưới, dạng cây như tiếp về sau:
Xem Gannt
Những trạng thái của nhiều việc làm
cùng với, ngày tiến hành, của nhiều việc làm được thể hiện, theo định dạng Gannt như tiếp về sau:
Xem thời lượng tác vụ
Khi nhấp vào tab Thời lượng tác vụ , bạn cũng xuất hiện thể xem thời lượng tác vụ của toàn diện
quy trình tiến độ tiến trình, hoặc DAG theo định dạng đồ họa như tiếp về sau:
Xem trường hợp trách nhiệm,
Bằng phương thức thức nhấp vào Duyệt > Trường hợp tác ký kết và ký cam kết vụ , bạn cũng xuất hiện thể xem những trường hợp mà những tác vụ đang
hoạt động giải trí và sinh hoạt, như được hiển thị
Phía dưới,:
Xem việc làm
Bằng phương thức thức nhấp vào Duyệt > Việc làm , bạn cũng xuất hiện thể xem rõ rệt như thời khắc mở màn, thời khắc kết thúc và người triển khởi
việc làm,, như được hiển thị trong sơ đồ
Phía dưới,:
Xem nhật ký
Bằng phương thức thức nhấp vào Duyệt > ViewLog , bạn cũng xuất hiện thể xem rõ rệt của nhật ký, như được hiển thị trong sơ đồ
Phía dưới,:
Hồ sơ tài liệu,
Airflow vừa lòng, giao diện truy vấn SQL dễ dàng và đơn giản, và đơn giản và giản dị, và đơn giản và dễ dàng, để truy vấn tài liệu, và giao diện
người sử dụng biểu đồ để trực quan hóa những tác vụ. Để
thông số kỹ thuật kỹ thuật kỹ thuật tài liệu, của bạn, nhấp vào Quản trị viên >
liên kết để chọn loại
liên kết cơ sở tài liệu,, như được hiển thị trong sơ đồ
Phía dưới,:
Truy vấn Ad Hoc
Để viết và truy vấn tài liệu,, nhấp vào Hồ sơ tài liệu, > Truy vấn quảng cáo .
Biểu đồ
Nhiều chủng loại trực quan hóa độc lạ, và
khác hoàn toàn rất rất có thể được tạo cho thời khắc tác vụ và trạng thái trách nhiệm, bằng biểu đồ. Để tạo những biểu đồ như thanh, đường,
Vị trí,, v.v. cho một DAG cụ thể rõ ràng, rõ ràng, cụ thể bằng truy vấn SQL, nhấp vào
thông số kỹ thuật kỹ thuật kỹ thuật tài liệu, > Biểu đồ > DAG_id , như được hiển thị trong sơ đồ
Phía dưới,:
Toàn diện những DAG được biểu lộ, bằng đồ họa, như thể hiện, trong sơ đồ tiếp về sau:
thông báo có email
Thông báo qua email như email_on_failure, email_on_successvà email_on_retriesrất rất có thể được đặt để biết trạng thái việc làm. Để bật thông báo, hãy tiến hành, như sau: Định
thông số kỹ thuật kỹ thuật kỹ thuật thiết lập trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị
Phía dưới,:
Đặt lại thiết lập email của bạn thành thiết lập Gmail > allow_less safe_apps > ON để nhận thông báo qua email từ Airflow. Nhắc nhở, : Bạn cũng xuất hiện thể nhận được authentication_error nếu thiết lập email không được
thông số kỹ thuật kỹ thuật kỹ thuật đúng. Để giải quyết và xử lý, và xử lý và giải quyết và xử lý, và khắc phục sự cố này, hãy đồng ý, thiết bị đăng nhập làm thiết bị của chúng tôi trong thiết bị Gmail quan tâm tới, là Có Đó là Tôi . Một email thất bại việc làm được hiển thị tiếp về sau:
Khi nhấp vào Liên kết trong email, những
các bạn sẽ, tiến hành, chuyển hướng tới, trang Nhật ký. Xem Ngay: Chủ đề 6: Cụm động Từ đi Với Look Into Nghĩa Là Gì
Phần
Kết luận
Trong blog này, chúng tôi đã luận bàn, về tác giả, lập lịch và
Thống kê, tiến trình việc làm từ giao diện
người sử dụng web, y như kích hoạt những việc làm Talend trực tiếp từ giao diện
người sử dụng web theo
Đề xuất kiến nghị, bằng phương thức thức sử dụng bash toán tử. Bạn cũng xuất hiện thể chuyển tài liệu, từ cơ sở tài liệu, này sang cơ sở tài liệu, khác bằng generic_transfer toán tử.
Tài liệu
Tìm hiểu thêm,
Mã trong GitHub Thể Loại: San sẻ, giải bày, trình diễn Kiến Thức Cộng Đồng
Bài Viết: Airflow Là Gì – Apache Airflow Thể Loại: LÀ GÌ Nguồn Blog là gì: https://hethongbokhoe.com Airflow Là Gì – Apache Airflow
