click

Airflow Là Gì – Apache Airflow

Airflow La Gi Apache Airflow

Airflow, một xuất xứ nguồn gốc xuất xứ, xuất xứ nguồn mở, được sử dụng để thu xếp, những luồng việc làm
Phía dưới, dạng biểu đồ chu kỳ luân hồi luân hồi
theo phía (DAG) của nhiều tác vụ theo phương thức lập trình. Một lịch trình luồng
không gian được sử dụng đặt lên trên lịch những tiến trình việc làm và đường ống giải quyết và xử lý, và xử lý và giải quyết và xử lý, tài liệu,. Giao diện
người sử dụng Airflow được cho phép, dễ dàng và đơn giản, và đơn giản và giản dị, đơn giản và dễ dàng, tưởng tượng những đường ống chạy trong thiên nhiên và môi trường, tự nhiên và thoải mái và dễ chịu, xung quanh sản xuất,
Thống kê, tiến trình của tiến trình việc làm và giải quyết và xử lý, và xử lý và giải quyết và xử lý, sự cố khi cần. Những tiện lợi dòng lệnh
Phong phú, vóc dáng được sử dụng để tiến hành, những ca phẫu thuật phức tạp, trên DAG. Bài Viết: Airflow là gì Trong blog này, hãy luận bàn, về lập lịch và tiến hành, những việc làm Talend với Airflow.

Trường hợp tiên quyết

Luồng khí 1.7 trở lên Python 2.7 Studio mở Talend (Phối phối hợp, tài liệu, to hoặc tài liệu,)

Ca sử dụng

Lập lịch và tiến hành, những việc làm Talend ETL với Airflow.

Tóm tắc

Tác giả Talend việc làm Lịch trình việc làm Talend Thống kê giám sát tiến trình việc làm trong Web UI

Mô tả, việc làm

Việc làm Talend ETL được tạo bởi: Ký danh, application_id từ applicant_loan_info và loan_info như thể hiện, trong sơ đồ tiếp về sau:

*
*

Đang tải tài liệu, trùng khớp vào  loan_application_analysis bảng.
Cần sử dụng, một bộ lọc trên LoanDecisionType nghành trong những  loan_application_analysis bảng để cô lập những giá trị như Approvedbị không chấp thuận đồng ý, , và bị tịch thu, .
Cần sử dụng, một bộ lọc khác trên những giá trị được tách riêng ở trên cao cao để tách riêng LoanType thành Thành viên , Tự động hóa, hóa hóa , Tín dụng thanh toán thanh toán thanh toán giao dịch,Nhà . Việc làm Talend
Đã tạo ra,
thiết kế xây dựng và dịch rời,
Tới điểm, đặt máy chủ. Một DAG mang tên  Loan_Application_Analysis.py được tạo với đường dẫn tương xứng của nhiều tập lệnh để tiến hành, luồng theo
Đề xuất kiến nghị,.

Xem Ngay:  Phẩm Chất Là Gì - Khái Niệm Phẩm Chất đạo đức

Tạo thư mục DAG và khởi động lại máy chủ web luồng
không gian

Sau thời điểm thiết lập Airflow, hãy tiến hành, như sau: Tạo thư mục DAG ( / home / ubfox / airflow / dags ) trong đường dẫn Airflow. Chuyển dời
toàn bộ những  .py tập tin cẩn vào thư mục DAG. Khởi động lại máy chủ web Airflow bằng mã tiếp về sau để xem DAG này trong danh sách UI: Loginto the AIRFLOW_HOME path– eg.(/home/ubuntu/airflow) To restart webserver —> airflow webserver To restart scheduler —> airflow scheduler Sau thời điểm khởi động lại máy chủ web,
toàn bộ .py những tệp hoặc DAG trong thư mục sẽ tiến hành, tham chiếu và tải vào danh sách DAG UI web.

Lập kế hoạch việc làm

Những việc làm Talend đã tạo rất rất có thể được lên lịch bằng phương thức thức sử dụng bộ lập lịch Airflow. Để biết mã, xem phần  Tài liệu
Tìm hiểu thêm,
. Nhắc nhở, : Việc làm rất rất có thể được kích hoạt thủ công bằng tay, bình phương thức thức nhấp vào  nút Run
Phía dưới,  cột Liên kết như hình tiếp về sau:

*

Cả hai việc làm được lên lịch tự động, hóa và được kích hoạt thủ công bằng tay, rất rất có thể đc
Nhận định và đánh giá, trong giao diện
người sử dụng như sau:

*

Thống kê giám sát việc làm

Khi tiến hành, những việc làm, những tiến trình ngược dòng hoặc xuôi dòng sẽ tiến hành, mở màn như được tạo trong DAG. Khi nhấp
vào trong 1 DAG cụ thể rõ ràng, rõ ràng, cụ thể, trạng thái tương xứng như thành công, thất bại, thử lại, xếp hàng, v.v. của việc,
việc làm, rất rất có thể được tưởng tượng theo một vài, phương thức thức độc lạ, và
khác hoàn toàn trong giao diện
người sử dụng. Xem Ngay: Nghĩa của từ cross over là gì

Xem Ngay:  Học Chay Là Gì - Đọc Hiện Tượng Học Chay, Học Vẹt

Xem biểu đồ

Những trạng thái của nhiều việc làm được thể hiện,
Phía dưới, dạng đồ họa như tiếp về sau:

*

Cơ chế xem cây

Những trạng thái của nhiều việc làm
cùng với, ngày tiến hành, của nhiều việc làm được thể hiện,
Phía dưới, dạng cây như tiếp về sau:

*

Xem Gannt

Những trạng thái của nhiều việc làm
cùng với, ngày tiến hành, của nhiều việc làm được thể hiện, theo định dạng Gannt như tiếp về sau:

*

Xem thời lượng tác vụ

Khi nhấp vào tab Thời lượng tác vụ , bạn cũng xuất hiện thể xem thời lượng tác vụ của toàn diện
quy trình tiến độ tiến trình, hoặc DAG theo định dạng đồ họa như tiếp về sau:

*

Xem trường hợp trách nhiệm,

Bằng phương thức thức nhấp vào Duyệt  >  Trường hợp tác ký kết và ký cam kết vụ , bạn cũng xuất hiện thể xem những trường hợp mà những tác vụ đang
hoạt động giải trí và sinh hoạt, như được hiển thị
Phía dưới,:

*

Xem việc làm

Bằng phương thức thức nhấp vào Duyệt  >  Việc làm , bạn cũng xuất hiện thể xem rõ rệt như thời khắc mở màn, thời khắc kết thúc và người triển khởi
việc làm,, như được hiển thị trong sơ đồ
Phía dưới,:

*

Xem nhật ký

Bằng phương thức thức nhấp vào Duyệt  >  ViewLog , bạn cũng xuất hiện thể xem rõ rệt của nhật ký, như được hiển thị trong sơ đồ
Phía dưới,:

*

Hồ sơ tài liệu,

Airflow vừa lòng, giao diện truy vấn SQL dễ dàng và đơn giản, và đơn giản và giản dị, và đơn giản và dễ dàng, để truy vấn tài liệu, và giao diện
người sử dụng biểu đồ để trực quan hóa những tác vụ. Để
thông số kỹ thuật kỹ thuật kỹ thuật tài liệu, của bạn, nhấp vào Quản trị viên  > 
liên kết
để chọn loại
liên kết cơ sở tài liệu,, như được hiển thị trong sơ đồ
Phía dưới,:

*

Truy vấn Ad Hoc

Để viết và truy vấn tài liệu,, nhấp vào Hồ sơ tài liệu,  >  Truy vấn quảng cáo .

*

Biểu đồ

Nhiều chủng loại trực quan hóa độc lạ, và
khác hoàn toàn rất rất có thể được tạo cho thời khắc tác vụ và trạng thái trách nhiệm, bằng biểu đồ. Để tạo những biểu đồ như thanh, đường,
Vị trí,, v.v. cho một DAG cụ thể rõ ràng, rõ ràng, cụ thể bằng truy vấn SQL, nhấp vào
thông số kỹ thuật kỹ thuật kỹ thuật
tài liệu,  > Biểu đồ  >  DAG_id , như được hiển thị trong sơ đồ
Phía dưới,:

Xem Ngay:  Coo Là Gì - Vai Trò Của Coo Trong Doanh Nghiệp
*

Toàn diện những DAG được biểu lộ, bằng đồ họa, như thể hiện, trong sơ đồ tiếp về sau:

*

thông báo có email

Thông báo qua email như email_on_failure, email_on_successvà  email_on_retriesrất rất có thể được đặt để biết trạng thái việc làm. Để bật thông báo, hãy tiến hành, như sau: Định
thông số kỹ thuật kỹ thuật kỹ thuật thiết lập trong  airflow.cfg tệp trong  airflow_home đường dẫn, như hiển thị
Phía dưới,:

*

Đặt lại thiết lập email của bạn thành thiết lập Gmail >  allow_less safe_appsON  để nhận thông báo qua email từ Airflow. Nhắc nhở, : Bạn cũng xuất hiện thể nhận được authentication_error nếu thiết lập email không được
thông số kỹ thuật kỹ thuật kỹ thuật đúng. Để giải quyết và xử lý, và xử lý và giải quyết và xử lý, và khắc phục sự cố này, hãy đồng ý, thiết bị đăng nhập làm thiết bị của chúng tôi trong thiết bị Gmail quan tâm tới,Có Đó là Tôi . Một email thất bại việc làm được hiển thị tiếp về sau:

*

Khi nhấp vào Liên kết trong email, những
các bạn sẽ, tiến hành, chuyển hướng tới, trang Nhật ký. Xem Ngay: Chủ đề 6: Cụm động Từ đi Với Look Into Nghĩa Là Gì

Phần
Kết luận

Trong blog này, chúng tôi đã luận bàn, về tác giả, lập lịch và
Thống kê, tiến trình việc làm từ giao diện
người sử dụng web, y như kích hoạt những việc làm Talend trực tiếp từ giao diện
người sử dụng web theo
Đề xuất kiến nghị, bằng phương thức thức sử dụng bash toán tử. Bạn cũng xuất hiện thể chuyển tài liệu, từ cơ sở tài liệu, này sang cơ sở tài liệu, khác bằng  generic_transfer toán tử.

Tài liệu
Tìm hiểu thêm,

Mã trong GitHub Thể Loại: San sẻ, giải bày, trình diễn Kiến Thức Cộng Đồng

Bài Viết: Airflow Là Gì – Apache Airflow Thể Loại: LÀ GÌ Nguồn Blog là gì: https://hethongbokhoe.com Airflow Là Gì – Apache Airflow

Leave a Reply

Your email address will not be published. Required fields are marked *