Corpus Là Gì – Nghĩa Của Từ Corpus

Corpus Là Gì – Nghĩa Của Từ Corpus

CTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN” “http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”>Khái yếu về corpus – Giải quyết và xử lý và giải quyết và xử lý ngữ điệu thoải mái và tự nhiên và thoải mái và dễ chịu (Trường đại học khoa học kỹ thuật Nagaoka)

*

2. Corpus 2.1 kháiniệm về Corpus Corpus là một trong những dữ liệu tập hợp những văn bản,ngữ điệu đã được số hoá. Phương pháp dịch nhiều khi ở VN là “kho ngữ liệu”. Ví dụ vềcorpus như “tuyển tập những loại sản phẩm thực tiễn của Nam Cao”, hay “tuyển tập ca từ của TrịnhCông Sơn”, … Cáccorpus là một trong những tài nguyên quan trọng trong NLP. Từ những corpus, ta có công dụng đúc rút nhữngdữ liệu quan trọng sau : 1. Từ những corpus, ta có công dụng chiết suất 1cách tự động hóa hóa những qui tắc ngữ pháp “văn mạch tự do”. Bài Viết: Corpus là gì 2. Từ những corpus có công dụng đo lường đo lường được xácsuất, tốc độ xuất hiện thêm của đa số từ. Để đảm bảo an toàn an toàn và tin cậy tính đúng cách cho 2 kết luậntrên, corpus phải đảm bảo an toàn an toàn và tin cậy một trong những ít nguyên tắc không thay đổi : 1. Tính thay mặt đại diện : những thành phần trongcorpus phải có đặc biệt phổ quát, đa dạng mẫu mã và đa dạng mẫu mã. Xem Ngay: Stable Là Gì 2. Kích cỡ : kích thước của corpus cànglớn thì càng được đánh giá và nhận định và đánh giá cao. Nương tựa vào kim chỉ nam, chiêu bài thức xây dựng corpus, ngườita chia corpus thành nhiều chủng loại sau : 1. Corpus thô (raw corpus): đơn giản dễ dàng đơn giản và dễ dàng chỉ làtập hợp những dữ liệu mà dường như không có xử lý gì thêm. 2. corpus được gắn nhãn (tagged corpus) :những dữ liệu trong corpus đã được xử lý như nghiên cứu và điều tra và nghiên cứu từ, nghiên cứu và điều tra và nghiên cứu cú pháp, gắnnhãn từ loại, … 3. Parallel Corpus : được cần sử dụng nhiềutrong ứng dụng máy dịch. Ngoài chiêu bài thức chia trên, ta cũng luôn tồn tại thể chiacorpus theo cấu tạo của chính bản thân mình nó. 1. Corpus biệt lập : dữ liệu lấy vào 1 cáchngẫu nhiên, biệt lập và không phân biệt với nhau. 2. Corpus theo khuôn khổ : dựa vào những danhmục để chia dữ liệu trong corpus thành những nhóm. Xem Ngay: Furnace Là Gì – Nghĩa Của Từ Furnace 3. Corpus trùng lặp : những dữ liệu trongcorpus có công dụng ở nhiều nhóm cùng lúc. 4. Corpus theo thời gian : những dữ liệu sắpxếp theo thời gian dành dụm và thời gian xuất hiện thêm. 2.2Thống kê trong corpus Khái niệm về n-gram : là tốc độ xuất hiệncủa n kí tự ( hoặc từ ) liên tục nhau có trong dữ liệu của corpus. Với n = 1 và tính trên kí tự, ta có thôngtin về tốc độ xuất hiện thêm kinh hồn bạt vía nhất của đa số chữ cái. Vấn đề đó ứng dụng để làmkeyboard : những phím hay xuất hiện thêm nhất sẽ ở những vị trí đặt dễ cần sử dụng nhất. Với n = 2, ta có khái niệm bigram. Ví dụ vớicác chữ cái tiếng Anh, ‘th’,’he’,’in’,’an’,’er’ là những cặp kí tự hay xuất hiệnnhất. Không chỉ có vậy, ta có công dụng biết thêm rằng sau kí tự ‘q’ thì số đông đều là kí tự‘u’. Với n = 3, ta có trigram. Nhưng vì n càng lớnthì số trường hợp càng to nên thường người ta chỉ cần sử dụng với n = 1,2 hoặc đôilúc là 3. Ví dụ với những kí tự tiếng Anh, tiếng Anh cần sử dụng 26 kí tự, vậy với n= 1 thì số trường hợp là 26, n = 2 thì số trường hợp là 26^2 = 676 trường hợp,n = 3 có 17576 trường hợp. Bigram được cần sử dụng nhiều trong việc phântích hình thái (từ, cụm từ, từ loại) cho những ngữ điệu khó nghiên cứu và điều tra và nghiên cứu như tiếngViệt, tiếng Nhật, tiếng Trung, … Nương tựa vào tốc độ xuất hiện thêm cạnh nhau của đa số từ,người ta sẽ tính chiêu bài thức chia 1 câu thành những từ làm sao để cho tổng bigram là cao nhấtcó thể. Với thuật giải nghiên cứu và điều tra và nghiên cứu hình thái dựa vào trọng số nhỏ nhất, người tasử dụng n = 1 để khẳng định tuần suất xuất hiện thêm của đa số từ và tính trọng số. Để đảm bảo an toàn an toàn và tin cậy tính đo lường và tính toán đúng cách đòi hỏicác corpus phải to và có đặc biệt thay mặt đại diện cao. Thể Loại: San sẻ Kiến Thức Cộng Đồng

Xem Ngay:  Những điều Cần Biết Về Uefa Nations League Là Gì

Bài Viết: Corpus Là Gì – Nghĩa Của Từ Corpus Thể Loại: LÀ GÌ Nguồn Blog là gì: https://hethongbokhoe.com Corpus Là Gì – Nghĩa Của Từ Corpus

Leave a Reply

Your email address will not be published.