XÂY DỰNG HỆ THỐNG LẤY TIN VÀ PHÂN LOẠI TIN TỰ ĐỘNG PHÂN HỆ I HỆ THỐNG LẤY TIN
Khoá luận tốt nghiệp · Đại học · năm 2019 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Nguyễn Thanh Toàn |
| Người hướng dẫn | Võ Huỳnh Trâm |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2019 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Do nhu cầu thu thập thông tin của con người ngày càng tăng, lượng thông tin trên Internet ngày càng phức tạp nên vấn đề tổng hợp thông tin ngày càng trở nên bức thiết. Với một lượng dữ liệu lớn việc thu thập bằng tay sẽ tốn rất nhiều công sức, và không đạt hiệu quả cao, chính vì thế một công cụ hỗ trợ tổng hợp thông tin tự động là trình thu thập web (web crawler) đã ra đời. Đề tài luận văn đặt ra vấn đề tìm hiểu về trình thu thập web và bước đầu sẽ xây dựng một ứng dụng có khả năng tổng hợp và phân loại tin tức tự động từ nhiều trang báo điện tử khác nhau. Ứng dụng được viết bằng ngôn ngữ lập trình Python và được xây dựng dựa trên các tiêu chí: tốc độ thu thập nhanh, hệ thống hoạt động tự động, cơ sở dữ liệu gọn nhẹ, đảm bảo tính toàn vẹn của tài liệu gốc. Hệ thống thu thập và phân loại tin tự động gồm hai quá trình chính là thu thập và phân loại tin tức. Nội dung luận văn được chia thành hai phân hệ tương ứng với hai quá trình trên là: Phân hệ xây dựng hệ thống lấy tin tự động và phân hệ xây dựng hệ thống phân loại tin tự động. Các chức năng chính của hệ thống là lấy tin, phân loại tin, đưa tin tức lên trang hiển thị. Điểm nổi bật của hệ thống là vận hành tự động, hệ thống sẽ luôn cập nhật tin tức mới nhất của những trang tin tức nguồn vì chúng ta có thể thiết đặt được thời gian chạy của hệ thống. Nội dung tin tức lấy được có độ chính xác cao đối với những trang tin gồm chữ và hình ảnh. Ngoài ra hệ thống có khả năng phân biệt và loại bỏ những những bài tin bị trùng lặp (với những tin trong cùng trang nguồn). Hệ thống phân loại tin sẽ luôn cập nhật lại tập huấn luyện (train) mỗi khi có một bài báo mới được duyệt qua hệ thống, vì thế hệ thống phân loại tin tự động sẽ ngày càng được thông minh và chính xác hơn. Các công cụ hỗ trợ được thiết kế đơn giản và phù hợp với hệ thống nên cho tốc độ hoạt động rất nhanh, cơ sở dữ liệu của hệ thống gọn nhẹ. Hệ thống đã đạt được mục tiêu đề ra ban đầu là hoạt động ổn định, tốc độ xử lý nhanh, nội dung bài viết lấy về khá đầy đủ, có một vài trường hợp bài tin đặc biệt thì không xử lý được. Hệ thống phân loại bằng máy học cũng đáp ứng được yêu cầu đề ra là có khả năng phân loại tin theo tiêu đề, độ chính xác của kết quả phân loại đạt được mục tiêu mong đợi. Về hạn chế thì hệ thống sử dụng Ghost CMS để hiển thị kết quả nên về kiểu chữ cũng như các tùy chỉnh trang hiển thị không được bắt mắt, giao diện hiển thị còn đơn giản. Trong tương lai, dự kiến hệ thống sẽ mở rộng thêm nguồn lấy tin và phát triển thêm chức năng chống trùng lặp giữa các nguồn tin khác nhau.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- ỨNG DỤNG HỖ TRỢ NGHIỆP VỤ Ở MỘT PHÒNG KHÁM NHA KHOA TRÊN DESKTOP
- XÂY DỰNG WEBSITE ĐIỀU HÀNH CÔNG VIỆC TẠI KHOA CNTT & TT TRÊN NỀN TẢNG LARAVEL FRAMEWORK
- XÂY DỰNG WEBSITE CHIA SẼ KINH NGHIỆM LẬP TRÌNH VỚI ASP.NET MVC
- MULTIMEDIA DEEPFAKE DETECTION (VIDEO AND AUDIO) WITH CROSS-MODAL INCONSISTENCY.
- WEBSITE HỖ TRỢ QUẢN LÝ ĐOÀN THANH NIÊN TÍCH HỢP CHỨC NĂNG NHẬP LIỆU THÔNG QUA GIỌNG NÓI
- PLANT IDENTIFICATION SYSTEM
- PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN VƯỢT ĐÈN ĐỎ CHO GIAO THÔNG
- RECOGNIZING VIETNAMESE SIGN LANGUAGE
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.