LuanVan.vnLuận Văn
Gửi thư

Investigation on Bayesian Ying-Yang learning for model selection in unsupervised learning

Luận án · Tiến sĩ · năm 2006 · đề tài tham khảo

Loại tài liệuLuận án
Bậc họcTiến sĩ
Tác giảXuelei Hu
Cơ sở đào tạoĐại học Quốc gia TP. Hồ Chí Minh
Năm2006
NguồnThư viện số Đại học Quốc gia TP. Hồ Chí Minh · trang gốc

Tóm tắt

Model selection is a critical issue in unsupervised learning. Conventionally, model selection is implemented in two phases by some statistical model selection criterion such as Akaike's information criterion (AIC), Bozdogan's consistent Akaike's information criterion (CAIC), Schwarz's Bayesian inference criterion (BIC) which formally coincides with the minimum description length (MDL) criterion, and the cross-validation (CV) criterion. These methods are very time intensive and may become problematic when sample size is small. Recently, the Bayesian Ying-Yang (BYY) harmony learning has been developed as a unified framework with new mechanisms for model selection and regularization. In this thesis we make a systematic investigation on BYY learning as well as several typical model selection criteria for model selection on factor analysis models, Gaussian mixture models, and factor analysis mixture models. For factor analysis models, we develop an improved BYY harmony data smoothing learning criterion BYY-HDS in help of considering the dependence between the factors and observations. We make empirical comparisons of the BYY harmony empirical learning criterion BYY¬HEC, BYY-HDS, the BYY automatic model selection method BYY-AUTO, AIC, LAIC, BIC, and CV for selecting the number of factors not only on simulated data sets of different sample sizes, noise variances, data dimensions and factor numbers, but also on two real data sets from air pollution data and sport track records, respectively. For Gaussian mixture models, we compare BYY-HEC, BYY-HDS, and BYY-AUTO with AIC, CAIC, BIC, and CV for selection of the number of components by experiments on three groups of simulated data sets with respect to sample size, type of covariance matrix, and data dimension and two real world data sets: the well known Iris data set and a gene expression data set. In addition, for kernel density estimation, we apply harmony data smoothing learning on a weighted kernel density model to obtain a sparse weighted kernel density estimate. We empirically compare it with LSCV method on the classical kernel density estimator. For factor analysis mixture models, we investigate an algorithm with automatic model selection ability by applying BYY empirical learning on a modified factor analysis mixture model. We make an empirical comparison of BYY-AUTO and the conventional model selection criteria: AIC, CAIC, and BIC. The most remarkable findings of our study is that BYY-HDS is superior to its counterparts, especially when the sample size is small. AIC, BYY-HEC, BYY-AUTO and CV have a risk of overestimating, while BIC and CAIC have a risk of underestimating in most cases. BYY-AUTO is superior to other methods in a computational cost point of view. The cross-validation method requires the highest computing cost.
Bản toàn văn lưu tại thư viện Đại học Quốc gia TP. Hồ Chí Minh

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.