data mining 1_3 (Model Selcetion, Underfitting, overfitting)

쉽게 말해서 내가 학습시킨 모델이 train data에 대해서만 예측을 잘하고 test나 validation data에... 머신러닝의 목표는 적은 bias와 적은 분산의 예측값을 뽑아내는 모델을 완성하는 것이다....

Bias vs. Variance 개념 정리 - 바이오메디컬랩@모두의연구소

이 글에서 bias와 variance에 대해 살펴보려고 합니다. bias와 variance는 이미 많은 글이나 블로그에서 개념적으로 잘 설명되어 있습니다. 그럼에도 불구하고 다시 정리해보는 이유는 개념적으로 어느정도 이해는 되는데 좀 더 자세하게 보려고 하면, 블로그들의 예제들 간의 연결이 막혀서 헷갈리는 부분이 있어 이 글을 통해 확실히 이해하기 위해서 입니다. bias와 variance는 모델의 los...

Data mining

Part of a series on Machine learning and data mining Paradigms Supervised learning... machines Bias–variance tradeoff Computational learning theoryEmpirical risk minimizationOccam...

[Data Mining] Macro average and micro average

data mining에서 하나의 model을 측정하는 방법은 여러가지가 있다. 대표적인 measurement가 accuracy인데, 이 accuracy는 biased data에서는 별로 효과적이지 못 하다고 이전 포스팅에서...

Lift (data mining)

In data mining and association rule learning, lift is a measure of the performance of a targeting model (association rule) at predicting or classifying cases as having an enhanced response...

[Data Mining] 5. Regression - 회귀분석에서 변수선택법

앞에서 잠깐 언급했지만, 독립변수의 수가 많아지면 기본적으로 모델의 복잡도가 올라가면서 성능이 올라간다. 하지만 변수가 너무 많다면 오히려 그 성능은 낮아질 수 있다. ( 차원의 저주 : Cause of Dimensionality ) 이 때 성능이 낮아진다는 것은 예측성능이다. 즉, 학습데이터에서 성능은 높을지 몰라도 실제 현장 데이터를 대입했을 때 예측성능이 학습성능에 비해 현저히 낮게 나올 수 있다는 것이다. (overfitting) feature ...

Text mining

Text mining, text data mining (TDM) or text analytics is the process of deriving high-quality information from text. It involves "the discovery by computer of new, previously unknown...

Bias–variance tradeoff

Bias and variance as function of model complexity Part of a series on Machine learning and data mining Paradigms Supervised learning Unsupervised learning Semi-supervised learning Self...

You're diving into data mining analysis. How do you navigate potential biases in the collected data?

Ensure accurate data mining analysis by validating sources, using diverse datasets, and updating algorithms to prevent bias.

You're diving into data mining projects. How can you avoid biases from skewing your results?

Ensure accurate results in data mining by checking sources, using algorithms to correct biases, and updating models regularly. Avoid skewed outcomes with these tips.