"Ai의 심장" 머신러닝 알고리즘의 핵심 이해

머신러닝(Machine learning)과 딥러닝(deep learning)은 컴퓨터 과학 분야에서 널리 알려진 용어이다. 이러한 기술은 컴퓨터 시스템이 데이터를 사용하여 스스로 학습하고 예측하는 능력을 갖게 하는 방법이다. 그러나 머신러닝과 딥러닝은 대중에게 익숙한 만큼이나 오해와 혼동이 많이 생긴다. 이 글에서는 머신러닝과 딥러닝의 기본 개념을 설명하고, 가장 흔히 사용되는 몇 가지 머신러닝 알고리즘도 알아볼 것이다. 또한, 이러한 알고리즘들이 과거의 데이터를 기반으로 예측 모델을 만들기 위한 중요 요소임을 이해할 수 있도록 설명할 것이다. 머신러닝 알고리즘이란 데이터를 활용하여 모델을 자동으로 생성하는 방법을 말합니다. 이 알고리즘은 머신러닝 기술의 핵심 역할을 담당하며, 데이터를 모델로 변환하는 역할을 수행합니다. 어떤 알고리즘이 가장 효과적인지는 해결하려는 문제의 종류, 사용 가능한 컴퓨팅 리소스, 그리고 데이터의 속성 등에 따라 다를 수 있습니다. 일반적으로는 지도학습, 비지도학습, 분류, 회귀 등의 다양한 알고리즘이 사용되며, 각 알고리즘은 특정한 문제에 더 적합한 결과를 도출해줍니다. 머신러닝의 작동 원리

머신러닝은 컴퓨터에 할 일을 알려주는 프로그래밍 알고리즘 중 한 가지입니다. 이 알고리즘은 데이터를 원하는 방식으로 변환하는 과정을 거칩니다. 예를 들어 정렬 알고리즘은 정렬되지 않은 데이터를 특정 기준에 따라 정렬된 데이터로 변환합니다. 선형 회귀 알고리즘은 매개변수가 선형인 다항식을 사용하여 수치 데이터에 가장 잘 맞추는 것을 목표로 합니다. 이를 위해 일반적으로 선과 데이터 간의 제곱 오차를 최소화하는 방법을 사용합니다. 비선형 회귀 알고리즘은 선형 회귀보다 더 복잡하며, 일반적으로 급속 하강 방법을 사용하여 제곱 오차를 최소화합니다.

머신러닝은 다항식과 같은 특정 수학 함수에 제약이 없다는 특징을 가지고 있습니다. 머신러닝은 주로 회귀와 분류라는 두 가지 문제 범주를 해결하는 데 사용됩니다. 회귀는 수치 데이터를 대상으로 하며, 예상 수입과 같은 문제를 해결합니다. 분류는 비수치 데이터를 대상으로 하며, 대출 신청자가 대출을 상환할 것인지 등의 문제를 해결합니다. 예측 문제는 시계열 데이터를 대상으로 하는 회귀 문제의 하위 범주이며, 분류 문제는 이진 및 다중 범주로 나뉩니다. 지도 학습과 비지도 학습은 머신러닝 알고리즘의 두 가지 주요 유형입니다. 지도 학습에서는 동물 이름이 딸린 동물 사진과 같은 학습 데이터 세트가 제공됩니다. 이 학습의 목표는 이전에 보지 못한 사진을 올바르게 식별하는 모델을 만드는 것입니다. 비지도 학습에서는 알고리즘이 데이터를 자체적으로 분석하고 의미 있는 결과를 도출하려고 노력합니다. 클러스터링은 겹치지 않는 클러스터에서 더 효과적으로 작동합니다. 지도 학습 알고리즘은 학습과 평가를 통해 매개변수를 최적화하여 데이터의 진실에 가장 잘 일치하는 모델을 만듭니다. 알고리즘은 SGD(확률적 경사 하강) 등의 옵타마이저를 사용하여 경사의 방향을 수정하거나 학습률을 조정하는 방법을 사용할 수 있습니다.

머신러닝을 위한 데이터 정제

머신러닝을 위해 데이터를 정제하는 것은 매우 중요하다. 데이터는 자연 상태에서 깨끗하지 않으며, 필터링을 통해 사용 가능한 상태로 만들어야 한다. 이를 위해 다음과 같은 절차를 따를 수 있다.

먼저 데이터를 살펴보고, 누락된 데이터가 많은 열은 제외한다. 이는 후에 예측에 영향을 미칠 수 있는 열을 선택하는 과정에서 반복해서 바꿔야 할 수도 있다.

누락된 데이터가 여전히 존재하는 행은 제외한다. 이는 분석에 신뢰할 수 없는 데이터가 포함되어 있을 수 있기 때문이다.

또한, 명백한 오타를 교정하고 동일한 답변을 병합하는 작업을 수행한다. 예를 들어 “U.S.”, “US.”, “USA”는 모두 “미국”이라는 범주로 병합되어야 한다.

데이터 분석의 범위를 벗어난 데이터는 제외한다. 예를 들어 뉴욕시 내의 택시 이동을 분석하는 경우, 뉴욕시 경계 상자를 벗어난 승하차 위도 및 경도 데이터는 필터링하여 제외한다.

데이터 정제는 지루한 작업일 수 있지만, 머신러닝 파이프라인에 포함시켜 자유롭게 수정하고 반복할 수 있다. 이를 통해 데이터의 정제 단계를 효과적으로 수행할 수 있다.

직장인 N잡러 퇴근 후 월 50만원 버는 부업방법 l 네이버 블로그로 돈버는 방법

머신러닝을 위한 데이터 인코딩 및 정규화

머신 분류를 위해 범주 데이터를 사용하려면 텍스트 레이블을 다른 양식으로 인코딩해야 합니다. 일반적으로 2가지 인코딩이 사용됩니다. 첫째, 레이블 인코딩을 사용하는데, 각 텍스트 레이블이 숫자로 대체됩니다. 둘째는 원핫(one-hot) 인코딩을 사용하는데, 각 텍스트 레이블 값이 이진 값(1 또는 0)으로 변환되는 열로 변환됩니다. 대부분의 머신러닝 프레임워크에는 이러한 변환을 수행하는 함수가 포함되어 있습니다.

레이블 인코딩의 경우 머신러닝 알고리즘이 혼동해서 인코딩된 열이 정렬된 것으로 착각할 수 있기 때문에 일반적으로 원핫 인코딩이 선호됩니다.

머신 회귀에 숫자 데이터를 사용하려면 보통 데이터를 정규화해야 합니다. 그렇지 않으면 범위가 큰 숫자가 특징 벡터 간의 유클리드 거리를 지배하는 경향이 생기고, 이들의 효과가 확대되면 다른 필드가 희생되고 급속 하강 최적화가 잘 수렴되지 않을 수 있습니다. 머신러닝을 위해 데이터를 정규화 및 표준화하는 방법으로는 최소-최대 정규화, 평균 정규화, 표준화, 단위 길이로 스케일링 등 여러 가지가 있습니다. 이 프로세스를 일반적으로 특징 스케일링(feature scaling)이라고 합니다.

2021 제10회 대한민국 교육기부 박람회 공부합시다 [메타버스]

머신러닝을 위한 데이터 인코딩 및 정규화

머신러닝 특징

머신러닝에서 특징은 관찰 대상 현상의 측정 가능한 개별적인 속성 또는 특성을 의미한다. 특징은 선형 회귀와 같은 통계 기법에서 사용되는 설명 변수와 관련이 있으며, 특징 벡터는 한 행의 모든 특징을 하나의 숫자 벡터로 결합한다. 특징을 선택하는 기법 중 하나는 문제를 설명하는 최소 독립 변수 집합을 선택하는 것인데, 상호 연관된 두 변수가 있을 경우 하나의 특징으로 결합하거나 하나를 삭제해야 한다. 주성분 분석은 상호 연관된 여러 변수를 선형적으로 상호 연관되지 않은 변수들의 집합으로 변환하는데 사용된다. 또한, 새로운 특징을 구축하거나 특징 벡터의 차원을 축소하기 위해 다양한 변환 방법이 사용된다. 예를 들어 Year of Death에서 Year of Birth를 빼면 수명 및 사망 분석을 위한 주요 독립 변수인 Age at Death를 구축할 수 있다. 특징 구축은 때로는 명확하지 않을 수도 있다.

2021 제10회 대한민국 교육기부 박람회 4일차 [경제‧금융 교육의 날]

일반적인 머신러닝 알고리즘

일반적인 머신러닝 알고리즘은 선형 회귀와 로지스틱 회귀부터 심층 신경망 및 앙상블(다른 모델의 조합)에 이르기까지 수십 가지가 있지만 가장 일반적인 알고리즘은 다음과 같다. 선형 회귀 또는 최소 제곱 회귀는 숫자 데이터를 처리하는 알고리즘이다. 로지스틱 회귀는 이진 분류에 사용되는 알고리즘이다. 선형 판별 분석은 다중 범주 분류를 위한 알고리즘이다. 결정 트리는 분류와 회귀에 사용되는 알고리즘이다. 나이브 베이즈는 분류와 회귀에 사용되는 알고리즘이다. K-최근접 이웃(KNN)은 분류와 회귀를 위한 알고리즘이다. 학습 벡터 양자화(LVQ)는 분류와 회귀에 사용된다. 서포트 벡터 머신(SVM)은 이진 분류에 사용되는 알고리즘이다. 랜덤 포레스트는 “배깅” 앙상블 알고리즘의 한 유형이다. 부스팅 방법에는 AdaBoost 및 XGBoost 포함되며, 일련의 모델을 생성하는 앙상블 알고리즘이다. 신경망과 심층 신경망은 GPU 또는 다른 특수한 하드웨어가 필요하며, 주로 이미지 분류, 음성 인식과 같은 특수한 문제에 사용된다. “심층”은 신경망 안에 숨겨진 계층이 많음을 의미한다. 추가적인 내용은 “딥러닝의 진정한 의미”를 참고하면 된다.

2021 제10회 대한민국 교육기부 박람회 1123 01 개막식

머신러닝 알고리즘의 초매개변수는 머신러닝 알고리즘이 예측된 값이나 클래스에 영향을 미치는 각 독립 변수의 최적 가중치를 찾는 데 사용되는 변수입니다. 매개변수가 아닌 초매개변수로 불리는 이유는 이 변수들이 알고리즘의 작동을 제어하기 때문입니다. 가장 중요한 초매개변수 중 하나는 학습률입니다. 학습률은 최적화 과정에서 다음에 시도할 가중치 집합을 찾을 때 사용하는 단계 크기를 결정합니다. 학습률이 너무 높으면 경사 하강이 실수로 평지 또는 비최적 지점에 빠르게 수렴할 수 있고, 학습률이 너무 낮으면 경사 하강이 정체되어 완전한 수렴이 이루어지지 않을 수 있습니다. 다른 많은 일반적인 초매개변수들은 알고리즘에 따라 달라집니다. 대부분의 알고리즘에는 최대 에포크 수나 최대 실행 시간, 에포크간 최소 개선과 같은 중지 매개변수가 포함됩니다. 특정 알고리즘들에는 검색 형태를 제어하는 초매개변수들도 있습니다. 예를 들어 랜덤 포레스트에는 리프당 최소 샘플 수, 최대 깊이, 분할 시 최소 샘플 수, 리프의 최소 가중치 비율 등 총 8가지 초매개변수가 있습니다. 초매개변수 튜닝은 머신러닝에서 매우 중요한 단계이다. 여러 프로덕션 머신러닝 플랫폼은 현재 자동 초매개변수 튜닝 기능을 제공하고 있다. 초매개변수 튜닝을 하기 위해서는 시스템에 변경할 초매개변수와 최적화하고자 하는 메트릭을 알려주어야 한다. 이때 시스템은 가능한 많은 실행 횟수에 걸쳐 이러한 초매개변수를 스윕한다. 그러나 구글 클라우드 초매개변수 튜닝은 텐서플로우 모델에서 적절한 메트릭을 추출하기 때문에 직접 지정할 필요가 없다. 초매개변수 스위핑을 위한 검색 알고리즘에는 베이지안 최적화, 그리드 검색, 무작위 검색의 3가지가 있으며, 베이지안 최적화가 대체로 가장 효율적이다. 하지만 모든 초매개변수를 튜닝하는 것이 항상 최선의 답을 얻을 수 있다는 것은 아니다. 실제로 개인 하드웨어에서 실행하는 경우를 제외하고는 해당 비용이 매우 크고 얻는 이득은 줄어든다. 따라서 자신의 데이터와 선택한 알고리즘에서 가장 중요한 초매개변수를 발견하는 것은 경험을 통해 이루어진다. 자동 머신러닝에서 알고리즘 선택에 대해 이야기할 때, 어떤 알고리즘이나 알고리즘 앙상블이 현재 데이터에 맞는 최선의 모델을 제공할지 아는 방법은 하나밖에 없다. 그래서 모두 시도해 보는 것이다. 가능한 모든 정규화 및 특징 선택까지 시도한다면 조합의 수는 폭발적으로 증가한다. 하지만 모든 것을 수동으로 시도하는 것은 현실적으로 불가능하므로, 당연히 머신러닝 툴 제공업체들은 많은 노력을 기울여 오토ML(AutoML) 시스템을 출시했다. 우수한 시스템은 특징 공학과 알고리즘 및 정규화에 대한 스윕을 결합한다. 최선의 모델에 대한 초매개변수 튜닝은 나중을 위해 남겨두는 경우도 많다. 하지만 특징 공학은 자동화하기 어려운 문제이며, 따라서 어떤 오토ML 시스템은 이 부분을 다루지 않을 수도 있다. 요약하자면, 머신러닝 알고리즘은 머신러닝 퍼즐의 한 조각일 뿐이다. 알고리즘 선택(수동 또는 자동) 외에도 옵티마이저, 데이터 정제, 특징 선택, 특징 정규화, 그리고 선택적으로 초매개변수 튜닝까지 처리해야 한다. 이 모든 부분을 처리하고 데이터에 맞는 모델을 구축했다면, 이제 모델을 배포하고 조건의 변화에 따라 업데이트할 차례다. 프로덕션의 머신러닝 모델을 관리하는 것은 또 다른 문제다. [email protected]

Keywords searched by users: “Ai의 심장” 머신러닝 알고리즘의 핵심 이해

See more: 요약 91 “Ai의 심장” 머신러닝 알고리즘의 이해