대한조선학회

	February, 2019
[알기 쉬운 전공 에세이] 인공지능과 조선산업으로의 응용

충남대학교 유원선 교수 wsruy@cnu.ac.kr 한국해양대학교 우종훈 교수 jonghun_woo@kmou.ac.kr 최근 들어 인공지능에 관한 관심이 증가하고 조선해양분야에서도 “Smart K-Yard”, “자율운항 선박” 등 고도화된 4차 산업 기술을 산업에 적극적으로 도입하고자 하는 분위기가 조성되고 있다. 이번 기고에서는 저자가 생각하는 인공지능 학계의 4가지의 주요 이슈들인 「앙상블 러닝(ensemble learning)을 이용한 분류 문제의 획기적인 발전」, 「빅데이터 처리가 가능해진 기계학습 기술」, 「큰 반향을 일으키고 있는 강화학습」, 「마지막으로 현 시점에서 모든 기계학습 기술들의 장점을 포함하여 일반인들의 집중 관심을 받고 있는 심층학습」에 관해서 알아보고 조선해양 산업 분야에서의 응용 가능성과 문제점들을 다루어 보고자 한다. 서 론 우리는 오랫동안 컴퓨터에 많은 이론과 규칙을 입력하는 방식으로 문제를 풀어가려고 많은 노력을 해왔다. 하지만 이런 방식으로는 해결되지 않는 일들을 수 없이 많다는 것을 경험했기에 관련 학자들은 다른 방식의 해결 방안을 모색해왔다. 과학자들은 관찰 대상을 식별한 후 실험과 관찰을 통해 데이터를 수집하고 관찰 데이터를 설명할 수 있는 모델을 구성하여 지식화 한다. 이런 과정을 추론이라 하고 특별한 사례들도 일관되게 설명할 수 있는 일반적인 규칙을 찾아가는 과정으로 연구를 진행해 왔다. 하지만 지금은 인간의 능력을 초월하는 복잡성을 가지면서 방대한 데이터를 포함하는 문제들이 산재해 있다. 그래서 방대한 데이터를 분석하고 학습 할 수 있는 접근 방식을 만들어냈고 이를 기계학습(machine learning)이라고 하고, 이를 기술적으로 보면 통계, 확률, 최적화 이론들로 이루어진 조합 알고리즘을 통해 데이터를 기반으로 학습을 통해 인공지능을 구현한다고 볼 수 있다. 한편, 많은 일반인들은 인공지능(artificial intelligence)과 기계학습 그리고 심층학습(deep learning)을 혼용하여 쓰고 있다. 인공지능은 다소 개념적인 의미로 인간의 지능을 컴퓨터로 구현한다는 포괄적인 의미를 가지고 있고 인간의 추리력과 인간처럼 생각하는 컴퓨터를 ‘AI’라 일컫는다. 기계학습은 인공지능을 구현하는 구체적인 기술이라고 할 수 있는데, 기본적으로 데이터에 기반한 학습모델을 생성하고 이를 이용하여 새로운 조건 또는 문제에 대한 판단이나 예측을 한다. 이러한 기계학습 분야에서는 다양한 학습기술들이 개발되어 왔는데, 인공신경망(artificial neural network), SVM(Support Vector Machine) 등을 거쳐서 최근에는 심층학습이 기계학습 기술의 정점으로 각광을 받고 있다. 심층학습은 이전의 다른 기계학습 기술들과는 달리 데이터가 정형화되어 있지 않아도 되고, 심지어 특징 추출 공학(feature engineering) 등과 같은 기법을 사용하여 데이터를 정재하지 않아도 대용량의 데이터를 통해서 이미지 및 음성인식 처리를 인간처럼 구현할 수 있는 장점을 가진다. 기계학습 분야에 사용되는 학습모델은 흔히 지도학습(supervised learning), 비지도 학습(unsupervised learning), 반지도 학습(semi-supervised learning), 강화 학습(reinforced learning)으로 분류되고 있으며 각 분류마다 다양한 학습모델의 발전이 눈부시다. 용어 정리를 위해서 다음과 같은 데이터 테이블의 수학적 정의를 이해할 필요가 있다. 입력데이터는 feature, 독립인자 등 다양하게 불리고 vector 즉 여러 컬럼들의 값으로 조합되고, 해당 vector의 크기(컬럼의 수)는 입력 데이터의 차원(dimension)으로 정의된다. 각 컬럼은 boolean, 실수, 혹은 이산형 유형이 될 수 있으며, 실수형을 제외하면 컴퓨터가 이해할 수 있는 codification이라는 과정을 거치는 것이 필수적이다. 위 식의 N은 사례의 수인데 N이 크면 학습에 사용할 수 있는 사례가 많은 것을 의미한다. N의 수가 크면 맞춰야 하는 사례가 늘어나므로 학습모델의 정확도 측면에서 불리해지며, 과도학습(overfitting)의 우려가 크고 학습모델의 품질 척도가 되는 validation 정확도는 떨어지게 된다. N의 중요성과 함께 꼭 인지해야 하는 것은 컬럼의 수, 즉 차원수이다. 차원수가 크면, 학습모델의 용량을 지칭하는 복잡도(complexity)가 중요해지고 정확한 학습을 위한 N의 수가 늘어날 수밖에 없다. 학습모델이 가진 복잡도보다 N의 수가 너무 적으면 중복해가 다수 발생되고 반대로 N의 수가 너무 크면 상황에 따라 학습모델을 변경해야 한다¹⁾. 차원의 크기를 만족하기 위한 N의 수가 부족함을 뜻하는 ‘차원의 저주(curse of dimensionality)’는 인공지능 기술을 습득하고자하는 연구자는 반드시 숙지해야 한다. 컬럼 수가 너무 많고 사례(N)의 수가 적은 경우는 차원축소 방안도 고려해야 한다. 차원 축소를 위한 다양한 방법들이 있는데 주성분 분석(principal component analysis), 특이값 분해(singular value decomposition) 등의 방법은 입력 정보에서 데이터들 간의 연관성이 뚜렷하여 학습에 고려한 필요가 없는 인자들을 제거하는 통계 방식이다. 선형분별해석(linear discriminant analysis), 의사결정나무(decision tree) 등의 차원 축소 방법들은 종속인자까지 고려한 주요 인자 추출 방법이다. 또 하나 숙지해야 될 사항은 종속변수, 출력값, 라벨(label)의 종류이다. 이 변수의 타입이 boolean이면 분류학습(classification)이라하고 실수 타입이면 선형회귀 학습(regression), 이산형 변수이면 categorical 혹은 multiclassification 학습문제로 정의된다. 한편 labeling, 종속변수가 사례 별로 임의의 차원수를 가지는 문제도 있다. 사진 속에 인간만 있는지 인간과 차가 있는지 인간과 차와 빌딩이 있는지를 식별하는 문제가 여기에 해당된다. 위에서 설명된 내용은 사례들에 답이 존재하는 경우로 지도학습의 범주에 해당한다. 반면 지도학습과 대비되는 비지도 학습은 사용되는 데이터 집합이 인 경우로 종속변수가 존재하지 않는다. 비지도 학습은 인간의 지능은 지도 또는 학습을 위한 가이드와 뚜렷한 해가 없어도 유추 및 판단이 가능한 사고를 할 수 있다는 사실에서 착안한 학습 방법으로 주로 데이터의 주요 특징을 요약하고 설명하는데 사용된다. 군집화(clustering), 오류 검출(error detecting) 등이 여기에 해당된다. 지도학습과 비지도 학습의 중간에 위치하는 반지도학습(Chapelle, et al., 2006)도 활발한 연구가 진행되고 있다. 그중에서도 특히 학습에 이용하는 학습 표본과 실험 표본의 분포가 다른 공변량 시프트(covariate shift)라고 불리는 상황에 대한 연구에 주목할 필요가 있다. 마지막으로 인간의 학습 패턴을 비교적 정확하게 반영하는 강화학습은 본문에서 자세히 소개하고자 한다. 최근 들어 조선분야에서도 다양한 연구가 기계학습이라는 이름으로 진행되고 있다. 조심스럽기는 하지만 2019년 현재까지는 빅데이터, 기계학습 등의 데이터 분석 연구가 본격적으로 진행되었다기보다는 데이터의 축적에 노력해왔다. 조선소에 통신 인프라를 구축하고 적용이 가능한 부분에 모니터링 또는 센싱 장치를 설치하여 공정진척, 자재조달 등의 생산 현장부터 안전관리, 인사관리, 경영관리 등 전사 업무 프로세스에 대한 방대한 데이터와 문서를 축적해오고 있다. 그리고 충분한 데이터와 정보가 확보됨에 따라 자연스럽게 축적된 데이터와 정보를 분석하고 가공하여 의미 있는 인사이트를 얻기 위한 기대와 관심이 증폭되고 있다. 다만, 법률적 가이드라인 부재, 노사 협의 문제, 경직된 사고의 한계 등으로 관련 연구가 충분한 동력을 얻고 있지 못하는 부분은 극복해야 할 문제로 남아있다. 본 기고문에서는 조선분야에서 인공지능 기법을 사용한 다양한 연구 및 논문을 리스트해보고 저자가 생각하는 인공지능 분야의 이슈를 나열하여 해당 분야에 입문하는 학생들이 관심 있게 학습해야 하는 부분을 4가지로 나눠서 강조하려 한다. 기고 분량의 한계로 자세한 설명을 동반하기는 어렵지만 키워드 중심으로, 공개된 웹사이트, 논문 등을 찾아 학습한다면 효과적인 접근이 가능할 것으로 믿는다. 조선분야에서 발표된 연구 인공지능의 범위를 과학의 영역으로 확장을 하면 튜링이 ‘Computing Machinery and Intelligence’를 발표한 1950년대로 거슬러 올라가야 하겠지만, 현재 전산업계의 트렌드와 미래가 되어 가고 있는 응용 영역으로 한정을 한다면 조선 분야에서도 비슷한 시기부터 관련 연구 결과가 발표되고 있다. 표 1에서는 선박(ship), 선박건조(shipbuilding), 인공지능(artificial intelligence), 기계학습(machine learning), 빅데이터(big data) 등의 키워드로 조사한 연구 사례를 보이고 있다. 모든 학술지를 대상으로 한 조사는 아니였기 때문에 누락된 관련 연과들은 많을 것으로 추정되지만 대략적인 흐름은 확인할 수 있다. 인공지능, 기계학습 등의 기술을 적용하기 위해서는 데이터의 유무가 중요한 조건이기 때문에 선박의 운항과 관련된 관련 연구가 가장 많이 수행되었다는 것을 알 수 있다. 선박이 운항되는 동안 축적되는 다양한 데이터를 이용하여 이미지 분석을 통한 충돌 회피, 다양한 운항 조건을 고려한 최적 항로 결정, 설비 데이터 분석을 통한 예지보존 등의 연구들이 활발하게 이루어지고 있다. 또한, 설계 및 생산 영역에서도 방대한 선박의 물량을 정교하게 예측한다던가 생산 현장에서의 관리 시간을 체계적으로 관리하기 위한 영역에서도 연구가 이루어지고 있다. Table 1. 조선해양 분야 인공지능 관련 연구 사례 인공지능 분야에 주요한 이슈들 1. 앙상블 학습(ensemble learning) 기계학습에는 “Free lunch theory”라는 것이 있다. 하나의 학습 모델로 모든 데이터 집합에 관한 정확도를 좋게 하는 절대적인 이론과 방법은 없다는 것인데, 그 예외가 앙상블 학습이 아닌가 싶다. 그 정도로 지도학습 분야에 앙상블 학습을 적용하면 정밀도(accuracy), 정확도(precision)가 높아진다. 참고로 지도학습의 분류기준으로 말하자면, 정밀도는 전체 테스트 셋(N)에서 예측이 맞은 수(TP+TN²⁾)의 비율이고, 정확도는 테스트 셋에서 True인 사례 중에 TP의 비율이다. 물론 해당 문제의 특성에 따라 다를 수는 있지만 일반적으로 정확도 측면보다는 정밀도가 더 의미 있는 기준이라고 할 수 있다. 예를 들어 화면을 통해서 화재를 감지하는 시스템이 있다고 가정했을 때 대부분이 화재 발생이 나지 않는 사례가 많은 것인데 기계학습 예측기가 negative만 예상하더라도 큰 정확도를 가지게되어 시스템 성능을 과장하게 될 수 있다. 이러한 시스템의 평가는 positive 예측에 정밀도를 기준으로 평가하는 것이 합리적이다. 앙상블 학습은 여러 개의 동종 혹은 다종의 학습모델(weak learner)을 나열하고 이들의 가중(weighted) 혹은 비가중(unweighted)에 대해 투표(voting) 하는 방식으로 작동한다. 참고로 classification은 과반수 투표로 결정되고 regression은 평균값으로 예측값을 정한다. 독자들은 집단 지성이란 말에 친숙할지 모르겠다. 집단 지성에서는 특별한 개개인의 실수가 자연스럽게 보상되는 장점을 가진다. 하나의 특별한 학습모델에 의존하지 않고 다수결 원칙으로 지도학습의 분류기를 구성한다면 어떤 장점을 가질 수 있는지 binomial 분포를 가지는 단순한 예제를 들어 설명해 본다. 화면을 통해 화재의 발생 여부를 판단하는 예측기가 있다고 가정해 본다. n개의 학습모델이 있다고 가정하고 이들의 틀릴 확률(false)을 라고 하자. n개 학습모델 중에 동시에 n/2 초과로 틀릴 확률은 binomial 분포를 따르므로 다음과 같다. 여기서 y/* 는 예측기가 해당 사례(x)에 틀린 답을 지칭한다. n의 수가 크고p , 즉 학습모델의 오류 확률이 0.5³⁾보다만 충분히 작다면 예시로 든 앙상블 학습의 오류 확률은 단일 학습모델의 확률보다 비교할 수 없을 정도로 작아진다는 것을 쉽게 알 수 있다. 만일 학습기가 10개(n)고 각 학습기의 오류 확률(p)이 0.1라고하면 은 무려 1.47e-4로 줄어든다. 개별적인 학습모델 오류 확률 0.1과 비교하면 앙상블 학습모델과 비교대상이 아님을 알 수 있다. 참고로 앙상블 학습모델에서 사용되는 학습모델의 개수는 쉽게 100개를 넘어선다. 앙상블 모델이 왜 단일 학습모델보다 뛰어난가에 관한 더 많은 이유는 Dietterich(2000)에 잘 나와 있다. 앙상블 학습 모델은 크게 stacking, bagging, boosting기법들이 있는데 비복원 추출 기법을 사용하고 대표적인 기법으로는 random Forrest와 ada-boosting 기법이 많이 사용된다. 2. 빅데이터 처리를 가능케 하는 기법들 서론에서 데이터 집합의 종류를 언급한 적 있다. 상상할 수 없을 정도로 많은 사례를 가진 문제(IoT 기기에서 매초마다 기계 상태값을 배출하는 경우), 셀 수 없이 많은 차원수를 가지는 문제(IoT가 달린 설비가 조선소에 아주 많은 경우), 종속변수의 종류가 많은 문제(중국 한자를 인식하는 Text 인식기)들은 기계학습의 발전을 더디게 하는 주요 요인이었다. 본 기고에서는 random forest와 Stochastic Gradient Descent(SGD)를 언급하려고 한다. 앙상블 학습을 소개한 전 장에도 등장했던 random forest⁴⁾는 데이터를 분산 및 병렬처리 한다는 측면에서 다른 기법들과 비해 한 단계 앞선 알고리즘이다. 많은 사례(N)를 가지는 학습데이터 중에 랜덤 샘플링하여 다수의 결정 트리를 만들고 만들어진 결정트리들의 결과를 모아 다수결로 최종 결과를 도출하는 전형적인 bagging 기법이다. 랜덤 샘플링은 복원 추출 방식이고 컬럼의 선택도 임의성을 가진다. 기계학습의 대표적인 기법으로 인공신경망이 있는데 이는 절점과 절점들 간의 연결 가중치로 문제 구성을 한다. 연결 가중치의 업데이트 과정이 학습과정이라 할 수 있는데 역전파 기법(back-propagation)을 통해 해로 접근한다. 이러한 과정을 epoch 수만큼 진행하면서 오류함수를 최소화시킨다. 문제는 한번의 epoch 과정을 수행하기 위해서 모든 사례들을 다 사용하고 이러한 이유로 사례 수(N)가 큰 경우 너무 큰 계산비용이 소모된다. 따라서 각 epoch 당 모든 사례 데이터를 적용하지 않고 임의로 선정한 일부 사례들(subset sample)만 학습에 참여하게 하는 방법이 SGD(Song, 2018)이다. 우선 사례 전체를 batch 단위로 나눠서 각 epoch 계산에 참여시키는 방식인데 이것이 정확도 측면에서는 한 번에 모든 사례를 학습하는 것보다 다소 떨어질 수 있지만 시간 및 메모리 점유 측면에서 실용적/현실적인 접근방법이다. Fig. 1 Basic concept of random forrest 비슷한 계념으로 “drop out”, “regularization”도 언급하고자 한다. 인공신경망을 비롯한 전통적인 기계학습의 최대 단점은 학습 사례(training set)는 잘 맞출 수 있지만 정작 중요한 미래에 도래할 검증 사례가 잘 맞지 않는 경우가 많고 이를 일반화(generalization)을 저해하는 과도학습(overfitting)이라 한다. Drop out 기법은 신경망의 절점의 참여를 확률적으로 제안하는 방안이고 regularization은 오류함수에 라그라지안 항을 추가하여 최적화 문제의 목적함수를 개선하는 방식이다. 3. 강화학습 강화학습은 소개한 기계학습 방법들과는 근본 원리를 달리한다. 지도/비지도 학습 등은 사례 데이터의 확보로 이후 일들이 진행되지만 강화학습은 일반적으로 시뮬레이터를 동반하여 스스로 데이터를 생성해 가면서 학습한다. 즉 에이전트(agent)와 환경(environment)이 주어지면 에이전트가 주어진 환경에서 어떤 행동을 하면서 직접 데이터를 수집한다. 에이전트는 현재 상태(state)에서 행동(action)을 취하고 이에 대한 보상(reward)를 얻는다. 원래 강화학습은 동적계획(DP: Dynamic Programming)에서 발전해 왔다. 시간이 연관된 문제를 작은 단위의 최적화문제로 분해하고 분해된 문제를 Bellman 방정식으로 최적해를 구하는 과정이 DP이다. DP는 최적해를 찾기 위해서 prediction과 control 두 가지로 나뉜다. Prediction은 정책 평가를, control은 정책 개선을 담당한다. 일반적으로 환경과 상태를 MDP(Markov Decision Process)로 나타내는데, 이를 DP의 모델링 과정이라 한다. DP와 강화학습의 차이점은 DP는 환경으로 정의되는 모델의 보상, 상태 변환 확률 등의 상세정보를 알아야 풀 수 있는 model-based 접근을 통해 계획(planning)을 세우는 과정인 반면, 강화학습은 model-free방법으로 학습(learning)의 개념을 가진다. 인공지능에 초심자들이 동역학적 지배 방정식이 명확한 문제에 강화학습을 적용하여 비교하려고 하는데 이는 올바른 접근방식이 아니다. 에이전트가 불확실한 환경과 상호 작용하면서 모델링이 불가능할 정도로 많은 행동 옵션을 가지는 문제에 강화학습을 적용한다면 의미 있는 결과를 도출할 수 있을 것이다. 4. 심층학습 인공지능을 심층학습으로만 오해하는 일반인이 많을 정도로, 심층학습은 인간의 학습능력을 컴퓨터로 구현하기에 적합한 알고리즘이다. 이는 뇌를 모사한 학습 모델로 많은 수의 신경층들(hidden layers)을 쌓음으로써 입력된 데이터가 여러 단계의 특징 추출 과정을 거쳐 자동으로 고수준의 추상적인 지식을 추출하는 과정을 거친다. 기존 다른 기계학습의 사례 수집은 정확성과 효율성 측면에서 feature engineering(특징 추출 공학)이 선행과정으로 중요하였다. 이후 소개된 학습모델로 특징 분류를 하는 과정을 거치는 반면, 심층학습은 특징 추출과 분류를 통합하여 학습한다. 심층학습은 단순히 복잡한 은닉층만을 적층함으로써 문제를 풀어가지 않는다. 단순한 적층 인공신경망은 학습시간만 충분하면 많은 수의 뉴런을 한 층에 배치해도 어떤 문제이던 근사할 수 있다는 것이 이론적으로 입증(universal function approximator)되었다. 심층학습은 이렇게 적층만하는 단순형 인공신경망과 다르다. 심층 신경망은 다음에 소개하는 다양한 기술을 이용하여 차원의 저주, 과다학습 문제, vanishing gradient 문제⁵⁾ 느린 학습 속도 등의 이슈를 해결하고 있다. 핵심기술 #1: 역전파 이론을 개선하여 층별 선훈련(layerwise pre-training)이 DBN(Deep Belief Network)을 통해 제안되었다. 상위층 학습전에 하위층의 시냅스를 미리 학습 시켜두는 방식이다. 이를 통해 vanishing gradient 문제를 극복할 수 있었다. 핵심기술 #2: 컨볼류션 커널을 도입하여 영상 및 소리등의 비정형 데이터의 특징과 표현을 자동으로 추출한다. 파라미터의 개수를 줄여주는 역할을 하여 차원의 수를 자동으로 줄여준다. CNN(Convolution Neural Netwok)에서 주로 사용한다. 과다학습이 방지되며 특징 추출 측면에서 탁월하다. 핵심기술 #3: ReLU(Rectified Linear Unit), 정류 선형 유닛의 등장이다. Sigmoid 활성화 함수와 비교하여 vanishing gradient 문제를 획기적으로 줄여주는 효과를 가진다. 소 결 2016년 3월 9일부터 5일간 진행되었던 이세돌과 알파고의 대결은 오래전부터 긍정론과 회의론이 치열하게 대립되던 인공지능에 대한 중요한 분기점이자 역사적인 사건이 되었다. 계산을 빨리 할 수는 있어도 지능이라는 인간의 고유한 능력을 컴퓨터가 대신할 수는 없을 것이라는 막연한 기대감 (또는 누군가에게는 실망감)이 역전되어 이제는 시간이 필요할 뿐 인간이 할 수 있는 모든 사고와 행동을 컴퓨터와 기계가 능가하게 될 것이라는 명제에 이의를 제기하는 전문가는 거의 없다고 할 수 있다. 인간의 존엄성에 대한 인공지능의 이슈는 사회과학의 역할로 미루고 철저하게 생산적인 측면으로 보면 이러한 인공지능의 발전은 무한한 가능성을 보여주고 있다. 인간이라는 객체가 지니고 있는 물리적인 제품과 무형의 서비스를 제공하는 부가가치 창출 능력에 대하여 인공 지능을 통한 육체 노동의 자동화, 지식 노동의 자동화를 통해 한계 효용성의 덫에 허우적대고 있던 효율성 혁신의 패러다임 변화의 시기에 와 있다고 볼 수 있다. 본 기고에서는 조선 분야 기계학습 연구 진행 상황을 살폈고, 처음 기계학습을 접하는 학생들을 위한 꼭 이해했으면 하는 기술적인 4가지 이슈에 관해서 설명하였다. 인공지능의 조선 분야 활성화를 위해서는 몇 가지 해결해야 하는 문제들이 존재한다. 우선 조선해양 관련 학과에서 인공지능 관련 교육 및 연구가 활성화되어야 할 것으로 보이며, 조선소 및 선박 운항사들은 인공지능 학습에 필요한 다양한 분야에서의 데이터가 공개해야 한다. 보안과 기술적 장애등의 문제는 협의체를 두고 잘 해결될 수 있을 것으로 믿는다. 또한 다양한 기계학습들을 직접 개선하고 발전시키는 것이 조선해양공학 학생들이 주로 해야 할 일은 아닐 것이다. 대신 기계학습 모델들의 장단점과 활용 예를 익히고 경험하여 조선소, 선박 운항사들이 보유하고 있는 데이터 속에 존재하는 다양한 의미를 밖으로 꺼내서 기존의 접근 방식으로는 불가능한 유의미한 일들을 해야 한다. 인공지능의 획기적인 발전이 조선분야에도 적극적으로 활용되어 다양분야의 성과들을 얻을 수 있기를 기원한다. ------------------------------------------------------------------------------------------------------------ 1)이에 관한 VC 이론(Vapnik and Chervonenkis, 2004)을 참고할 만하다. 2)TP: True Positive의 약자, 예측기가 Positive를 출력하였는데 정답인 경우, TN: True Negative의 약자, 예측기가 Negative를 출력하였는데 정답인 경우이다. FP, FN도 있는데 각각 학습모델의 예측이 틀린 경우이다. 3)학습모델의 오류 확률이 0.5란 거의 학습이 안 된 상태를 의미한다. 4)어원 측면에서 Decision Tree(나무)에서 Forrest(숲)으로의 발전이 흥미롭다. 5)최적해를 구하고자 가중치에 관한 편미분을 시도하지만 그 값이 0에 가까워서 더 이상 가중치의 업데이트가 되지 않는 현상이다. 해 수렴이 느려지는데 뉴런 및 은익층의 수가 많은 경우 일반적으로 일어난다. 참고문헌 Chapelle, O., Scholkopf, B., and Zien, A. (2006) Semi-Supervised Learning. MIT Press, Cambridge, MA, USA. Dietterich, T.G. (2000) Ensemble Methods in Machine Learning. First International Workshop of Multiple Classifier Systems, MSC 2000 Cagliari, Italy, June 21-23, pp 1-15. Song, M. (2018) A mean field view of the landscape of two-layer neural networks, Proceedings of the National Academy of Sciences. 115(33) Aug 14. Vapnik, V., Chervonenkis, A. (2004). On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. Theory Probab. Appl., 16(2), 264–280.

충남대학교 유원선 교수
wsruy@cnu.ac.kr

한국해양대학교 우종훈 교수
jonghun_woo@kmou.ac.kr

최근 들어 인공지능에 관한 관심이 증가하고 조선해양분야에서도 “Smart K-Yard”, “자율운항 선박” 등 고도화된 4차 산업 기술을 산업에 적극적으로 도입하고자 하는 분위기가 조성되고 있다. 이번 기고에서는 저자가 생각하는 인공지능 학계의 4가지의 주요 이슈들인 「앙상블 러닝(ensemble learning)을 이용한 분류 문제의 획기적인 발전」, 「빅데이터 처리가 가능해진 기계학습 기술」, 「큰 반향을 일으키고 있는 강화학습」, 「마지막으로 현 시점에서 모든 기계학습 기술들의 장점을 포함하여 일반인들의 집중 관심을 받고 있는 심층학습」에 관해서 알아보고 조선해양 산업 분야에서의 응용 가능성과 문제점들을 다루어 보고자 한다.

서 론

우리는 오랫동안 컴퓨터에 많은 이론과 규칙을 입력하는 방식으로 문제를 풀어가려고 많은 노력을 해왔다. 하지만 이런 방식으로는 해결되지 않는 일들을 수 없이 많다는 것을 경험했기에 관련 학자들은 다른 방식의 해결 방안을 모색해왔다. 과학자들은 관찰 대상을 식별한 후 실험과 관찰을 통해 데이터를 수집하고 관찰 데이터를 설명할 수 있는 모델을 구성하여 지식화 한다. 이런 과정을 추론이라 하고 특별한 사례들도 일관되게 설명할 수 있는 일반적인 규칙을 찾아가는 과정으로 연구를 진행해 왔다. 하지만 지금은 인간의 능력을 초월하는 복잡성을 가지면서 방대한 데이터를 포함하는 문제들이 산재해 있다. 그래서 방대한 데이터를 분석하고 학습 할 수 있는 접근 방식을 만들어냈고 이를 기계학습(machine learning)이라고 하고, 이를 기술적으로 보면 통계, 확률, 최적화 이론들로 이루어진 조합 알고리즘을 통해 데이터를 기반으로 학습을 통해 인공지능을 구현한다고 볼 수 있다.

한편, 많은 일반인들은 인공지능(artificial intelligence)과 기계학습 그리고 심층학습(deep learning)을 혼용하여 쓰고 있다. 인공지능은 다소 개념적인 의미로 인간의 지능을 컴퓨터로 구현한다는 포괄적인 의미를 가지고 있고 인간의 추리력과 인간처럼 생각하는 컴퓨터를 ‘AI’라 일컫는다. 기계학습은 인공지능을 구현하는 구체적인 기술이라고 할 수 있는데, 기본적으로 데이터에 기반한 학습모델을 생성하고 이를 이용하여 새로운 조건 또는 문제에 대한 판단이나 예측을 한다. 이러한 기계학습 분야에서는 다양한 학습기술들이 개발되어 왔는데, 인공신경망(artificial neural network), SVM(Support Vector Machine) 등을 거쳐서 최근에는 심층학습이 기계학습 기술의 정점으로 각광을 받고 있다. 심층학습은 이전의 다른 기계학습 기술들과는 달리 데이터가 정형화되어 있지 않아도 되고, 심지어 특징 추출 공학(feature engineering) 등과 같은 기법을 사용하여 데이터를 정재하지 않아도 대용량의 데이터를 통해서 이미지 및 음성인식 처리를 인간처럼 구현할 수 있는 장점을 가진다.

기계학습 분야에 사용되는 학습모델은 흔히 지도학습(supervised learning), 비지도 학습(unsupervised learning), 반지도 학습(semi-supervised learning), 강화 학습(reinforced learning)으로 분류되고 있으며 각 분류마다 다양한 학습모델의 발전이 눈부시다. 용어 정리를 위해서 다음과 같은 데이터 테이블의 수학적 정의를 이해할 필요가 있다.

입력데이터는 feature, 독립인자 등 다양하게 불리고 vector 즉 여러 컬럼들의 값으로 조합되고, 해당 vector의 크기(컬럼의 수)는 입력 데이터의 차원(dimension)으로 정의된다. 각 컬럼은 boolean, 실수, 혹은 이산형 유형이 될 수 있으며, 실수형을 제외하면 컴퓨터가 이해할 수 있는 codification이라는 과정을 거치는 것이 필수적이다. 위 식의 N은 사례의 수인데 N이 크면 학습에 사용할 수 있는 사례가 많은 것을 의미한다. N의 수가 크면 맞춰야 하는 사례가 늘어나므로 학습모델의 정확도 측면에서 불리해지며, 과도학습(overfitting)의 우려가 크고 학습모델의 품질 척도가 되는 validation 정확도는 떨어지게 된다.

N의 중요성과 함께 꼭 인지해야 하는 것은 컬럼의 수, 즉 차원수이다. 차원수가 크면, 학습모델의 용량을 지칭하는 복잡도(complexity)가 중요해지고 정확한 학습을 위한 N의 수가 늘어날 수밖에 없다. 학습모델이 가진 복잡도보다 N의 수가 너무 적으면 중복해가 다수 발생되고 반대로 N의 수가 너무 크면 상황에 따라 학습모델을 변경해야 한다¹⁾. 차원의 크기를 만족하기 위한 N의 수가 부족함을 뜻하는 ‘차원의 저주(curse of dimensionality)’는 인공지능 기술을 습득하고자하는 연구자는 반드시 숙지해야 한다. 컬럼 수가 너무 많고 사례(N)의 수가 적은 경우는 차원축소 방안도 고려해야 한다. 차원 축소를 위한 다양한 방법들이 있는데 주성분 분석(principal component analysis), 특이값 분해(singular value decomposition) 등의 방법은 입력 정보에서 데이터들 간의 연관성이 뚜렷하여 학습에 고려한 필요가 없는 인자들을 제거하는 통계 방식이다. 선형분별해석(linear discriminant analysis), 의사결정나무(decision tree) 등의 차원 축소 방법들은 종속인자까지 고려한 주요 인자 추출 방법이다.

또 하나 숙지해야 될 사항은 종속변수, 출력값, 라벨(label)의 종류이다. 이 변수의 타입이 boolean이면 분류학습(classification)이라하고 실수 타입이면 선형회귀 학습(regression), 이산형 변수이면 categorical 혹은 multiclassification 학습문제로 정의된다. 한편 labeling, 종속변수가 사례 별로 임의의 차원수를 가지는 문제도 있다. 사진 속에 인간만 있는지 인간과 차가 있는지 인간과 차와 빌딩이 있는지를 식별하는 문제가 여기에 해당된다.

위에서 설명된 내용은 사례들에 답이 존재하는 경우로 지도학습의 범주에 해당한다. 반면 지도학습과 대비되는 비지도 학습은 사용되는 데이터 집합이 인 경우로 종속변수가 존재하지 않는다. 비지도 학습은 인간의 지능은 지도 또는 학습을 위한 가이드와 뚜렷한 해가 없어도 유추 및 판단이 가능한 사고를 할 수 있다는 사실에서 착안한 학습 방법으로 주로 데이터의 주요 특징을 요약하고 설명하는데 사용된다. 군집화(clustering), 오류 검출(error detecting) 등이 여기에 해당된다.

지도학습과 비지도 학습의 중간에 위치하는 반지도학습(Chapelle, et al., 2006)도 활발한 연구가 진행되고 있다. 그중에서도 특히 학습에 이용하는 학습 표본과 실험 표본의 분포가 다른 공변량 시프트(covariate shift)라고 불리는 상황에 대한 연구에 주목할 필요가 있다.

마지막으로 인간의 학습 패턴을 비교적 정확하게 반영하는 강화학습은 본문에서 자세히 소개하고자 한다.

최근 들어 조선분야에서도 다양한 연구가 기계학습이라는 이름으로 진행되고 있다. 조심스럽기는 하지만 2019년 현재까지는 빅데이터, 기계학습 등의 데이터 분석 연구가 본격적으로 진행되었다기보다는 데이터의 축적에 노력해왔다. 조선소에 통신 인프라를 구축하고 적용이 가능한 부분에 모니터링 또는 센싱 장치를 설치하여 공정진척, 자재조달 등의 생산 현장부터 안전관리, 인사관리, 경영관리 등 전사 업무 프로세스에 대한 방대한 데이터와 문서를 축적해오고 있다. 그리고 충분한 데이터와 정보가 확보됨에 따라 자연스럽게 축적된 데이터와 정보를 분석하고 가공하여 의미 있는 인사이트를 얻기 위한 기대와 관심이 증폭되고 있다. 다만, 법률적 가이드라인 부재, 노사 협의 문제, 경직된 사고의 한계 등으로 관련 연구가 충분한 동력을 얻고 있지 못하는 부분은 극복해야 할 문제로 남아있다.

본 기고문에서는 조선분야에서 인공지능 기법을 사용한 다양한 연구 및 논문을 리스트해보고 저자가 생각하는 인공지능 분야의 이슈를 나열하여 해당 분야에 입문하는 학생들이 관심 있게 학습해야 하는 부분을 4가지로 나눠서 강조하려 한다. 기고 분량의 한계로 자세한 설명을 동반하기는 어렵지만 키워드 중심으로, 공개된 웹사이트, 논문 등을 찾아 학습한다면 효과적인 접근이 가능할 것으로 믿는다.

조선분야에서 발표된 연구

인공지능의 범위를 과학의 영역으로 확장을 하면 튜링이 ‘Computing Machinery and Intelligence’를 발표한 1950년대로 거슬러 올라가야 하겠지만, 현재 전산업계의 트렌드와 미래가 되어 가고 있는 응용 영역으로 한정을 한다면 조선 분야에서도 비슷한 시기부터 관련 연구 결과가 발표되고 있다.

표 1에서는 선박(ship), 선박건조(shipbuilding), 인공지능(artificial intelligence), 기계학습(machine learning), 빅데이터(big data) 등의 키워드로 조사한 연구 사례를 보이고 있다. 모든 학술지를 대상으로 한 조사는 아니였기 때문에 누락된 관련 연과들은 많을 것으로 추정되지만 대략적인 흐름은 확인할 수 있다.

인공지능, 기계학습 등의 기술을 적용하기 위해서는 데이터의 유무가 중요한 조건이기 때문에 선박의 운항과 관련된 관련 연구가 가장 많이 수행되었다는 것을 알 수 있다. 선박이 운항되는 동안 축적되는 다양한 데이터를 이용하여 이미지 분석을 통한 충돌 회피, 다양한 운항 조건을 고려한 최적 항로 결정, 설비 데이터 분석을 통한 예지보존 등의 연구들이 활발하게 이루어지고 있다. 또한, 설계 및 생산 영역에서도 방대한 선박의 물량을 정교하게 예측한다던가 생산 현장에서의 관리 시간을 체계적으로 관리하기 위한 영역에서도 연구가 이루어지고 있다.

Table 1. 조선해양 분야 인공지능 관련 연구 사례

인공지능 분야에 주요한 이슈들

1. 앙상블 학습(ensemble learning)

기계학습에는 “Free lunch theory”라는 것이 있다. 하나의 학습 모델로 모든 데이터 집합에 관한 정확도를 좋게 하는 절대적인 이론과 방법은 없다는 것인데, 그 예외가 앙상블 학습이 아닌가 싶다. 그 정도로 지도학습 분야에 앙상블 학습을 적용하면 정밀도(accuracy), 정확도(precision)가 높아진다. 참고로 지도학습의 분류기준으로 말하자면, 정밀도는 전체 테스트 셋(N)에서 예측이 맞은 수(TP+TN²⁾)의 비율이고, 정확도는 테스트 셋에서 True인 사례 중에 TP의 비율이다. 물론 해당 문제의 특성에 따라 다를 수는 있지만 일반적으로 정확도 측면보다는 정밀도가 더 의미 있는 기준이라고 할 수 있다. 예를 들어 화면을 통해서 화재를 감지하는 시스템이 있다고 가정했을 때 대부분이 화재 발생이 나지 않는 사례가 많은 것인데 기계학습 예측기가 negative만 예상하더라도 큰 정확도를 가지게되어 시스템 성능을 과장하게 될 수 있다. 이러한 시스템의 평가는 positive 예측에 정밀도를 기준으로 평가하는 것이 합리적이다. 앙상블 학습은 여러 개의 동종 혹은 다종의 학습모델(weak learner)을 나열하고 이들의 가중(weighted) 혹은 비가중(unweighted)에 대해 투표(voting) 하는 방식으로 작동한다. 참고로 classification은 과반수 투표로 결정되고 regression은 평균값으로 예측값을 정한다.

독자들은 집단 지성이란 말에 친숙할지 모르겠다. 집단 지성에서는 특별한 개개인의 실수가 자연스럽게 보상되는 장점을 가진다. 하나의 특별한 학습모델에 의존하지 않고 다수결 원칙으로 지도학습의 분류기를 구성한다면 어떤 장점을 가질 수 있는지 binomial 분포를 가지는 단순한 예제를 들어 설명해 본다. 화면을 통해 화재의 발생 여부를 판단하는 예측기가 있다고 가정해 본다. n개의 학습모델이 있다고 가정하고 이들의 틀릴 확률(false)을 라고 하자. n개 학습모델 중에 동시에 n/2 초과로 틀릴 확률은 binomial 분포를 따르므로 다음과 같다. 여기서 y/* 는 예측기가 해당 사례(x)에 틀린 답을 지칭한다.

n의 수가 크고p , 즉 학습모델의 오류 확률이 0.5³⁾보다만 충분히 작다면 예시로 든 앙상블 학습의 오류 확률은 단일 학습모델의 확률보다 비교할 수 없을 정도로 작아진다는 것을 쉽게 알 수 있다. 만일 학습기가 10개(n)고 각 학습기의 오류 확률(p)이 0.1라고하면
은 무려 1.47e-4로 줄어든다. 개별적인 학습모델 오류 확률 0.1과 비교하면 앙상블 학습모델과 비교대상이 아님을 알 수 있다. 참고로 앙상블 학습모델에서 사용되는 학습모델의 개수는 쉽게 100개를 넘어선다. 앙상블 모델이 왜 단일 학습모델보다 뛰어난가에 관한 더 많은 이유는 Dietterich(2000)에 잘 나와 있다. 앙상블 학습 모델은 크게 stacking, bagging, boosting기법들이 있는데 비복원 추출 기법을 사용하고 대표적인 기법으로는 random Forrest와 ada-boosting 기법이 많이 사용된다.

2. 빅데이터 처리를 가능케 하는 기법들

서론에서 데이터 집합의 종류를 언급한 적 있다. 상상할 수 없을 정도로 많은 사례를 가진 문제(IoT 기기에서 매초마다 기계 상태값을 배출하는 경우), 셀 수 없이 많은 차원수를 가지는 문제(IoT가 달린 설비가 조선소에 아주 많은 경우), 종속변수의 종류가 많은 문제(중국 한자를 인식하는 Text 인식기)들은 기계학습의 발전을 더디게 하는 주요 요인이었다. 본 기고에서는 random forest와 Stochastic Gradient Descent(SGD)를 언급하려고 한다. 앙상블 학습을 소개한 전 장에도 등장했던 random forest⁴⁾는 데이터를 분산 및 병렬처리 한다는 측면에서 다른 기법들과 비해 한 단계 앞선 알고리즘이다. 많은 사례(N)를 가지는 학습데이터 중에 랜덤 샘플링하여 다수의 결정 트리를 만들고 만들어진 결정트리들의 결과를 모아 다수결로 최종 결과를 도출하는 전형적인 bagging 기법이다. 랜덤 샘플링은 복원 추출 방식이고 컬럼의 선택도 임의성을 가진다.

기계학습의 대표적인 기법으로 인공신경망이 있는데 이는 절점과 절점들 간의 연결 가중치로 문제 구성을 한다. 연결 가중치의 업데이트 과정이 학습과정이라 할 수 있는데 역전파 기법(back-propagation)을 통해 해로 접근한다. 이러한 과정을 epoch 수만큼 진행하면서 오류함수를 최소화시킨다. 문제는 한번의 epoch 과정을 수행하기 위해서 모든 사례들을 다 사용하고 이러한 이유로 사례 수(N)가 큰 경우 너무 큰 계산비용이 소모된다. 따라서 각 epoch 당 모든 사례 데이터를 적용하지 않고 임의로 선정한 일부 사례들(subset sample)만 학습에 참여하게 하는 방법이 SGD(Song, 2018)이다. 우선 사례 전체를 batch 단위로 나눠서 각 epoch 계산에 참여시키는 방식인데 이것이 정확도 측면에서는 한 번에 모든 사례를 학습하는 것보다 다소 떨어질 수 있지만 시간 및 메모리 점유 측면에서 실용적/현실적인 접근방법이다.

Fig. 1 Basic concept of random forrest

비슷한 계념으로 “drop out”, “regularization”도 언급하고자 한다. 인공신경망을 비롯한 전통적인 기계학습의 최대 단점은 학습 사례(training set)는 잘 맞출 수 있지만 정작 중요한 미래에 도래할 검증 사례가 잘 맞지 않는 경우가 많고 이를 일반화(generalization)을 저해하는 과도학습(overfitting)이라 한다. Drop out 기법은 신경망의 절점의 참여를 확률적으로 제안하는 방안이고 regularization은 오류함수에 라그라지안 항을 추가하여 최적화 문제의 목적함수를 개선하는 방식이다.

3. 강화학습

강화학습은 소개한 기계학습 방법들과는 근본 원리를 달리한다. 지도/비지도 학습 등은 사례 데이터의 확보로 이후 일들이 진행되지만 강화학습은 일반적으로 시뮬레이터를 동반하여 스스로 데이터를 생성해 가면서 학습한다. 즉 에이전트(agent)와 환경(environment)이 주어지면 에이전트가 주어진 환경에서 어떤 행동을 하면서 직접 데이터를 수집한다. 에이전트는 현재 상태(state)에서 행동(action)을 취하고 이에 대한 보상(reward)를 얻는다. 원래 강화학습은 동적계획(DP: Dynamic Programming)에서 발전해 왔다. 시간이 연관된 문제를 작은 단위의 최적화문제로 분해하고 분해된 문제를 Bellman 방정식으로 최적해를 구하는 과정이 DP이다. DP는 최적해를 찾기 위해서 prediction과 control 두 가지로 나뉜다. Prediction은 정책 평가를, control은 정책 개선을 담당한다. 일반적으로 환경과 상태를 MDP(Markov Decision Process)로 나타내는데, 이를 DP의 모델링 과정이라 한다. DP와 강화학습의 차이점은 DP는 환경으로 정의되는 모델의 보상, 상태 변환 확률 등의 상세정보를 알아야 풀 수 있는 model-based 접근을 통해 계획(planning)을 세우는 과정인 반면, 강화학습은 model-free방법으로 학습(learning)의 개념을 가진다. 인공지능에 초심자들이 동역학적 지배 방정식이 명확한 문제에 강화학습을 적용하여 비교하려고 하는데 이는 올바른 접근방식이 아니다. 에이전트가 불확실한 환경과 상호 작용하면서 모델링이 불가능할 정도로 많은 행동 옵션을 가지는 문제에 강화학습을 적용한다면 의미 있는 결과를 도출할 수 있을 것이다.

4. 심층학습

인공지능을 심층학습으로만 오해하는 일반인이 많을 정도로, 심층학습은 인간의 학습능력을 컴퓨터로 구현하기에 적합한 알고리즘이다. 이는 뇌를 모사한 학습 모델로 많은 수의 신경층들(hidden layers)을 쌓음으로써 입력된 데이터가 여러 단계의 특징 추출 과정을 거쳐 자동으로 고수준의 추상적인 지식을 추출하는 과정을 거친다. 기존 다른 기계학습의 사례 수집은 정확성과 효율성 측면에서 feature engineering(특징 추출 공학)이 선행과정으로 중요하였다. 이후 소개된 학습모델로 특징 분류를 하는 과정을 거치는 반면, 심층학습은 특징 추출과 분류를 통합하여 학습한다. 심층학습은 단순히 복잡한 은닉층만을 적층함으로써 문제를 풀어가지 않는다. 단순한 적층 인공신경망은 학습시간만 충분하면 많은 수의 뉴런을 한 층에 배치해도 어떤 문제이던 근사할 수 있다는 것이 이론적으로 입증(universal function approximator)되었다. 심층학습은 이렇게 적층만하는 단순형 인공신경망과 다르다. 심층 신경망은 다음에 소개하는 다양한 기술을 이용하여 차원의 저주, 과다학습 문제, vanishing gradient 문제⁵⁾ 느린 학습 속도 등의 이슈를 해결하고 있다.

핵심기술 #1: 역전파 이론을 개선하여 층별 선훈련(layerwise pre-training)이 DBN(Deep Belief Network)을 통해 제안되었다. 상위층 학습전에 하위층의 시냅스를 미리 학습 시켜두는 방식이다. 이를 통해 vanishing gradient 문제를 극복할 수 있었다.

핵심기술 #2: 컨볼류션 커널을 도입하여 영상 및 소리등의 비정형 데이터의 특징과 표현을 자동으로 추출한다. 파라미터의 개수를 줄여주는 역할을 하여 차원의 수를 자동으로 줄여준다. CNN(Convolution Neural Netwok)에서 주로 사용한다. 과다학습이 방지되며 특징 추출 측면에서 탁월하다.

핵심기술 #3: ReLU(Rectified Linear Unit), 정류 선형 유닛의 등장이다. Sigmoid 활성화 함수와 비교하여 vanishing gradient 문제를 획기적으로 줄여주는 효과를 가진다.

소 결

2016년 3월 9일부터 5일간 진행되었던 이세돌과 알파고의 대결은 오래전부터 긍정론과 회의론이 치열하게 대립되던 인공지능에 대한 중요한 분기점이자 역사적인 사건이 되었다. 계산을 빨리 할 수는 있어도 지능이라는 인간의 고유한 능력을 컴퓨터가 대신할 수는 없을 것이라는 막연한 기대감 (또는 누군가에게는 실망감)이 역전되어 이제는 시간이 필요할 뿐 인간이 할 수 있는 모든 사고와 행동을 컴퓨터와 기계가 능가하게 될 것이라는 명제에 이의를 제기하는 전문가는 거의 없다고 할 수 있다.

인간의 존엄성에 대한 인공지능의 이슈는 사회과학의 역할로 미루고 철저하게 생산적인 측면으로 보면 이러한 인공지능의 발전은 무한한 가능성을 보여주고 있다. 인간이라는 객체가 지니고 있는 물리적인 제품과 무형의 서비스를 제공하는 부가가치 창출 능력에 대하여 인공 지능을 통한 육체 노동의 자동화, 지식 노동의 자동화를 통해 한계 효용성의 덫에 허우적대고 있던 효율성 혁신의 패러다임 변화의 시기에 와 있다고 볼 수 있다.

본 기고에서는 조선 분야 기계학습 연구 진행 상황을 살폈고, 처음 기계학습을 접하는 학생들을 위한 꼭 이해했으면 하는 기술적인 4가지 이슈에 관해서 설명하였다. 인공지능의 조선 분야 활성화를 위해서는 몇 가지 해결해야 하는 문제들이 존재한다. 우선 조선해양 관련 학과에서 인공지능 관련 교육 및 연구가 활성화되어야 할 것으로 보이며, 조선소 및 선박 운항사들은 인공지능 학습에 필요한 다양한 분야에서의 데이터가 공개해야 한다. 보안과 기술적 장애등의 문제는 협의체를 두고 잘 해결될 수 있을 것으로 믿는다. 또한 다양한 기계학습들을 직접 개선하고 발전시키는 것이 조선해양공학 학생들이 주로 해야 할 일은 아닐 것이다. 대신 기계학습 모델들의 장단점과 활용 예를 익히고 경험하여 조선소, 선박 운항사들이 보유하고 있는 데이터 속에 존재하는 다양한 의미를 밖으로 꺼내서 기존의 접근 방식으로는 불가능한 유의미한 일들을 해야 한다. 인공지능의 획기적인 발전이 조선분야에도 적극적으로 활용되어 다양분야의 성과들을 얻을 수 있기를 기원한다.

------------------------------------------------------------------------------------------------------------

1)이에 관한 VC 이론(Vapnik and Chervonenkis, 2004)을 참고할 만하다.
2)TP: True Positive의 약자, 예측기가 Positive를 출력하였는데 정답인 경우, TN: True Negative의 약자, 예측기가 Negative를 출력하였는데 정답인 경우이다. FP, FN도 있는데 각각 학습모델의 예측이 틀린 경우이다.
3)학습모델의 오류 확률이 0.5란 거의 학습이 안 된 상태를 의미한다.
4)어원 측면에서 Decision Tree(나무)에서 Forrest(숲)으로의 발전이 흥미롭다.
5)최적해를 구하고자 가중치에 관한 편미분을 시도하지만 그 값이 0에 가까워서 더 이상 가중치의 업데이트가 되지 않는 현상이다. 해 수렴이 느려지는데 뉴런 및 은익층의 수가 많은 경우 일반적으로 일어난다.

참고문헌

Chapelle, O., Scholkopf, B., and Zien, A. (2006) Semi-Supervised Learning. MIT Press, Cambridge, MA, USA.
Dietterich, T.G. (2000) Ensemble Methods in Machine Learning. First International Workshop of Multiple Classifier Systems, MSC 2000 Cagliari, Italy, June 21-23, pp 1-15.
Song, M. (2018) A mean field view of the landscape of two-layer neural networks, Proceedings of the National Academy of Sciences. 115(33) Aug 14.
Vapnik, V., Chervonenkis, A. (2004). On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. Theory Probab. Appl., 16(2), 264–280.

SNAKZINE

비회원이 작성한 글입니다!