본문 바로가기
[딥러닝] 케라스로 해보는 딥러닝 (keras in R) 2019. 6. 17. 00:48 안녕하세요! 오늘은 케라스를 이용해 Iris data를 분류해도록 하겠습니다!! **********주의********** R에서 Keras를 돌리기 위해서는 아나콘다가 설치되어 있어야 하며, 아나콘다에서 tensorflow가 설치되어 있어야 합니다. R의 콘솔에는 install.packages("keras") 뿐만 아니라 library(keras) install_keras() 이 순서대로 실행시키고, 에러없이 설치가 되어야 합니다. 코드에서 쌓은 레이어는 총 3개이며, 각각은 relu를 activation 함수로 취했습니다. optimizer는 rmsprop으로 했습니다! 전체 코드는 맨 마지막에 있습니다. R에서 케라스를 돌릴 때, 주의해야 할 점은 "input 형태 다듬어주기"입니다. 1. 종속변수는..
[머신러닝]앙상블/배깅/랜덤포레스트/부스팅 차이 2019. 6. 17. 00:48 안녕하세요! 오늘은 헷갈리는 앙상블/배깅/랜덤포레스트/부스팅 의 차이에 대해 알아보도록 하겠습니다! 앙상블 주어진 데이터를 여러개의 서로 다른 예측 모형을 생성한 후, 이러한 예측 모형의 결과를 종합하여 하나의 최종 예측 결과를 도출 데이터관점에서는, 아래와 같습니다. 빨강이냐 파랑이를 분류하는 이진분류 상황을 가정하겠습니다. 각 모델들의 예측값들이 있을 겁니다. 예측값들을 하나로 모은 다음에, 회귀가 목적이라 연속형 변수라면 평균을, 분류 문제면 다수결로 결과를 도출하는 것이 앙상블 입니다! 배깅 배갱의 뜻은 Boostrap aggregation입니다. 즉, boostrap(=복원추출 사용한 표본추출 방법)을 aggregate(통합)하는 것이죠. 그냥 붓스트랩을 여러번 해서, 여러 훈련 세트를 만들고 ..
[딥러닝] why attention 2019. 6. 17. 00:18 안녕하세요! 오늘은 attention을 쓰는 이유에 대해 간략하게 알아보도록 하겠습니다. attention은 sequence data에 흔히 쓰이는 기법입니다. sequence data에 쓰이는 이유는, vanishing gradient 문제 때문입니다. 대표적인 RNN모델의 경우, gradient가 축적해 전달되므로, 뒤로 갈 수록 gradient vanishing/exploding문제가 발생합니다. 이는 long term dependency(장기 의존성)문제를 야기하게 되는데요, 멀리 있는 정보를 잊게 되는 것입니다. attention은 전체를 받지 않고, input의 특정한 부분을 주목하여 바로바로 해결하게 도와주는, encoder와 decoder를 connection해주는 장치라고 보시면 될 것 ..
[머신러닝] 지도학습 vs 비지도학습 2019. 6. 16. 20:56 안녕하세요! 오늘은 머신러닝의 종류에 대해 알아보도록 하겠습니다. 머신러닝은 크게 3가지로 구분될 수 있습니다. -지도학습 -비지도학습 -강화학습 오늘은 강화학습을 제외한, 지도학습과 비지도학습에 대해 간략히 보도록 할게요. 저는 처음에 머신러닝을 배우면서 지도학습???비지도 학습???그게 뭐야??? 정말 헷갈렸어요ㅠㅠ 지도의 의미를 'teaching'으로 받아드리면 좀 수월하실 것 같습니다. 지도학습은 '가르쳐준다'입니다. 예를 들어, 집값을 예측한다고 했을 때, 우리에게 만약 집값의 정보(종속변수=y=정답)이 있다면, 이는 지도학습입니다. 정답지가 존재할 경우, 종속변수가 범주형 자료라면 분류를, 연속형 자료라면 예측이 가능합니다! 비지도 학습은 '가르쳐주지 않는다'입니다. 예를 들어, 고객의 정보만..
[주절주절] 과거를 돌이켜 생각해보면 2019. 6. 15. 22:09 오늘은 과거 이야기를 풀어볼까 합니다. 시험기간이라 그런지 모든게 재미있고 별별 생각이 다 나네요ㅎㅎ 저는 어릴적, 인생의 쓴 맛을 맛보았습니다. 영어 교육에 관심이 많으셨던 부모님 덕분에, 중학생 때 열심히 영어공부를 해서 성남외고에 진학했습니다. 당시에는 제 노력에 대한 보상이라 생각이 들었고 당연히 엄청나게 기뻤습니다. 좋은 친구들 많이 사귀고 공부도 열심히 해서 좋은 대학교 가고 기숙사 생활하면 부모님 통제에서 벗어나 진정한 어른이 될 수 있다는........좋게 말하면 밝은 미래, 철없는 생각만 가득했었죠. 하지만 저는 결론적으로 말씀드리면 실패했습니다. 저는 학교에 적응을 하지 못했습니다. 제가 상상했던, '좋은'친구들은 그곳에 몇 없었고 정말 제 기준, 그 당시 제 눈에는 경쟁을 위해 뭐든지..
[머신러닝] KNN(최근접이웃) in R 2019. 6. 15. 15:51 오늘은 KNN에 대해 알아보도록 하겠습니다. 코드는 맨 마지막에 있습니다. 이론 KNN은 K-Nearest Neighborhood의 약자로, 우리말로 최근접이웃이라고 합니다. knn 알고리즘은 이름에 그 뜻이 다 담겨 있습니다. 말그대로, k개의 이웃을 통해, 새로 들어온 데이터에 대한 라벨을 정하겠다는 뜻입니다. 예를들어, 아래와 같은 상황이 되었다고 가정해보겠습니다. 새로운 데이터(허스키)는 KNN알고리즘에 의해 어느 쪽으로 분류가 될까요?? 만약, K를 1로 정했다면,(가장 가까운 이웃 1개를 보고 라벨을 결정한다면) 새로 들어온 허스키 데이터의 변수의 값과 가장 가까운 이웃 1개를 선택하게 됩니다. 그 결과 가장 가까운 라벨은 고양이네요!! 그럼, 이번에는 보는 이웃의 개수를 더 늘려볼까요? 가장..
[빅데이터] 차원의 저주(The curse of dimensionality) 2019. 6. 12. 02:50 차원의 저주란, *데이터 학습을 위해 차원이 증가하면서 학습데이터 수가 차원의 수보다 적어져 성능이 저하되는 현상. *차원이 증가할 수록 개별 차원 내 학습할 데이터 수가 적어지는(sparse) 현상 발생 *해결책: 차원을 줄이거나(축소시키거나) 데이터를 많이 획득 즉, 간단히 말해서 차원이 증가함에 따라(=변수의 수 증가) 모델의 성능이 안 좋아지는 현상을 의미합니다. 무조건 변수의 수가 증가한다고 해서 차원의 저주 문제가 있는 것이 아니라, 관측치 수보다 변수의 수가 많아지면 발생합니다. (예를들어, 관측치 개수는 200개인데, 변수는 7000개) 왜 이런 현상이 발생할까요? 만약, 변수가 1개인, 1차원을 가정해봅시다. 1차원은 '선'이죠. 선위에 관측치들이 표현될 것 입니다. 제일 왼쪽의 그림처럼..
[R] R Studio가 갑자기 느려질 때 2019. 6. 11. 23:17 제가 이번에 과제를 하느라, R Studio에 keras를 설치하고 딥러닝을 돌리는데, input값을 잘못줘서 r studio가 터져버렸습니다(다시 켰더니 멈춰버렸습니다ㅠㅠㅠㅠ) r studio를 지우고 다시 설치를 했는데도 같은 문제가 발생하더라구요ㅠㅠㅠㅠ 인터넷에서 해결책을 찾다가 공유하고자 합니다:) "Step1" 이렇게 r에서 갑자기 세션이 느려질 경우, 메모리 문제가 대다수라고 합니다. 그래서, R studio에 적재되어 있는 메모리를 없애줄 필요가 있습니다. 이 때의 해결방법은, r studio를 실행시키고 완전히 세션이 오픈될 때까지 기다려주세요.(인내심 필요) 그리고 콘솔창에 밑에 코드를 실행시켜주세요! rm(list=ls()); gc() rm은 remove의 함수고 rm(list=ls()..

티스토리툴바