본문 바로가기
[크롤링] 네이버 뮤직(naver music) 크롤링 하기 2019. 5. 6. 20:26 안녕하세요! 오늘은 크롤링에 대해 알아보도록 하겠습니다. 현재 지금 활동하고 있는 빅데이터 대외활동 '투빅스'에서 '가사 생성' 관련 팀 프로젝트를 진행하고 있습니다. 그래서 가사 데이터가 필요해 네이버 뮤직을 크롤링했습니다. 인터넷에 검색을 해보니, 음악 사이트 크롤링은 잘 없더라구요ㅠㅠㅠ(네이버 영화는 많은데ㅠㅠ) 그래서 제가 만든 코드를 공유하고자 합니다:) **사용하실때 댓글 남겨주시면 큰 힘이 됩니다!** **전체 코드는 맨 마지막 github 링크에 있습니다** 기회가 되면 크롤링관련 기초 포스팅을 하고자 합니다:) #도입 많고 많은 음악사이트 중에서 네이버 뮤직을 선택한 이유는 네이버 뮤직이 크롤링하기 쉬울 거 같아서 선택했습니다. 네이버뮤직은 아티스트마다 고유 번호를 부여해 페이지를 관리를..
[정보]Naver Clova & SCAI AI Workshop후기 2019. 4. 23. 11:51 지난주 금요일, 서울대학교에서 열리는 AI workshop을 다녀왔습니다. NLP에 관심이 많아서 참가 신청을 하게 되었고 좋은 기회를 얻어 참석할 수 있게 되었습니다:) 김건희 교수님께서 흥미로운 논문 발표를 해주셔서 이에 대해 정리하고자 합니다. 총 2편의 논문에 대해 설명해 주셨고 곧 논문이 출간될 예정이라고 하셨으니, 자세한 내용은 논문을 참조하시면 될 것 같습니다. 논문에 대한 가벼운 리뷰는 1개만 하도록 하겠습니다. 1. Text summarization of Reddit Posts 기존에 요약 생성 모델과 데이터셋에는 큰 결함이 있습니다. 우선, 데이터셋부터 보면, CNN과 타임즈 등 뉴스 데이터는 굉장 formal한 데이터라는 점인데요. 즉 형식이 정해져 있는 데이터입니다. 이런 데이터의 ..
[소개] 블로그 소개 2019. 4. 21. 21:30 우연히 접한 빅데이터 특강에서 빅데이터의 매력에 빠져, 문과생이지만 통계학&코딩을 시작하게 되었습니다. 빅데이터 분석을 본격적으로 시작하게 된지 약 6개월이라는 시간이 흘렀습니다. 그동안 공부하면서 느꼈던 많은 벽이 있었고 블로그에 글을 쓰면서 제 스스로 정리해, 누구나 쉽게 이해 가능하도록 정리하는 것이 제 블로그의 목표 입니다! 그럼 같이 공부해 나가볼까요??! 빅데이터의 문은 언제나 열려 있고 누구나 도전 가능합니다:) '빅데이터분석'에 관심이 있는, '자연어처리'에 관심이 있는 문과생 입니다.
[R] ggplot2에 대해 파헤쳐 보자!!(feat.기초편) 2019. 4. 4. 12:32 많은 사람들이 R에서 시각화 패키지로 'ggplot2'를 사용합니다. 그 이유는 아마 기존 R패키지와는 달리, 예쁜 그래프를 보여줘서 그런거 같습니다. ggplot을 썼구나를 알아채는 대표적인 방법은 뒤에 회색 그리드(격자무늬)가 생긴다는 것입니다. ggplot 패키지의 트레이드 마크죠ㅎㅎ 그럼 이번에는 데이터 분석의 기초이자, 제일 중요한 EDA. EDA 중에서도 ggplot을 이용한 그래프 그리기에 초점을 두겠습니다. 원리만 알면 ggplot 1도 어렵지 않아요!! (진심 x 100000000) ggplot의 가장 큰 특징을 쉬운 말로 표현하면 '쌓는다'라고 보시면 될거 같습니다. 그래서 ggplot의 원리를 알면, 코드를 직관적으로 해석이 가능하고 반대로 원하는 그래프를 쉽게 만들 수 있어서 매우 ..

티스토리툴바