[자격증] 빅데이터 분석기사 합격 후기 및 공부과정

※ 참고

글 작성 시점에 자격증을 취득하고 시간이 지난 상태이며, 나중에 쓸 일이 있을까 하여 간간히 기록해둔 걸 공유하는 차원에서 작성하는 글이다. 따라서 최대한 자세하게 작성하려고 노력하겠으나 애매한 부분이 있을 수 있다.

 

이전 글에도 썼듯이 ADsP 시험 응시한 다음날부터 바로 빅분기 실기 공부를 시작했다. 대략 3개월 연속으로 통계만 쳐다보려니 익숙해졌을 법한데도 이상하게 용어를 볼 때마다 처음 보는 것처럼 새롭다. 아무튼 나는 R을 쳐다보기도 싫은 사람이기 때문에 파이썬으로 실기시험을 준비했으며 데이터캠퍼스에서 나온 책을 사용했다. 어차피 글 작성 기준으로, 파이썬 교재는 데이터캠퍼스 말곤 없기 때문에 다른 대체제가 없었다.

사진1

 

책의 장점으로는 코드를 어느 정도 읽을 줄 아는 사람이라면 정말 쉽게 이해할 수 있을 정도로 잘 쓰여있다는 점을 들 수 있겠다. 단점은 잘 모르겠지만 책에 오타가 조금 있는 정도인데 딱히 코드에 오타가 있던 것도 아니라서 그냥 봐줄 만한 수준이다.

 

시험에 대한 내 주관적인 생각을 말해보자면 내가 응시한 3회차 빅데이터 분석기사 실기 시험 난이도를 고려해봤을 때, 이 책으로만 공부했어도 빅데이터 분석기사를 취득하는데 문제가 없었을거라고 생각된다. 내가 비록 고득점인 것은 아니지만 시험이 어려웠냐 아니냐를 따지자면 전체적으로 어렵지 않았다.

 

우선 단답형 / 작업형 제1유형 / 작업형 제2유형 세 개의 유형 중 어려웠던 것은 역시 단답형이다. 내가 문제를 공유해줄수는 없지만 어렵다기보다는 애매하게 출제된 문제가 몇 개 있었는데, 그것들을 제외하고라도 정말 난이도가 쉬웠다고 생각한다. 말해봐야 변명이지만 내가 틀렸던 1유형 문제는 전체 데이터에서 일부 데이터만 뽑아서 처리해야 하는데 전체 데이터셋을 그대로 처리해서 제출했다. 단답형 두 개는 무슨 신경망 문제랑 연결법 문제였는데 공부를 제대로 안 했어서 아예 몰랐던 거라서 변명할 수도 없다.

 

물론 내가 필기에서 운이 좋았다고는 하지만 그래도 통계를 아예 몰랐던 내가 집에서 공부만 했던 것도 아니고 인턴 다니면서 설렁설렁 문제집만 풀어도 합격할 정도면 글쎄. 1회차가 어땠는지는 모르겠으나 다음 회차들도 난이도가 3회차와 비슷하다고 가정해보면 이 시험은 기사 치고는 그렇게 어려운 난이도가 아니라고 생각되며, 내 체감상 실기보단 필기가, 실기에서는 작업형들보다는 단답형이 어려웠다.

 

아무튼 생각해보자. 빅데이터 분석기사 합격 커트라인은 단답형 30점을 쌩으로 내준다고 쳐도 어차피 1유형 2유형만으로도 충분히 여유로운 커트라인이다. 누군가는 1유형 코드 라인 수를 더 줄일 수 있겠지만, 내 경우는 평균 세 줄 이내로 실행되는 굉장히 간단한 전처리 문제가 출제되었다. 2유형에서는 데이터 정규화를 하지 않고 그대로 데이터를 가져다 썼는데도 불구하고 모델 점수가 매우 잘 나왔었다. 모델은 랜덤 포레스트를 사용했고 파라미터 몇 개만 조금 수정해서 제출했다. 파라미터를 튜닝하기 전부터 이미 80% 정도였고 튜닝할 때마다 85 89 94 이런 식으로 높아져서 기억은 안 나지만 대충 그 언저리로 제출했었다.

 

다시 책에 대한 얘기로 돌아와서, 이런식으로 시험 난이도가 변동되지 않는다면 이 책을 사서 단답형은 운에 맡기고 작업형만 노리는 방식으로 빅데이터 분석기사 파이썬 실기를 준비하는 것은 나쁘지 않은 선택일 것 같다. 하지만 1유형은 아마 따로 준비해야 할 거라고 생각되는데, 나는 이기적 카페에 업로드되는 문제를 많이 풀어봤다. 물론 3회차 시험 난이도에 비해서는 어렵고 기술이 있어야 해결할 수 있는 문제가 많았지만 오히려 그런 걸 알게 되면서 시험에서 도움이 못되었을지언정 내가 파이썬을 다루는 데 훨씬 도움이 되었다고 생각한다. 시간이 남는다면 이기적 카페 문제는 풀어보는 것을 추천한다.

 

아무튼 그런식으로 시험을 응시한 결과 애매한 점수로 합격했다! 이제 나도 쌍기사!

사진2

 

근데 이거도 쌍기사 쳐주나?

 

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

 

빅데이터 분석기사 실기 공부를 시작했을 때 기준으로, 나는 간단한 머신러닝 모델조차 작성하지 못했다. 이론이야 학부과정에서도 배웠었고 필기공부할때도 어느정도 봤으니 이게 이거고 저게 저거라는 지식정도는 있었지만 코드 작성에 대한 이해도는 0이라고 해도 좋을 것이다. 이 정도로 초보자의 시선에서 봤을 떄, 빅데이터 분석기사 실기시험은 굉장히 쉬웠다. 물론 다음 시험이 어떻게 변할 지는 모르겠지만.

 

내 공부 기간은 약 한 달 정도였다. 근데 한 달이라는 시간을 딱 정해놓고 했던건 아니고 그냥 ADsP시험 보고나서 바로 실기를 접수했던거라 큰 의미는 없다. 그리고 어차피 결과론이지만 지금 생각해보면 솔직히 더 짧았어도 상관없었을 것 같긴 하다. 

 

공부에 투자했던 시간은 어차피 사람마다 이해도가 다르니 따져봐야 의미가 없다고 생각하지만, 나는 남들보다 공부에 투자할 수 있는 시간이 굉장히 많았다고 생각이 되기 떄문에 일단은 적어두려고 한다. 평일에는 기관에서 인턴을 수행하면서 아침 9시부터 6시까지 작업이 없으면 코드에 익숙해지려고 노력했다. 집 가서 밥 먹고 좀 누워있다가 9시쯤부터 적어도 12시까지는 마찬가지로 코드 노가다를 했다. 주말 역시 비슷하게 타이핑 했던 것 같다. 그러니까 하루종일 한 달 내내 타이핑 했다는 말이다.

 

물론 개인 작업이 있는 날은 쉬기도 했고, 피곤하면 집 가서 바로 자는 날도 있어서 한 달 내내라는 말은 어폐가 있기는 한데, 아무튼 대부분 그런 식으로 시간을 보냈다. 그래도 정확히 어느정도인지는 모르겠지만 적어도 매일매일 몇 시간씩 투자했던건 확실하다.

 

나는 효율적이지는 않지만 옛날부터 취미정도의 선상에서 데이터 핸들링 작업을 하고 있기 때문에 딱히 작업형1에서 데이터를 전처리하고 결과를 내는 과정에 대해서는 그렇게 어렵지는 않았다. 사실 오히려 이런 부분이 내가 몰랐던 새로운 방법들을 알 수 있어서 훨씬 재미있었다고 생각한다.

 

반면 어려웠던 부분은 역시 머신러닝 라이브러리를 사용하는 작업형2였는데 이것도 하다보니 작동 원리까지 정확하게 이해한 건 아니지만 코드를 완성하기 위한 어떤 공통점이 보였다. [ 데이터 불러오기 -> 데이터 나누기 -> 정규화 -> 모델훈련 -> 정확도 알아보기 -> 예측값 병합 후 저장 ] 대부분 이런식으로 큰 틀이 만들어지는게 보였고, 코드를 열심히 외웠다. 너무 무식하다고 할 수도 있겠는데, 의외로 효과적인 방법일거라고 생각한다.

 

어차피 모르는 함수가 있으면 help 명령어를 사용하면 된다고 하는데 언제 그 문서를 하나하나 찾아보고 있을까. 내가 익숙하지 않아서 하는 말일 수도 있지만 차라리 오히려 나처럼 머신러닝에 익숙하지 않은 사람은 처음부터 외워버리는 게 낫다고 생각한다. 특히 시간이 없는 사람이라면 help 명령어를 사용해본적도 없는 초보라면 그냥 help 명령어에 익숙해질 시간에 코드 한 줄을 더 외우자. 물론 명령어에 익숙한 사람은 상관 없는 이야기다.

 

연습했던 파일들은 데이터캠퍼스 책이랑 이기적 카페 문제들을 보고 직접 타이핑 해서 만들었다. 솔직히 책 안보고 카페 문제만 연습했어도 됐을 것 같다는 생각이 든다. 이런식으로 분류 전체 코드 만들어두고 연습파일에 안 보고 코드 수행을 할 수 있을정도로 연습했다. 그렇다고는 해도 과정 하나하나를 보면 단순한 코드들이라서 크게 어렵지 않았다.

사진3

작성했던 파일들이다. 공부할 때 분류, 회귀, 원핫인코딩부터 그리드서치, 혼동행렬, K-NN분류/회귀까지 정리하다가 말았는데, 솔직히 뒤에 신경망, 서포트 벡터머신, DBSCAN 이런거까지 다 외우려면 시간이 부족할 것 같아서 접고 회귀/로지스틱회귀, 랜덤포레스트, XGBoost 정도만 확실히 외운상태에서 예상문제들을 많이 풀었다. 문제를 풀 때 원핫인코딩 ~ 혼동행렬들도 같이 연습하면 된다.

사진4

 

마지막으로, 위에도 적었지만 실제로 나는 시험에서 작업형2 문제 보자마자 데이터가 깔끔하긴 했지만 아무튼 데이터 전처리를 생략하고 바로 랜덤 포레스트 돌렸더니 score가 85정도 나왔었다. 정말로 자신이 연습할 시간이 없고 자격증 취득만이 목적이라면 적어도 분류와 회귀 둘 다 적용할 수 있는 랜덤 포레스트 하나 정도는 외우고 가는게 좋다. 만약 쉬운 문제가 나와서 해결할 수 있다면 개이득이고 못하면 다음에 더 공부해서 응시하면 될 일이다.