수강생 데이터를 통해 확인한 인사이트 - 나폴레옹 & 링컨
요즘 글을 못썼다. 다른 재밌는 일을 했기 때문이다.
사실 이 일은 다음주에
크루들에게 먼저 공유,
월 말에 shinymeetup에서 공유된 이후에 쓰려고 했는데
어쩌다 보니 오늘 쓰게 되었다. 물론 상당히 많은 부분을 생략해서 쓸꺼다.
저번에 터진 리포트 프로젝트가 버리기 너무 아까워서.
전남친처럼 아련하게 질척대다 보니,
꽤 그럴싸한 생각들이 떠올랐고, 아예 목적을 바꾸기로 했다.
수강생들을 위한 목적이 아니라, 내가 쓰기 위한 목적이면 되지 않을까?
내가 쓸 목적이면,
- 개개인 별로 specific하게 디자인 하지 않아도 되고
- 정성적인 부분에 대한 feedback을 어떻게 줘야할지 덜 고민해도 되고
- 무엇보다 안이쁘게 대충 만들어도 된다.
사실 안 이뻐도 된다는건 뻥이다. 기능이 좀 구릴지언정 그럴싸하고 블링블링한 디자인은 포기 할 수 없었다.
제일 먼저 봤던 부분은 전체적인 코스 진행중 수강생들의 퍼포먼스 현황이었다.
사실 ggplotly도 박아놔서 마우스를 올리면 이름, 점수, 노트 같은 온갖 정보들이 쭉 올라오기 때문에 굉장히 예쁘고 유용해보이고 그럴싸해보였다. (그래서 이 부분은 손 대지 않아도 좋을 것 같다 라는 생각을 했다)
그러나 일주일이 넘는 시간을 갈아넣으며 생각해보니, 내 올드 프렌드의 격언을 떠올리게 되었다.
안궁금해
너무 과도한 정보가 있었다.
DS 코스(그리고 이후의 AI코스도)의 운영은 각 세션별로 진행자가 미리 정해져있는 상황이다. 즉, A는 part1. B는 part2. 이런 식으로 맡은 부분만 진행을 하는 것이다. 물론 시간이 주어진다면 맡은 부분을 점차 교환해가면서 리소스 조절이 더 용이해 질 수 있겠지만 여러가지 어른의 사정으로 당분간은 지정이 되었다.
그렇기 때문에 나는 (세션 1 진행자) 다른 세션의 성적이 궁금하지 않았다. 설령 안다고 해도 내가 할 수 있는 일은 없다. 해봐야 왜 성적이 안나오는지 Jr 혹은 세션 진행자에게 물어보는 정도??
물론 VP는 전체를 봐야 할 필요도 있을 것이다.
그러나 1기가 마쳐서 전체에 대한 결과가 나오기 전에는 액션을 취하기 어렵기 때문에, 급하지 않았다.
그래서 부분에 대해서만 집중할 수 있게 데이터의 폭을 줄였고, 이를 통해서 새로운 액션을 계획 할 수 있었다.
그리고 새로운 모델링시스템 ( 뭔가 있어보이지만 간단한 숫자장난이다 )을 통해 세션의 “난이도" 라는 개념을 정량, 시각화 했다.
물론 여전히 개선 사항이 많이 쌓여있다.
가령 맨 끝 부분은 진짜 어려워서 수치가 하늘을 뚫고 올라간 것이 아니라, 아직 과제 채점이 완료 되지 않았기 때문에 미제출인 0으로 간주하여 저렇게 된 것이다.
이를 통해서,
- 너무 어려운 부분은 더 좋은 예시를 찾아야한다는 방향이 생겼고
- 너무 쉬운 부분은 조금 더 딥한 주제를 다뤄도 좋다는 가능성이 생겼다.
그러나 이러한 내용들을 rmarkdown report로 뽑아 낼 때 까지는 해피한 내용들이었는데. github action에 r을 박으려니 힘들었다.
진짜 너무 스트레스 받아서 회사에서 땡깡피웠다. 다시는 하고 싶지 않은 일이다.
물론 끝까지 가면 내가 다 이기기 때문에 결국 해냈다.
아래 그림은 오늘 글을 써야 하는 핵심적인 이유였다.
그림에 대한 내용은 간단히 설명하자면, 수강생들은 주어진 기준에 따라서 유사한 그룹으로 분류가 가능하다는 이야기다.
사실 나는 ex가 엮여 있기 때문에 이러한 심리학쪽 내용을 깊게 신뢰하지도, 좋아하지도 않기 때문에 많은 Bias가 걸려있지만, 오늘 오프보딩한 한 크루분께서는 MBTI를 위시한 여러 심리검사…? 를 매우 좋아한다.
이분을 포함하여 다른 분들과 (맥주와 함께) 이런 저런 얘기를 듣다보니, 여러가지 질문이 들었다.
- 과연, 사람을 2⁴ =16개의 유형으로 구분이 가능할까?
- 이 4개의 binary feature를 distance로 바꾸려면 어떤 식으로 디자인을 해야할까?
- 이 경우 ISTP & ISTJ의 거리는 ISTP & ESTP 간의 거리와 같을까? 달라야 하지 않을까?
- 그래도 ABO 보단 낫지 않을까?
- 어느정도 유효하게 구분을 하려면 몇개의 feature가 필요할까?
- 그때는 binary 인가 아니면 multiple인가, 혹은 주관식인가?
- 진행하는 업무에 적용할수 있을까?
이런 진짜 말도 안되고 쓰잘데 없는 질문들이 머리 속에 마구 샘솟았지만, 어리버리왕자님이라는 단어를 듣고 그 뒤로는 더 이상 안생겼다.
이후 오피스에서 생각을 좀 해보니
- 넉넉하게 인구가 100억이라치고 (1e+10)
- binary 기준으로 2⁴⁰ 이 1e+12 니까
- 이론상 40개의 binary feature만 있으면 전세계의 사람들을 다 구분 할 수 있다
라는 생각이 들었다.
물론 전세계의 사람들을 다 구분 할 필요 없이,
특정 그룹으로 나누는 정도라면 진짜 40개로 충분하다라는
“이론상” 계산이 나왔다. (물론 feature가 잘 설계되었다는 전제도 필요하다)
이러한 가정이 붙고 나니,
우리가 실제 사용하고 있는 100여개가 넘는 feature를 사용하면 100명의 수강생정도는 충분히 분류가 가능하다라는 결론이 나왔고,
실제로도 그런것 같았다.
위의 circular dendrogram , 그리고 더 앞의 splitted violin plot을 통해서 보면 수강생의 유형이 어느정도 나뉘어지고 각 그룹마다 key feature, 장/단점이 있다.
링컨과 나폴레옹, 둘 다 업적과 비판이 있는 “위인”들이다. 한 사람은 키가 매우 작았다고 알려져있고, 한 사람은 키가 매우 크다고 알려져있다. (어쩌면 한사람은 영어를 매우 잘했을거고 한사람은 덜 잘했을거다)
만약 이 두 사람을 “수강생”으로써 분류했다면, 같은 그룹에 들어갔을까?
잘 모르겠다. 아마 아닐 것 같다.
그렇지만, 너무나도 다른, 각자가 가진 포텐셜을 잘 끌어낼 수 있게 하는게 이러한 “심리검사”, 혹은 데이터에 기반한 업무의 여러 목적들 중 하나가 되면 좋겠다 라는 생각을 하며. 더 쓰고 싶지만 2시가 넘었으니 얼른 자야겠다. Farewell.
