미리보는 프로그래머스 코딩역량인증시험 PCCP.E

시험… 시너지… 선점…

12 min readSep 15, 2022

PCCP.E

최근 코딩테스트 연습으로 유명한 프로그래머스에서 코딩역량인증시험 (자격증 비스무리)을 출시했다. (안타깝지만 시험 언어에 R이 없으니 🥲) 수험생 / 개발자가 아닌 데이터와 프로덕트, 비즈니스의 관점에서 이를 한번 훑어보려고 한다.

엄밀히 말하면 프로그래머스는 서비스 이름이고 그렙이 회사 이름이니 이후부터는 그렙이라고 작성하겠다.

그렙은 왜 시험을 만들었을까?

회사의 (거의) 모든 행동의 궁극적인 이유는 이익이 나는가? 라는 질문을 통해 해결 할 수 있다고 생각한다.

여기서 이익을 내는 방법은 정말 다양하지만 고객의 문제를 해결하는 프로덕트 서비스를 통해 만든다고 가정하자.

그렇다면 PCCP.E 는 고객의 어떤 문제를 해결하기 위한 것일까?

그리고 이 문제를 다루던 다른 프로덕트가 미처 해결하지 못한 부분은 어디라고 생각해서 새로운 시험이 나온것인지 상상해보자.

단, 이 글에서의 PCCP.E는 (연습용) 코딩테스트와 (인증용) 코딩시험의 섞인 관점에서 보려고 한다.

1. 기존의 코딩테스트가 해결하지 못한 것

기존의 코딩테스트 연습용 서비스는 보통 백준, 코드포스, 릿코드, 프로그래머스, 해커랭크 정도가 알려져 있다. (내가 들어본 기준, 코딩테스트랑 DP, PS는 다른데? 는 이 글의 주제가 아니니 논외)

릿코드를 예시로 들긴 했지만 이러한 코딩테스트 서비스의 비즈니스 모델은 아래 그림과 크게 다르지 않다.

개발자(고객)가 (1) 서비스 회원 가입을 한 후, (2) 적당한 문제를 풀고 (3) 문제 풀이를 성공적으로 해내고 (4) 그 결과를 SNS와 같은 외부에 공유한다.

그리고 이 공유를 통해 이 코딩테스트의 문제들이 효과가 있다는 것을 인지한 (5) 새로운 개발자나 기업에서 코딩 테스트 /교육 관련 의뢰를 내는 등으로 외부에 영향을 준다.

예시 이미지에서는 외부 기업을 넣긴 했지만 릿코드의 경우 이러한 B2B보다 “프리미엄 문제” 를 제공하는 멤버십이 조금 더 우선순위이며. 서비스마다 집중하는 방향이 살짝살짝 다르다

아무튼, 이러한 사이클에서 여러가지가 중요하지만, 우리 서비스의 문제가 좋아 ! 를 다른 잠재적 고객들에게 설명한다는 관점에서 나는 4번 단계가 제일 차별을 낼 수 있는 부분이라고 생각했는데 아마 그렙도 비슷한 생각을 했지 않을까.

실제로 현재 그렙의 코딩테스트 결과를 공유 할 수 있는 방법은 아래 그림 정도인데 개선 포인트를 많이 가지고 있다. (다른 서비스에 비해서는 “힙”하진 않다)

그렙에게 다행인점은 이러한 코딩테스트를 제공하는 국내 서비스는 많지 않기 때문이다. (추가로 백준은 상업적인 성향이 강하지 않다)

그래서 어쩌면, 이 참에 PCCP.E라는 “인증/ 공유하기 깔쌈한” 라이센스를 제공하는 서비스를 통해 시장을 가져가자라고 생각했을 수 도 있다. (놀랍게도 민간자격이다)

2. 기존의 코딩시험이 해결하지 못한 것

코딩 시험은 어떻게 돌아가는가를 훑어보기 이전에, 이 글에서 표현하는 코딩 테스트와 코딩 시험은 뭐가 다른지를 먼저 언급하려고 한다.

(사실 테스트를 시험으로 하면 똑같긴 하지만) 시험은 인증시험에 가깝다고 생각하면 좋을 것 같다.

가령 시험에 나오는 범위가 정해져 있고, 많은 사람들이 동일한 장소에서 일괄적으로 시험을 치고 결과가 한번에 나오는 시험을 코딩 시험이라고 정의하겠다. (시험이라는 단어가 계속 헷갈릴 수 있으니 라이센스라는 단어를 사용하겠다.)

예를 들면 AWS, 오라클 같은 사기업의 라이센스와 컴활, 정처기, SQLD 를 비롯한 국가인증 라이센스도 당연히 있다.

이러한 라이센스 시험의 특징은 대규모의 사용자가 시험에 참여하기 때문에 빠른 채점이 가능해야한다.

즉, 사람이 수동으로 채점하는 것이 아닌 정해진 규칙에 기반하여 채점 할 수 있도록 문제가 설계 되고, 확인하고자 하는 내용 또한 정해져 있어야 한다. 이로 인해 생기는 장/단점을 생각해보자.

사기업 라이센스

보통의 “큰 시험과” 약간 다른 느낌의 사기업의 라이센스는 실제 해당 서비스를 프로젝트 수준에서 잘 활용하는데에 필요한 기술적 역량을 가지고 있어야 받을 수 있다는 장점이 있지만, 2가지 단점이 있다.

첫번째로는 대체로 비용이 비싼 편이고 (시험을 위한 교육에 대한 비용도 고려하면 더하다, 위 예시는 시험만 300달러! ), 두번째로는 해당 서비스에만 한정된다는 것이 있다. 예를 들면 AWS 라이센스가 Azure를 사용하는 기업에는 AWS를 사용하는 기업에 비해서 크게 도움이 되지 않는다.

국가 라이센스

국가인증 라이센스의 경우. 위에서 말한 엔트리용 라이센스들이 유사한 포지션의 서비스라고 볼 수 있는데, 이러한 엔트리용 라이센스들의 단점은 크게 2개를 생각해 볼 수 있다. (개발자뿐 아니라 데이터 직군의 ADsP — SQLD — 빅분기의 3신기를 생각해봐도 좋다)

모든 자격증이 그러하듯 합격을 위한 공부만으로도 획득이 가능하다.

즉 잘하면 라이센스를 따는 것은 맞지만, 라이센스를 가지고 있다고 해서 잘한다는 것은 아닐 수 있다는 이야기.

이는 기업의 입장에서 해당 라이센스를 가지고 있다고 해서 역량을 확인할 수 있다가 아니기 때문에 딱히 쓸모 없는 라이센스가 될 가능성이 높아지고, 곧 개발자의 입장에서 라이센스라는 이력서의 한줄을 따기 위해 들어간 시간/금전적 비용 대비 결과물이 안생긴다는 단점이 있다.

만약 어떤 자격증 + 비전공자 + 합격 보장 + 한달 등으로 검색했을 때 결과가 있다면 해당 라이센스는 크게 의미 없다고 봐도 좋다.

2. 이러한 자격증보다 사이드 프로젝트 경험이 실제 채용 / 업무에 도움되는 역량을 확인하는데 훨씬 도움이 된다는 것. (행정상 필요한 경우도 가끔 있긴 하다)

정렬에서 쓰이는 방법별 O Complexity를 외우는 것보다, 어떤 이유 때문에 우리 서비스에는 어떤 정렬을 써야하는지를 알고 이를 구현하는 것을 배우기엔 라이센스보다 프로젝트가 더 효과적이라고 생각한다. (심지어 실제로는 그냥 라이브러리에서 끌어다 쓰는 경우도 많다 ㅋㅋ)

이러한 문제로 인해서 그렙은 우리가 기업이 실제로 (채용에) 활용할 수 있는 코딩 시험을 만들겠다! 라고 생각했을 것 같다.

코딩시험이 확인하려는, 코딩역량

내가 코딩을 잘하는 건 아니지만, 업무의 관점에서 코딩에 필요한 역량은 1) 문제를 잘 이해하는 것, 2) 문제를 풀기 위한 최적의 솔루션을 생각하는 것, 3) 솔루션을 잘 구현하는 것이라고 생각한다.

가령 회사에서 다른 팀이 이 기능을 구현해주세요. 라고 하면 고객에게 어느 부분에서 왜 문제가 되는지, 그리고 이를 풀기 위해 어떤 기능 혹은 라이브러리 (혹은 기존의 기능)를 활용해야하는지 설계하고, 마지막으로 실제로 이를 구현하는 것이라는 흐름을 생각해보면 좋다.

마지막 구현 부분에서는 시간과 비용, 스케일, 유지보수, 배포 같은 키워드가 붙기는 하는데 나는 아직 이 단계를 고려할 정도의 개발은 안했어서 글을 쓸 정도 까진 잘 모른다.

그리고 코딩시험은 놀랍게도 위에 필요한 3가지를 확인 할 수 있다. 실제로 기업의 잘 설계된 코딩테스트 (과제전형)는 실제 업무에서 겪을 수 있는 문제를 작게 줄인 수준에서 진행되어 업무의 역량을 바로 확인 할 수 있다.

이 코딩시험이 기업에 한정되지 않은 (=대규모 비특정 사용자를 대상으로한) 프로덕트로 가게 되면 (교육학적으로) 고려해야할 부분이 생긴다.

가령 시험의 문제 배치는 몇 문제로, 어떤 내용을 몇점으로, 채점 Rubric은 어떻게 할 것인지 등을 (팔기 위한 프로덕트인 만큼) 더 정교하게 고민해야한다.

비록 교육학은 잘 모르지만, 이것에 대해서 가볍게 짱구를 굴려보자

PCCP.E의 고객인, 개발자의 실력을 정확하게 점수로 잴 수 있고 분포로 나타낸다고 할때 위 이미지처럼 생각해볼 수 있다.

단, normal distribution을 가정했는데, 아래 그림처럼 power law distribution일 수도 있다는 생각도 있다.

이러한 상황에서 프로덕트의 이익을 최대화 하려면 가운데의 고객을 최우선으로 타겟으로 시험을 설계하는 것이 직관적이다.

그렇지만 아이러니하게도 시험의 내용이 중간 수준을 최우선으로 고려한다면, 현업의 고수 개발자들은 이 시험을 고려하지 않을 것이고, 최악의 경우 “가운데가 아니지만, 가운데에 가려고 하는 취준생”만 치는 시험으로 바뀔 수도 있다. 이익을 내려고 집중 했는데 오히려 타겟이 바뀌고 줄어드는 문제가 생기는 것이다.

그래서 그렙은 이를 프로덕트와 타겟 고객을 2개로 나누어 해결하려고 했다.

PCCP의 경우 SW개발자와 프로그래밍 전공자를 대상으로 2시간 동안 4문항을 통해 프로그램 구현을 하는 것을 확인하고 (중간 +), PCCE는 비전공자를 대상으로 50분동안 10문제를 통해 Python으로 빈칸채우기 등을 확인하는 시험이다 (중간 이하).

아무래도 PCCP는 전문가들을 위해서 내가 이만큼 코딩을 잘해요 를 보여줄 수 있는 목적을 기대할 수 있고 ,반대로 PCCE는 비전문가들 대상으로 나 코딩이란걸 해본 적은 있어요. 를 보여주는 것을 기대 할 수 있다고 생각한다.

코딩시험의 비즈니스

위에서 이야기한 것처럼 대부분의 기업 활동은 이익을 위해 행해진다.

이 관점에서 “매달 어려운 4문제”를 내야하는 PCCP는 그렙의 입장에서 가성비가 떨어지다보니 이를 (상대적으로 쉬운) PCCE를 통해 메꾸려는 게 아닐까라는 생각을 했었다.

각 시험의 비용은 각각 4, 3만원인데 코딩 테스트를 서비스 중인 릿코드 프리미엄 이 한달에 35달러인 것을 고려하면 개발자 입장에서 퀄리티가 괜찮은 코딩테스트를 실전처럼 친다라는 비용으로는 나쁘지 않은 가격이라고 생각했다.

그리고 비전공자 입장에서는 코딩 라이센스를 위해 들어가는 비용 (정처기 42000, 토익 48000)이라고 생각하면 마찬가지로 나쁘지 않다.

즉 고객의 입장에서는 괜찮다고 생각할 수 있는 프라이싱인데, 동시에 이는 기업 입장에서는 상대적으로 얻을 것이 적다는 의미라고 생각했다.

그래서 어디서 어떤 이익이 나길래 이 시험을 만든걸까? 라는 질문을 위해 이 시험이 비즈니스적으로 돌아가는 방식을 한번 상상해서 그려봤다. (아니면 어쩔 수 없고)

이전의 릿코드와 다른점은 릿코드는 코딩 테스트 자체가 중요한 프로덕트인데, 그렙의 경우 PCCP.E 자체가 중요한 프로덕트라기 보다는, 기존의 프로덕트에 시너지를 더 크게 기대 할 수 있는 프로덕트라는 다른면을 가지고 있다.

특히 그렙에서 주도적으로 시험에 대한 교육을 제공할 수 있다는 점과 시험 이후 커리어 연결로 활용 할 수 있다는 점이 제일 큰 차이라고 생각한다.

사람들이 Tree 계열 문제에 어려움을 느끼니까 해당 내용의 특강을 만들자 ! 혹은 이러한 기술 스택을 개발자가 구직을 준비하니까 이 기업에 추천하자 ! 등을 만들어 낼 수 있다.

그림에서 PCCP와 PCCE를 같이 퉁쳐서 그렸지만, 둘이 성향이 다른 만큼 PCCE는 이후에 기업보다는 대학과 같은 교육기관 혹은 B2G 서비스로 나갈 수 있을 것 같다고 느껴졌다. (실제로 아래처럼 국민대학교는 그렙과 연동하여 코딩시험을 진행해왔고, 아직 졸업요건은 아닌 듯하다)

코딩시험의 데이터

다소 뻔하긴 하지만, 친정을 챙기는 기분으로 데이터의 관점에서도 코딩시험을 훑어보자.

내가 데이터를 생각하는 방법 중 하나는 5W1H, 즉 육하원칙에서 의미가 적은 부분을 제거하는 것이다.

이미 bias가 끼어서 일 수도 있지만, 아무리 봐도 다른 서비스와의 시너지를 낼 방향으로 데이터를 활용하기에 너무 좋다고 보여진다 ㅋㅋ

물론, 고객을 늘린다는 목적의 프로덕트 데이터로 접근할 수도 있지만 (이전에 썼던 글의 Fogg Behavior Model 과 같은), 그러기엔 일단 데이터가 조금 쌓여야 할 수 있는게 많기 때문에 이번 글에서는 다루지 않겠다. (데이터 만큼이나 마케팅이나 영업등의 방법이 효과적이기도 하고)

정리

그렙은 프로그래머스에서 기존에 진행되던 코딩테스트나, 국민대학교등을 통해 진행했던 프로토타입을 통해 충분히 역량평가가 가능하다고 판단했고 진행중인 비즈니스로 시너지, 확장을 위해 인증시험을 출시했다고 생각해볼 수 있다.

여기서 시너지가 날 수 있는 영역으로는 기업교육, 교육 프로덕트(프로그래머스 스쿨), 채용 프로덕트 (프로그래머스 커리어) 고도화 혹은 정치, 정책적으로 정해진 코딩교육시장의 선점등을 생각해볼 수 있다.

번외

이번 글의 메인 주제였던 PCCP.E, 코딩역량인증시험은 요즘IT에 기고할 목적이 었으며, 그 과정에서 기획안만 3번 바뀌었던 글인데 첫번째가 이번 글의 내용이다.
2번째는 위에서 잠깐 언급했던 그로스, 프로덕트, 그리고 시험데이터의 실험을 진행할때의 어려움에 대한 내용이었는데, 너무 특정 프로덕트에 대한 이야기가 많아져서 홍보로 보일 것 같아 패스했다.
그리고 3번째는 아마 9월에 기고될 예정. 메인 내용은 데이터 분석가면 코딩 테스트에 집중하지 말고 프로젝트나 통계, 심리학 공부해라

아 왜 시험에 R은 없냐고 !!! 라고 생각 했지만 R에서 언어적 성능과 퍼포먼스를 고민해야할 문제면 언어를 바꾸는 것이 좋다 진짜로.
PCCE는 잘 되면 TOEIC, 잘 안되면 TEPS 가 될 것 같다. 정작 IELTS나 GRE, 혹은 TOEFL을 더 쳐준다는 것을 고려하면… 예전의 ITQ 같은 급/학식용 시험이 되지 않을까 싶기도 하고…?
PCCP는 유사한 사례가 없어서 감이 잘 안잡히는데 잘 풀리면 캐글과 같은 느낌의 해커톤이나 경진대회로, 안 풀리면 유료 코딩테스트가 되지 않을까. 머기업 스타 개발자 혹은 인플루언서들이 어떻게 반응하느냐에 따라 갈릴 듯 하다.
IT 기반 스타트업들 말라가는 상황에서 줄어드는 수요 대비 늘어나는 4차 산업 인력 공급이 어떻게 해결될까 궁금데스.