평가원 합답형 선지 구성의 미학

Question

평가원이 합답형을 구성하는 방식은 매우 엄격한 규칙을 따르고 있습니다. 왜 그런지에 대해 긴 설명 없이 바로 시작해보겠습니다.

먼저 일단 ㄱㄴㄷ, ㄱㄴㄷㄹ 합답형 구성 방식을 풀어 쓰면 다음과 같습니다.

학생 집합:

{갑, 을, 병} (총 3명, 경우 1)

{갑, 을, 병, 정} (총 4명, 경우 2)

경우 1의 선지(ㄱㄴㄷ): 5개, 각 선지는 1명, 2명 또는 3명의 학생으로 구성.

경우 2의 선지(ㄱㄴㄷㄹ): 5개, 각 선지는 2명 또는 3명의 학생으로 구성. 2명만으로도 선지 5개 구성이 가능하며, 2명과 3명이 섞인 선지일 시에는 2명은 3개, 3명은 2개여야함.

대칭차 (Symmetric Difference): 두 집합(정답과 오답 선지) 간에, 한쪽에만 속하는 원소들의 개수입니다. 예를 들어, 정답이 {갑, 을}이고 오답이 {을, 병}이라면, 대칭차는 {갑, 병}이 되어 그 크기는 2입니다.

제약 조건: 한 학생이 선지에 네 번 이상 들어가지 않습니다. (한 학생이 선지에 네 번 들어가면, 네 번 들어간 학생은 사실상 무조건 맞으므로 의미가 없어집니다.)

목표: 정답 선지 1개와 오답 선지 4개를 구성할 때, 정답과 4개 오답 선지 간의 '대칭차의 합'을 최소화하기.

경우 1: 학생 3명 {갑, 을, 병}
이때의 최소 대칭차 합은 6입니다. 이때의 최적 구성은 다음과 같습니다.

예시 정답 선지(갑, 을, 병이 서로 스위칭해도 동일합니다.): {갑}
예시 오답 선지: {을}, {병}, {갑, 을}, {갑, 병}

정답을 가장 작은 단위인 1명짜리로 잡고, 나머지 오답 선지들이 그 주변을 감싸는 형태입니다.

{갑}과 {을}의 대칭차는 2({갑,을}), {갑}과 {병}의 대칭차도 2({갑,병}). 여기까지 합이 4.

여기서 영리하게 {갑, 을}과 {갑, 병}을 오답으로 추가하여 {갑}과 {갑, 을}의 대칭차는 1({을}), {갑}과 {갑, 병}의 대칭차도 1({병}).

그래서 총합은 2 + 2 + 1 + 1 = 6으로 모든 원소(학생)의 등장 횟수를 보면 갑 3회, 을 2회, 병 2회로, 제약조건(4회 미만)도 깔끔하게 만족합니다. 최소 단위에서 파생되는 오답들을 구성하는 게 핵심입니다.

경우 2: 학생 4명 {갑, 을, 병, 정}

여기서부터가 진짜 문제라고 할 수 있습니다.
결론부터 이야기하면 최소 대칭차 합은 8이고, 이 최소값을 만드는 경우에서, 4C2는 6이지만 5지선다인 특성 상 가장 먼 {갑, 정}이 선택지에서 빠지기에 이 경우밖에 존재하지 않습니다.

정답 선지: {을, 병}
오답 선지: {갑, 을}, {갑, 병}, {을, 정}, {병, 정}

꽤나 아름다운 구조입니다. 최적의 선지 구성은 모든 선지가 2명으로만 이루어진 경우에서 나왔으며 2명짜리 3개, 3명짜리 2개 섞는 것보다 더 효율적이었다는 소리입니다. 왜 그럴까요?

정답인 {을, 병}을 기준으로, 오답 4개는 각각 정답과 원소 하나씩만 공유합니다.
{을, 병} vs {갑, 병} -> 대칭차 2 ({갑, 을})
{을, 병} vs {병, 정} -> 대칭차 2 ({을, 정})
{을, 병} vs {갑, 을} -> 대칭차 2 ({갑, 병})
{을, 병} vs {을, 정} -> 대칭차 2 ({병, 정})

경우 2a: 학생 4명 {갑, 을, 병, 정} 중 2명, 3명 혼합 선택

예시 선지 묶음: {갑,을}, {갑,병}, {을,정} (2명 선지 3개) + {갑,병,정}, {을,병,정} (3명 선지 2개) (구조만 같다면 스위칭도 가능합니다.)
이 묶음 내에서 최적의 정답의 경우의 대칭차 합은 9입니다.

{갑, 병, 정} vs {갑, 을} → 대칭차: {병, 정, 을} (크기 3)
{갑, 병, 정} vs {갑, 병} → 대칭차: {정} (크기 1)
{갑, 병, 정} vs {을, 정} → 대칭차: {갑, 병, 을} (크기 3)
{갑, 병, 정} vs {을, 병, 정} → 대칭차: {갑, 을} (크기 2)

총합: 3 + 1 + 3 + 2 = 9

핵심은 선지 크기(인원수)의 불균일성과 등장 횟수 제약의 조합입니다.

선지의 크기가 2와 3으로 섞여 있으면, 선지들 간의 '거리', 즉 대칭차를 일정하게 유지하기가 힘들어집니다 2명짜리와 3명짜리 선지는 필연적으로 대칭차가 홀수(1 또는 3)가 나오는 경우가 많습니다. 예를 들어, {갑,을,병}과 {갑,을}처럼 하나가 다른 하나의 부분집합이면 대칭차는 1이 되지만, {갑,을,병}과 {갑,정}처럼 애매하게 겹치면 대칭차는 3({을,병,정})으로 확 늘어납니다.

모든 선지가 2명으로 통일되었을 때는 정답 {갑,을}을 중심으로 모든 오답이 {갑,병}, {갑,정}, {을,병}, {을,정}처럼 일정한 거리(대칭차 2)를 유지하는 아름다운 대칭 구조를 만들 수 있었습니다. 하지만 크기가 다른 선지들이 섞이자 이런 대칭성이 깨지는 것이죠.

게다가 "한 학생 4번 이상 등장 금지"라는 제약 조건이 이 비대칭성을 더욱 심화시켜 가장 효율적인 구조(대칭차가 낮은 구조)를 만들려고 하면 특정 학생(주로 여러 선지에 걸쳐 있는 학생)의 등장 횟수가 4회를 넘어버려서 해당 조합이 폐기됩니다.

경우 2b: 학생 4명 {갑, 을, 병, 정} 중 2명, 3명 혼합 선택 + 한 학생까지는 4번 등장 가능으로 조건 완화.

새로운 규칙 하에서의 최소 대칭차 합은 7입니다.

이는 순수 2명 조합의 8보다, 이전의 2/3명 조합의 9보다 명백히 더 나은 결과입니다.

예시 최적:

정답 선지: {갑, 을, 병} (3명 선지)
오답 선지: {갑, 을}, {갑, 병}, {갑, 정}, {을, 병, 정}

{갑, 을, 병} vs {갑, 을} → 대칭차: {병}. 크기 1.
{갑, 을, 병} vs {갑, 병} → 대칭차: {을}. 크기 1.
{갑, 을, 병} vs {갑, 정} → 대칭차: {을, 병, 정}. 크기 3.
{갑, 을, 병} vs {을, 병, 정} → 대칭차: {갑, 정}. 크기 2.

총합: 1 + 1 + 3 + 2 = 7.

어찌보면 당연한 결과입니다.

최소 대칭차가 6이었던 ㄱㄴㄷ 구성은 ㄱㄴㄷㄹ에서 한 선지를 준 것, 즉 한 선지를 5번 등장시킨 것과 다르지 않기 때문입니다.

다음, 가장 중요한 제약 조건의 충족 여부입니다. 이 5개 선지 전체에서 각 학생이 몇 번 나왔는가?

갑: {갑,을,병}, {갑,을}, {갑,병}, {갑,정}. 총 4회 등장.
을: {갑,을,병}, {갑,을}, {을,병,정}. 총 3회 등장.
병: {갑,을,병}, {갑,병}, {을,병,정}. 총 3회 등장.
정: {갑,정}, {을,병,정}. 총 2회 등장.

기가 막히게도 '갑'만이 정확히 4번 등장하여 "한 명까지는 4번 등장 가능"이라는 새로운 규칙을 완벽하게 적용합니다.

다만 갑이 4번 등장하면 선지 구성 상 좀 티나기에 보통 을, 병, 정에서 4번 등장합니다.

그럼 이 쓰이는 합답형 구성은 어떤 의미를 담고 있을까요?

경우 1. 범용적인 고난도 케이스

최소 대칭차가 가장 적었던 것에서 알 수 있듯 5지선다에서 구현할 수 있는 가장 밸런스 있는 고난도 합답형입니다. 요새 사회탐구에서도 등장하긴 하나 주로 과학탐구나 수학에서 합답형 선지를 4개가 아닌 3개로 이용하는 것은 이 때문입니다. 특히 수학은 아예 여기서도 한 선지를 네 번 사용하여 사실상 나머지 두 선지를 완전히 정확하게 판단하도록 합니다. 탐구에서는 굳이 룰을 깨지 않는 편이나 작년 수능 한국지리 토양 문제에서도 ㄴ을 네 번 등장시켜 나머지 두 선지를 완전히 정확하게 판단하도록 한 경우가 있습니다.

경우 2. 범용적인 사회탐구 케이스

사회탐구 특성 상 특정 명제를 '완전한 정답'이라고 못박기가 어려운 과목도 있습니다. 이 경우에는 소거법이 가능하면서도, 최소 대칭차가 적어 사회탐구에서 범용적으로 사용됩니다.

경우 2a. 사회탐구 선지 하나 몰빵 케이스

최소 대칭차가 경우 2보다 큰데 왜 사용할까요? 이 경우는 경우 2와 달리 정답 선지와 단 하나의 오답 선지 간의 대칭차를 1로 만들 수 있습니다. 쉽게 설명하자면 {갑, 병} vs {갑, 을, 병} 선지의 구조라면 {을} 선지는 소거법이 불가능하게 완전히 정확하게 판단해야 하는 것이죠. 다만, 아무리 을 선지가 어려워도 찍으면 절반의 확률이기에 은근히 정답률이 떨어지지 않는 방식입니다. 그래서 한 선지가 매우 중요한 가치가 있지 않은 한 보통 경우 2의 구성 방식을 사용하는 편입니다.

경우 2b. 아주 가끔 등장하는 케이스? 하나의 선지는 그냥 주고, 사실상의 ㄱㄴㄷ 합답형으로 구성하는 식

최소 대칭차를 경우 2보다 줄이고 경우 1에 근접하게 만들기 위해 그냥 하나의 선지를 줘버립니다. 대신 경우 2a에서 언급했던 찍기로 인한 정답률 뻥튀기가 상쇄되어 정답률이 20%까지 떨어지는 것이 가능해집니다(실제 예시 문제의 정답률이 약 20%였습니다.). 요새는 사회탐구에서도 ㄱㄴㄷ 합답형이 등장하는 추세이기에 이전 교육과정까지 아주 가끔 룰을 깨고 등장했던 구성 방식입니다.

은근 이해하면서 따라가면 재미있는 내용이지만 쓰고 보니 좀 복잡해보이게 된 감이 없지 않아 있습니다.

아무튼, 평가원의 합답형 선지 구성 방식 원칙은 매우 명확한 이유가 존재하며, 따라하기 어려운 퀄리티를 낼 수 있는 비결입니다.

요약:

ㄱㄴㄷ가 ㄱㄴㄷㄹ보다 확실히 어렵고 정답률에 영향을 미친다.

ㄱㄴㄷㄹ 구성 안에서도 ㄱㄴㄷㄹ 중 2선택이 오히려 2, 3 혼합 선택보다 전반적인 밸런스상 변별력이 낫다.

왜냐? ㄱㄴㄷㄹ 2, 3 혼합 선택은 사실상 하나의 선지에 몰빵된 구조니 나머지 선지는 장식인 경우가 많다. 다만 그 선지 하나만큼은 정확한 정오 판단이 필요하기에 진짜 어렵다면 정답률은 40~60%, 아예 낚시라면 20% 언저리에서 놀 가능성이 높다.

고체유체천체 · Accepted Answer

여기에 선지 순서까지 고려한다면....

1234123 · Answer

images

리미트n이무한대로 · Answer

게다가 231114마냥 ㄱ으로 주면...

평가원 합답형 선지 구성의 미학

최근 게시글 · 더보기

오르비 캐스트