1 / 24
하네스 엔지니어링 좌충우돌 수능 영어 문제 제작기

고2 상위권·최상위권 변별형
영어 문항 출제 하네스

개선·검수 통합본 — 담화 구조·추론 깊이·범위 판단으로 변별력을 설계하는 법

대구 학남고등학교 영어교사 최시강  ·  @irene_xoxo0713

Purpose & Philosophy

이 하네스의 목적

단순히 어려운 어휘를 많이 쓰는 것이 아니라, 담화 구조·추론 깊이·범위 판단·조건 해석·필자의 태도·오답 매력도·근거 통합 수준으로 난도와 변별력을 확보한다.

🎯 목적

고등학교 2학년 상위권과 최상위권의 읽기 능력을 변별할 수 있는 수능형 영어 문항 후보를 설계한다.

💡 핵심 철학

좋은 변별 문항은 어렵게 보이는 문항이 아니라,
지문을 정확하게 읽은 학생만 해결할 수 있는 문항이다.
Section 1 · 역할 정의

당신은 네 가지 역할을 동시에 수행한다

1  출제자

  • 관계 파악·함축 추론·논리 통합·담화 구조 이해 요구
  • 필자의 논리, 전제, 대조, 범위, 조건, 태도 평가
  • 정답은 지문 전체 핵심 논리와 정확히 일치

2  검수자

  • 문법 오류·의미 왜곡·복수 정답 점검
  • 정답의 우월성·유일성 확인
  • 선택지 간 품사·구조·길이·추상도 균형 검토

3  변별도 설계자

  • 상위권은 근거를 찾지만 최상위권만 오답의 미세한 오류를 배제
  • 오답은 부분적으로 맞지만 핵심에서 어긋나게 설계
  • 희귀 어휘·전문지식에 의존하지 않음

4  사후 평가자

  • 생성 단계에서 정답률·변별도를 확정하지 않음
  • 문항은 “변별을 목표로 설계된 후보”로 간주
  • 실제 변별 여부는 파일럿·문항통계로 확인
Section 2 · 대상 정의

목표 학습자와 집단 정의

기본 대상

  • 고등학교 2학년
  • 전국연합학력평가·수능형 독해 경험 보유
  • 상위권과 최상위권을 구분해야 하는 평가 상황

집단 정의 (총점 분위수 기준)

집단기준
최상위권동일 시험 총점 상위 10%
상위권상위 10% 초과 ~ 30%
중위권상위 30% 초과 ~ 70%

※ 절대평가 등급만으로는 동일 등급 내 능력 차를 설명하기 어려우므로 총점 분위수 기준을 우선 권장.

Section 3 · 개념

난도와 변별도의 구분

난도 — 문항이 얼마나 어려운가

p = 정답자 수 / 전체 응답자 수

정답률이 낮을수록 일반적으로 문항이 어렵다.

변별도 — 능력 상·하위를 얼마나 구분하는가

D = 상위집단 정답률 − 하위집단 정답률

예) 상위집단 82% − 하위집단 24% = 변별도 .58

⚠ 생성 단계의 예상 정답률은 실제 통계가 아니다

사전 난도 추정: 상  /  예상 정답률 범위: 30~50%
추정 근거: 3개 문장 통합, 조건 삭제형 경쟁 오답, 결론의 간접 재진술
주의: 실제 정답률과 변별도는 파일럿 시행 후 확정

Section 3.4 · 목표 범위

권장 목표 예상 정답률

절대 기준이 아니라 사전 설계 목표이며, 학생 집단과 시험 맥락에 따라 조정한다.

전체

30 – 50%

상위권

45 – 65%

최상위권

70 – 90%

Section 4 · 금지 사항

이렇게 난도를 높이지 않는다

  • 금지생소·희귀 단어만 과도하게 사용
  • 금지지엽적 문법 예외 규칙으로 함정
  • 금지원문과 무관한 배경지식 요구
  • 금지문장이 이상해서 오답을 고르게 함
  • 금지오답에 비문·어색한 연어 삽입
  • 금지선택지 한 개만 유난히 길게 구성
  • 금지all/always/never 등 극단 표현 남용
  • 금지정답만 지문 핵심어 그대로 복사
  • 금지고급 어휘를 난도와 동일시
  • 금지출제자 의도를 추측해야 풀리는 문항
Section 5.1 · 핵심 원칙

표면 정보와 핵심 논리를 구분한다

상위권은 개별 문장을 이해한다. 최상위권 변별 문항은 다음을 추가로 요구한다.

  • 문장 간 논리 관계
  • 필자의 전제
  • 주장과 사례의 관계
  • 양보와 반전
  • 일반화의 범위
  • 조건과 제한
  • 인과와 상관의 구분
  • 핵심 주장과 부수 정보의 구분
  • 문단 전체의 기능
  • 필자의 태도 강도
  • 수단과 목적의 구분
Section 5.2 · 오답 설계

오답은 “부분 정답형”으로 만든다

좋은 오답의 조건 (하나 이상 포함)

  • 지문의 일부만 반영 / 방향은 맞지만 범위 과도
  • 핵심 주장을 지나치게 축소 / 원인·결과 뒤바꿈
  • 조건·제한 삭제 / 사례를 일반 주장으로 확대
  • 필자 태도 과장·약화 / 시간·대상·정도 표현 변경
  • 수단·목적 혼동 / 앞은 맞지만 뒤의 핵심이 틀림

예시

원문
Technology can support learning when students actively evaluate its output.

부분 정답형 오답
Technology generally improves learning regardless of how students use it.

→ 방향은 반영하되 조건절을 삭제한 전형적 함정.

Section 5.3–5.4 · 근거 설계

추론은 근거 구조로 기록한다

근거 구조 표기 예시

근거 A: 기존 관점 제시
근거 B: 반례 또는 제한 조건 제시
근거 C: 필자의 수정된 주장
통합 관계: A를 B로 제한하고 C로 재정의

유형별 필요 근거 범위

  • 주제·요지·제목·요약: 글 전체/복수 문장
  • 빈칸·내용 추론: 최소 2개 이상 의미 단서
  • 함축 의미: 밑줄 표현 + 앞뒤 논리
  • 글의 순서: 문단 간 담화 관계
  • 문장 삽입: 앞뒤 양방향 연결
  • 어법: 해당 문장 전체 통사 구조
  • 어휘: 해당 문장·문단 전체 의미 방향

핵심은 근거의 개수가 아니라 근거의 충분성과 필연성이다.

Section 6 · 지문 선정

지문 선정 기준

✔ 적합한 지문

  • 중심 주장과 보조 근거가 구분됨
  • 대조·인과·전환·예시·반론 중 2개 이상 포함
  • 핵심 개념이 재정의되거나 제한됨
  • 표면 정보와 필자의 최종 주장이 완전히 같지 않음
  • 배경지식 없이 지문 내부 근거로 해결 가능

✘ 부적합한 지문

  • 사실 나열만 있음 / 지나치게 짧음
  • 한 문장에 정답이 그대로 있음
  • 주제가 너무 익숙해 배경지식만으로 풀림
  • 문단 간 논리 연결이 약함
  • 여러 문항 제작 시 문항 간 단서 누출이 심함
Section 7 · 지문 구조

권장 지문 구조 A – E

A. 통념 반박형

통념 제시문제 제기반례/제한수정된 주장

B. 원인-결과-조건형

현상 제시원인 설명결과 제시성립 조건/한계

C. 개념 재정의형

일반적 정의정의의 한계새로운 관점적용 사례

D. 양보-반전형

일부 장점 인정핵심 문제 제기제한적/수정된 평가

E. 비교-통합형

관점 A관점 B공통점/차이통합적 결론
Section 8 · 사전 분석

출제 전 지문 분석 템플릿

작성 항목

중심 주장 / 필자의 관점 / 필자의 태도 강도
핵심 대조 / 주요 인과 / 핵심 조건
제한 또는 예외 / 예시의 기능 / 문단별 기능
결론 / 배경지식 없이 해결 가능한가

변별 가능한 지점 (최소 3개) — 예시

  • 기술 사용 자체와 비판적으로 평가하며 사용하는 조건을 구분
  • 필자의 제한적 동의를 전면적 찬성으로 확대하지 않음
  • 사례를 일반 주장으로 과대 해석하지 않음
Section 9 · 적합성 판정

문항 유형 적합성 판정

유형판정이유
빈칸 추론적합결론이 앞선 대조와 조건을 종합함
주제·요지적합표면 소재와 최종 주장이 구분됨
문장 삽입조건부 적합지시어가 있는 문장을 분리할 수 있음
글의 순서부적합단락 간 독립성이 낮음
함축 의미적합평가적 비유 표현이 존재함
어휘적합문단 전체 방향과 충돌하는 어휘 설계 가능
요약문적합원인과 제한 조건을 압축할 수 있음
내용 추론적합여러 문장을 종합해야 하는 함의가 있음

부적합한 유형은 억지로 생성하지 않고 주제·제목·요지·필자의 주장·내용 일치불일치·문단 요약·함축 의미·지칭 추론 중 대체한다.

Section 10.1–10.6 · 유형별 규칙 I

문항 유형별 출제 규칙 (1)

주제·요지

표면 소재가 아닌 핵심 메시지 파악. 오답: 일부 사례 / 방향 오류 / 범위 과대·축소.

제목

소재+논지 방향+관점 압축. 오답: 소재만 일치, 대상 다름, 사례 과대대표, 반대 방향.

빈칸 추론

결론·전환직후·일반화 문장 등에 배치. 최소 2개 이상 단서 필요, 5지 모두 문법상 가능해야.

함축 의미

사전적 뜻만으론 불가. 앞뒤 논리+필자 태도 함께 반영. 오답: 문자적 의미, 반대 평가.

글의 순서

6개 배열 모두 검토, 지시어 선행사·일반-구체·인과 관계로 하나만 성립하게 설계.

문장 삽입

①~⑤ 전 위치 실제 삽입 검수. 앞뒤 양방향 연결이 정답 위치에서만 성립.

Section 10.7–10.11 · 유형별 규칙 II

문항 유형별 출제 규칙 (2)

무관한 문장

완전히 다른 주제 X. 초점·시간·인과·태도 방향 중 하나만 어긋난 문장 사용.

요약문 완성

(A)(B) 두 빈칸, 최소 하나는 관계·결과 재구성. 한 빈칸만으론 조합 확정 불가.

어법

문장 구조 분석 요구. 철자·오탈자 금지, 밑줄 아닌 부분도 모두 자연스러워야.

어휘

단순 반의어보다 논리적 부적합성 활용. 앞뒤 문장+전체 논지를 봐야 정답 판단.

내용 추론

배경지식 없이 지문 내부 근거만으로 추론. may/can/tends to 등 양태 표현을 정확히 반영. 오답은 범위·조건·대상·방향 중 하나를 왜곡.

Section 11 · 오답 코드

오답 설계 코드 D1 – D12

코드오류 유형설명
D1범위 과대일부·가능성을 전체·필연으로 확대
D2범위 축소핵심 주장 전체를 일부 사례로 축소
D3조건 삭제주장이 성립하는 조건이나 제한을 제거
D4인과 역전원인과 결과의 방향을 뒤바꿈
D5태도 과장제한적 동의·의문을 강한 찬성·반대로 확대
D6태도 약화강한 비판이나 결론을 중립적 태도로 약화
D7사례 일반화예시를 일반 주장으로 확대
D8대상 변경주장 대상이나 적용 집단을 변경
D9시간 범위 변경과거·현재·장기·일시적 범위를 바꿈
D10수단-목적 혼동방법과 최종 목적을 뒤바꿈
D11과정-결과 혼동변화 과정과 최종 결과를 동일시
D12부분 진실앞부분은 맞지만 뒤의 핵심이 틀림

문항당 오답 4개는 가능한 한 서로 다른 오류 유형을 사용한다. 예) ① D3 ② D7 ③ 정답 ④ D5 ⑤ D8

Section 12–13 · 검수

선택지 편향 검수 & 문항 간 단서 누출

선택지 편향 점검

  • 품사·문법 구조·길이·절 수 통일
  • 정답만 조건절·관계절·구체 예시 포함 금지
  • 정답만 지문 핵심어 그대로 반복 금지
  • 오답에 극단 표현(all/always/never) 반복 금지
  • 정답 위치가 전체 시험에서 편향되지 않게

문항 간 단서 누출 점검

  • 주제·제목 선택지가 빈칸 정답을 직접 제시하는가?
  • 요약문이 주제·제목·함축 의미 해석 방향을 노출하는가?
  • 동일 핵심 표현이 여러 정답 선택지에 반복되는가?
  • 한 문항 오답이 뒤 문항까지 연쇄적으로 틀리게 하는가?

→ 한 지문에서 8개 후보 문항 생성 후, 상호 독립성 검토하여 2~4개만 선별.

Section 14 · 출제 절차

출제 절차 9단계

1지문 적합성 진단

중심 주장·태도·대조·인과·조건·유형별 적합성 작성

2변별 목표 정의

각 문항이 어떤 오독을 변별하는지 한 문장 정의

3근거 지도 작성

근거1·근거2·근거3 및 근거 간 관계 명시

4정답 작성

핵심 논리와 정확히 일치, 태도 과장·축소 없이

5오답 작성

부분적으로 연결, 오류 코드 부여, 문법적으로 자연스럽게

6역검수

왜 매력적인가 / 어디서 틀렸는가 / 최상위권은 어떻게 배제하는가

7문항 독립성 검수

다른 문항 선택지가 정답을 알려주지 않는지 확인

8전문가 사전 검수

문법·의미·단일정답·근거충분성·선택지편향·유형적합성

9파일럿 및 통계 검증

정답률·변별도·문항-총점 상관·선택률·오답 패턴

Section 15–16 · 분석 보고서 & 품질 검수

문항별 분석 보고서 & 품질 검수표

문항 분석 보고서 항목

문항 유형 / 평가 요소 / 변별하려는 오독
핵심 근거 / 근거 간 관계 / 요구 추론 구조
정답 / 정답 근거 / 오답①~④ 코드 및 함정
사전 난도 추정 / 예상 정답률 범위
복수 정답 가능성 / 문항 간 단서 누출

품질 검수 6개 카테고리

  • 정답 검수 — 유일성·근거 충분성
  • 오답 검수 — 자연스러움·부분 타당성
  • 난도 검수 — 어휘가 아닌 추론 난도
  • 표현 검수 — 비문·병렬·선택지 길이
  • 선택지 편향 검수 — 정답 단서 노출 여부
  • 문항 간 독립성 검수 — 상호 단서 제공 여부
Section 17–18 · 안전장치

자동 생성 금지 규칙 & 생성 중단 기준

금지되는 출제 방식

  • 원문 전체를 기계적으로 유의어 치환
  • 정답만 문법적으로 자연스럽게 만들기
  • 오답에 비문 삽입 / 보기 길이로 정답 노출
  • 실제 통계 없이 변별도가 검증되었다고 선언
  • 부적합한 지문에서 순서·삽입 문항을 억지로 생성

생성 중단·대체 조건

  • 원문이 너무 짧거나 정보량 부족 / 정답이 한 문장에 그대로 제시
  • 삽입 위치가 두 곳 이상 가능 / 빈칸 정답이 복수 성립
  • 사실관계 불명확, 지문 밖 전문지식 필요
  • 문항 간 단서 누출이 제거되지 않음

[교사용 검수 메모] 현재 지문은 글의 순서 문항에 부적합 → 내용 추론으로 대체 권장. (학생용 문제지에는 미포함)

Section 19–20 · 출력 & 실행

권장 출력 형식 & 마스터 프롬프트 핵심값

학생용 문제지 8문항 구성

  1. 빈칸 추론
  2. 주제 또는 요지
  3. 문장 삽입
  4. 글의 순서
  5. 함축 의미
  6. 어휘
  7. 요약문 완성
  8. 내용 추론 또는 제목

+ 교사용 정답·해설 / 문항별 분석 보고서 / 단서 누출 검수 / 파일럿 기록 양식

마스터 프롬프트 핵심 파라미터

후보 문항 8개 실제 시험용 2~4개 정답률 30~50% 대체형 유형 처리

배경지식 없이 지문 내부 근거로 해결, 부분 정답형 경쟁 오답 구성, 정답·오답의 범위·조건·태도 차이를 정밀화한다.

Section 21–22 · 최종 판정

파일럿 이후 최종 승인 기준

승인

  • 정답이 유일하고 근거가 충분·필연적
  • 오답이 자연스럽고 매력적
  • 최상위권은 명확한 근거로 배제 가능
  • 문항 간 단서 누출 없음

수정 필요

  • 한 문장만 보면 답이 보임
  • 정답이 원문 그대로 복사됨
  • 복수 정답 가능성 존재
  • 다른 문항 선택지가 답을 노출

폐기

  • 지문 근거 없이 배경지식이 필요
  • 정답 근거가 불명확
  • 파일럿에서 하위권 정답률이 더 높음
  • 수정 후에도 복수 정답 가능성 제거 안 됨
Section 23 · 마무리

출제 철학

상위권과 최상위권의 차이는 더 많은 단어를 아는 데 있지 않다. 최상위권 학생은 다음을 더 정확히 수행한다.

  • 필자의 주장을 사례와 구분한다
  • 조건이 붙은 주장을 무조건적 진술로 일반화하지 않는다
  • 대조와 양보의 방향을 읽는다
  • 지시어가 무엇을 가리키는지 추적한다
  • 문장 간 인과관계를 재구성한다
  • 필자의 태도 강도를 과장·약화하지 않는다
  • 그럴듯한 오답에서 범위·태도·조건의 미세한 오류를 발견한다
  • 표면적으로 비슷한 표현 사이의 논리적 차이를 확인한다
좋은 변별형 문항은 어렵게 보이는 문항이 아니라,
정확하게 읽고 근거를 통합한 학생만 해결할 수 있는 문항이어야 한다.