1. 한눈에 보기
- 무엇인가 — 경제 기사 1건을 붙여넣으면 12개 항목으로 채점하고, 왜 그 점수인지 기사 속 문장을 근거로 제시하는 도구.
- 두 가지 기능
- 🔬 기사 품질 분석 — 항목별 등급 + 근거 문장 + 비슷한 기사들 사이에서의 위치
- 💬 데스크 챗봇(ENDC) — 초고를 놓고 "무엇을 어떻게 고칠지" 대화로 상담
- 누가 쓰나 — 출고 전 자기 점검(기자) · 초고 검토(데스크) · 저널리즘 교육·연수 · 매체별·주제별 품질 모니터링(연구자).
- 무엇이 근거인가 — ① 선행 연구 → ② 경제 저널리스트·시장 전문가 11명 심층 인터뷰 → ③ 파일럿 300건 실측 검증 → ④ 본 측정 30,178건의 순서로 만들어진 기준.
- 이론적으로 그럴듯해도 실제 측정에서 기사를 갈라내지 못하면 폐기함. 텍스트 가독성 공식(만점 비율 72.7%), 질의응답식 이해도 측정, 기사 구성 항목이 그렇게 탈락함.
2. 3분 사용법
🔬 기사 품질 분석
- 왼쪽에 Gemini API 키 입력 (무료 발급, 사이드바 안내 참고)
- 위쪽 기사 품질 분석 탭 클릭
- 기사 본문 붙여넣기 (400자 이상 권장)
- 제목·부제·언론사·분야는 넣어도 되고 안 넣어도 됨
- 제목은 본문 칸이 아니라 제목 칸에 따로 넣을 것 — 제목 과장 점검이 정확해짐
- 장르(시황·스트레이트·분석해설·기획탐사·논평)는 자동 판정됨
- 분석 시작 클릭 → 약 5~15초 소요
- 결과는 3단계로 나옴 (아래 4번 항목 설명 참고)
- 맨 아래에서 취재원·전문용어·막히는 문장 확인 후 리포트 내려받기
💡 개별 기사의 점수를 확정적으로 쓰려면 반복 채점 3회 이상 권장. 같은 기사를 다시 채점했을 때 항목 점수가 그대로 나올 확률은 약 50%임.
💬 데스크 챗봇 (ENDC)
- 왼쪽에 Gemini API 키 입력
- 위쪽 데스크 챗봇 탭 클릭
- 왼쪽 칸에 기사 초고 붙여넣기 (선택 사항)
- 분석을 먼저 돌렸다면 분석 결과 함께 전달 체크 권장 — 답변이 훨씬 구체적으로 나옴
- 질문을 직접 쓰거나 빠른 질문 버튼 클릭
- 예: "이 기사에서 가장 먼저 고칠 것은?", "취재원을 어떻게 보강할까?"
- 챗봇이 근거로 삼는 자료
- EJQI 12개 항목의 정의와 채점 기준
- 전문가 인터뷰 11명의 원문 발언
- 기사 30,178건 실제 측정 결과
💡 챗봇은 "이렇게 써야 한다"고 강요하지 않음. 기자가 의도한 선택일 수 있음을 전제로 선택지를 제시함. 전문가들이 경고한 '기사 획일화 위험'을 반영한 설계임.
3. 무엇을 채점하는가 — 4개 차원 12개 항목
- 항목마다 눈으로 확인 가능한 조건이 정해져 있음. "느낌"으로 주는 점수가 아님.
- 12개 항목 중 10개만 차원 평균에 들어감. C1 이해 난이도와 C3 용어 해설률은 코드가 C로 시작하지만 어느 차원 평균에도 넣지 않고 단독으로 읽음 (아래 표의 ★ 표시). C1은 품질이 아니라 '쉬움'을 재는 값이고, C3는 척도가 0–100이라 0–5 항목과 같은 평균에 섞을 수 없기 때문임.
- 모든 점수에 기사 본문 인용이 따라붙고, 그 인용이 실제 본문에 있는지 코드가 대조함. (30,178건 측정 기준, 없는 문장을 지어낸 비율 0.30%)
| 차원 | 코드 | 항목 | 점수 | 방향 | 무엇을 보는가 |
|---|---|---|---|---|---|
| A 분석 깊이 차원 평균 = A1~A4 | A1 | 수치 맥락화 | 0–5 | 높을수록 좋음 | 핵심 수치에 비교 기준선(전년 동기 수치·컨센서스·과거 시계열·경쟁 기업)과 시점·출처가 붙는가 |
| A2 | 인과·불확실성 | 0–5 | 높을수록 좋음 | 원인 설명의 작동 원리가 있는가. 확인된 사실과 앞으로의 전망이 구분되는가 | |
| A3 | 검증·반론 | 0–5 | 높을수록 좋음 | 발표·보도자료를 그대로 옮기지 않고 따로 확인하거나 반대 근거를 담는가 | |
| A4 | 영향 범위 | 0–5 | 높을수록 좋음 | 누가 영향을 받는지 열거되고 언제까지의 이야기인지(단기/중장기) 밝히는가 | |
| B 취재원·투명성 차원 평균 = B3 | B3 | 이해관계 공시 | 0–5 | 높을수록 좋음 | 말한 사람이 어느 편에 서 있는지 독자가 알 수 있는가 (해당 종목 보유 증권사, 규제 대상 업계 단체 등) |
| C 이해 가능성 차원 평균 = C2·C4·C5 | ★ C1 | 이해 난이도 | 0–5 | ⚠ 높을수록 쉬움 (품질 아님) ★ 차원 밖 단독 지표 | 경제 지식이 거의 없는 성인이 이 기사만 읽고 이해 가능한가. 내용이 단순해서(행사 안내·인사) 쉬운 경우도 5점 |
| C2 | 설명 노력 | 0–5 | 높을수록 좋음 | 어려운 내용이 실제로 있는데도 비전문가가 따라갈 수 있게 풀어 썼는가 | |
| ★ C3 | 용어 해설률 | 0–100% | 높을수록 좋음 ★ 차원 밖 단독 지표 | 전문용어를 얼마나 풀어 줬는가 (없음 0 · 사전적 0.5 · 맥락번역 0.85 · 중요성설명 1.0으로 가중 평균) | |
| C4 | 수치 체감화 | 0–5 | 높을수록 좋음 | 핵심 수치를 독자가 체감할 단위로 바꿔 주는가 (내 부담액·1인당·월 단위) | |
| C5 | 사례·비유 | 0–5 | 높을수록 좋음 | 사례·비유·현장 목소리로 추상적인 지표를 구체화하는가 | |
| D 맥락 충실성 차원 평균 = D1·D2 | D1 | 배경·시계열 | 0–5 | 높을수록 좋음 | 앞선 사정, 장기 흐름, 되풀이되는 경기 사이클 속 위치가 제시되는가 |
| D2 | 독자 함의 | 0–5 | 높을수록 좋음 | 이 정보가 왜 중요한지, 독자의 삶·자산·판단에 어떤 의미인지 설명되는가 |
💡 점수 매기는 방식 — '앵커'
- 앵커 = 몇 점을 주려면 무엇이 보여야 하는지 미리 못 박아 둔 기준선.
- 예) A1 수치 맥락화 — 저축은행 연체율 기사의 경우
- 0점 "연체율 5.14%" (숫자만 있음)
- 2점 "지난해 말 대비 오른 5.14%" (시점만 붙음)
- 4점 여기에 "전년 동기 3.02%" 같은 비교 기준선이 붙음
- 5점 다시 "상호금융 0.15%·은행 0.64%와 견줘 업권 최고" 해석까지 붙음
- 0~5점을 다 쓰지는 않음. A1~A4는 0·2·4·5점만, B3·C2·C4·C5·D1·D2는 0·3·5점만, C1은 0·2·3·4·5점만 정의됨. 채점자가 확신을 갖고 구별 가능한 단계만 남긴 것으로, 사실상 3~4단계짜리 순서 척도임. 결과도 그렇게 읽어야 함.
- C3 용어 해설률만 채점이 아니라 계산 결과임. 모델은 용어를 뽑고 설명 수준만 판정하고,
비율 계산은 코드가 수행함(같은 목록이면 몇 번을 돌려도 같은 값).
예) 용어 4개가 '없음·없음·사전적·맥락번역'이면 (0+0+0.5+0.85) ÷ 4 = 33.75%
함께 나오는 부가 정보 (점수 아님)
- 표시만 하는 점검 3종 — 제목 과장·왜곡 / 낙관·비관 균형(0–5) / 홍보·광고성 + 홍보 유형 9분류.
점수에 합산되지 않고 깃발만 세움.
- 낙관·비관 균형은 방향을 헷갈리기 쉬움 — 5는 낙관 쪽 이야기와 비관 쪽 이야기가 고르게 실렸다는 뜻이고, 0에 가까울수록 낙관이든 비관이든 어느 한쪽으로만 치우쳐 서술됐다는 뜻임(0 = 극단 편향). 낮다고 해서 기사가 틀렸다는 뜻은 아니며, 한쪽 관점만 실렸는지 확인하라는 표시임.
- 뽑아 주는 자료 3종
- 취재원 목록 — 16개 유형으로 분류. 증권사·셀사이드와 자산운용·바이사이드를 따로 나눈 것은 전문가들이 지적한 '셀사이드 편중'을 확인하기 위함임
- 전문용어 목록 — 용어별 설명 수준 4단계 판정
- 비전문가가 막히는 문장 — 6개 유형으로 지목
4. 결과 읽는 법 — 3단계
1단계 · 항목별 진단 카드 (가장 중요한 산출물)
- 항목마다 등급 + 근거 문장 + 판정 이유가 나옴.
- 등급 표기 — ● 충족 / ◐ 대체로 충족 / ○ 부분 충족 / ✗ 미충족.
- 점수 자체보다 "어느 문장이 왜 문제인가"를 보는 것이 이 도구의 사용법임. 전문가 인터뷰에서 요구된 형태임 — "점수보다 근거가 중요합니다. 어느 문장이 왜 감점인지 제시하고"(I08).
2단계 · 비슷한 기사들 사이에서의 위치 (백분위)
- 백분위 = 100건 중 몇 번째로 좋은가. P70이면 비슷한 기사 100건 중 상위 30번째쯤이라는 뜻.
- 왜 절대 점수보다 위치인가 — 기사가 길수록 점수가 오르는 효과가 매체 유형 차이보다 4배 컸음. 짧은 시황 기사와 긴 기획 기사를 같은 자로 재면 불공평함.
- 그래서 장르 × 길이대로 나눈 16개 비교군 중 내 기사와 같은 칸 안에서만 백분위를 냄. (길이대: S 800자 미만 / M 800~2,000자 / L 2,000자 이상)
3단계 · 가중치를 바꿔도 흔들리지 않는 백분위 범위
- 2단계와 같은 백분위 P○로 읽음 — 숫자가 클수록 상위. P90이면 상위 10%, P50이면 딱 중간. 2단계와 다른 점은 비교 상대뿐임 — 2단계는 장르·길이가 비슷한 기사끼리, 3단계는 전체 기사와 견줌.
- 왜 필요한가 — 네 차원 중 무엇을 더 중요하게 볼지는 사람마다 다름. 분석 깊이를 중시하는 데스크와 이해 가능성을 중시하는 독자의 결론이 달라질 수 있음.
- 무엇을 하는가 — 차원별 비중 배분을 1,000가지로 바꿔 가며 백분위를 매번 다시 계산함.
- 단 하나 고정하는 규칙 — 분석 깊이(A) ≥ 이해 가능성(C) ≥ 맥락 충실성(D) ≥ 취재원·투명성(B)의 순서. 전문가 인터뷰에서 합의된 것은 이 순서뿐이고, "A는 몇 %, C는 몇 %" 같은 비율은 근거가 없기 때문임.
- 결과 읽는 법 — 나오는 "P○ ~ P○"는
어떤 비중을 쓰더라도 이 기사의 백분위가 대체로 이 폭 안이라는 뜻
(1,000가지 배분 중 95%).
- 폭이 좁으면 → 누가 어떤 관점으로 봐도 평가가 비슷한 기사
- 폭이 넓으면 → 보는 관점에 따라 평가가 갈리는 기사 (사람 판단이 더 필요)
- 비교 모집단 — 전체 30,178건 기준임. 브라우저에서 돌려야 하므로 실제 계산은 그 30,178건에서 무작위로 뽑은 3,000건 표본으로 함.
5. 꼭 알아 둘 세 가지
- ① 총점(단일 종합점수)이 없음. 12개 항목을 평균하지 않음. 30,178건 분석에서 이해관계 공시(B3)와 이해 난이도(C1)가 나머지 항목과 따로 놀았기 때문임. 두 항목을 평균에 넣으면 홍보성 단신의 점수가 오히려 부풀려짐.
- ② 이해 난이도(C1)는 품질 점수가 아님. 높을수록 '쉽다'는 뜻일 뿐임. 실제 측정에서 설명할 내용 자체가 없는 기사가 가장 쉬웠음(4.94/5). 설명 노력(C2)과는 반대 방향으로 움직임(상관 −0.28). 두 값을 나란히 읽을 것.
- ③ 점수 하나에 매달리지 말 것. 같은 기사를 다시 채점하면 항목 점수가 그대로 나올 확률이 약 50%임. 매체·분야·시기를 통째로 비교할 때는 1회 측정으로 충분하지만, 기사 1건의 점수를 확정적으로 쓰려면 반복 채점(3회 이상)이 필요함.
6. 처음 보는 말 풀이
| 용어 | 쉬운 설명 |
|---|---|
| 앵커 | 몇 점을 주려면 기사에 무엇이 보여야 하는지 미리 정해 둔 기준선. "이런 게 보이면 4점" 식의 채점 규칙 |
| 비교 기준표 (규준) | 실제 경제 기사 30,178건을 이 도구와 똑같은 방식으로 채점해 만든 성적 분포표. 내 기사가 몇 등쯤인지 재는 자 |
| 비교군 | 내 기사와 조건이 비슷한 기사 묶음. 장르 5종 × 길이대 3종으로 나눈 16개 칸 중 하나. 표본이 30건 미만이면 더 넓은 칸으로 자동 완화 |
| 백분위 (P○) | 비교군 100건 중 몇 번째로 좋은가. P50이면 딱 중간, P90이면 상위 10% |
| 문단 [P1] [P2] | 기자가 나눈 문단이 아님. 수집된 본문에 줄바꿈이 없어, 코드가 문장 3개씩 묶어 만든 약 200자짜리 위치 표시 단위. "기사의 몇 번째 대목인가"를 가리키는 좌표일 뿐이며, 문단 개수를 기사 구성이나 가독성으로 해석하면 안 됨 |
| 분석 창 | 전문용어를 뽑는 범위. 앞 1,200자까지로 고정함. 기사가 길수록 뒷부분 용어가 누락돼 길이가 다른 기사끼리 비교가 안 되는 문제를 막기 위함임 ⚠ 용어 해설률(C3)에만 적용됨. 나머지 11개 항목과 취재원 목록은 기사 전체가 대상 |
| 장르 | 시황 / 스트레이트 / 분석해설 / 기획탐사 / 논평 5종. 모델이 자동 판정하며 비교군을 고르는 데 쓰임 |
| 점검(게이트) | 점수화하지 않고 깃발만 세우는 항목. 제목 과장, 낙관·비관 균형, 홍보·광고성 3종 |
| 낙관·비관 균형 | 0–5. 5 = 낙관 쪽과 비관 쪽 이야기가 고르게 실림, 0에 가까울수록 어느 한쪽으로만 치우쳐 서술됨(0 = 극단 편향). 점수에 합산되지 않는 표시용 값이며, 낮다고 기사가 틀렸다는 뜻은 아님 |
| 차원 밖 단독 지표 | C1 이해 난이도와 C3 용어 해설률. 코드는 C로 시작하지만 C 차원 평균에 넣지 않고 따로 읽는 값. C 차원 평균은 C2·C4·C5로만 냄 |
7. 이 도구의 한계 — 반드시 읽을 것
순위를 매기거나 사람을 평가하는 장치가 아님.
- 기사 1건의 점수는 확정적이지 않음. 같은 기사를 다시 채점했을 때 항목 점수가 그대로 나올 확률이 약 50%임. 매체·분야·시기 단위의 집합 비교에는 1회 측정으로 충분하나, 개인 평가·인사 고과 연동은 권장하지 않음.
- 이해 가능성(C) 차원은 아직 타당성이 확립되지 않음. 다른 조건을 통제했을 때 뚜렷한 결과가 나온 것은 용어 해설률뿐임. 이 차원은 참고용 기술통계로만 읽을 것.
- 사람 채점자와의 대조 검증이 아직 수행되지 않음. 현재 결과는 "LLM이 채점 규칙을 적용한 결과"임.
- 제목 과장 점검은 잘 작동하지 않음. 실제 발생률의 100분의 1 수준만 잡아냄.
- 점수가 높다고 좋은 기사인 것은 아님. 통념을 뒤집는 역발상 기사가 낮게 나올 수 있음.
- 기사 1건의 텍스트만으로 잴 수 없는 것은 아예 넣지 않음 — 과거 전망의 사후 검증, 자본·권력으로부터의 독립성, 타 매체와의 차별성. 중요하지만 측정 층위가 다른 개념들임.
8. 개인정보와 데이터 처리
- 이 페이지에는 서버가 없음. 정적 파일만 배포되며, 계산은 전부 이용자의 브라우저 안에서 이루어짐.
- 입력한 API 키와 기사 본문은 어디에도 저장되지 않음. 기사 본문은 채점을 위해 Google Gemini API로만 전송됨.
- 키는 이용자가 직접 체크한 경우에만 브라우저 로컬 저장소에 남음. 기본값은 저장 안 함.
- 탭을 닫으면 입력 내용이 모두 사라짐.
- 외부 추적 스크립트·분석 도구·CDN을 일절 쓰지 않음.
🔬 기사 품질 분석
기사 1건을 12개 항목(4개 차원 10개 + 차원 밖 단독 지표 2개)으로 채점하고 3단계로 보여 줌. 모든 점수에 본문 인용이 따라붙으며, 그 인용이 실제 본문에 있는지 코드가 대조함.
반복 채점은 기사 1건의 점수를 확정적으로 쓸 때만 필요함(1회 채점의 재현율 약 50%). 반복 시 temperature 0.7이 적용되고 호출 비용이 배로 늘어남.
💬 경제 뉴스 데스크 챗봇 (ENDC)
EJQI 12개 항목의 채점 기준, 전문가 인터뷰 11명의 원문 발언, 기사 30,178건 측정 결과를 근거로 조언함. 규범을 강요하지 않고 선택지를 제시함.
📝 검토 대상 (선택)
※ 기사 품질 분석 탭에서 먼저 분석하면 켤 수 있음.