1. 이 서비스는 무엇인가
- 경제 뉴스 한 건의 품질을 다차원으로 진단하는 도구입니다. 두 개의 서비스로 이루어져 있습니다.
- 🔬 품질 분석 시스템 — 기사를 넣으면 12개 항목을 채점하고, 근거 문장과 비교군 내 위치를 보여줍니다.
- 💬 데스크 챗봇(ENDC) — 초고를 놓고 무엇을 어떻게 고칠지 대화로 조언합니다.
- 무엇에 쓰나요
- 기사 출고 전 자기 점검 · 데스크의 초고 검토 · 저널리즘 교육과 연수 · 매체·주제별 품질 모니터링
- 무엇이 근거인가요
- ① 선행 연구 → ② 경제 저널리스트·시장 전문가 11명 심층 인터뷰 → ③ 파일럿 300건 실측 검증 → ④ 본 측정 30,178건의 순서로 만들어졌습니다.
- 이론적으로 그럴듯해도 실측에서 변별력이 없으면 폐기했습니다. 텍스트 가독성 공식(만점 72.7%), 질의응답 기반 이해도(비용 55%에 고유 기여 0.02), 기사 구성 항목(천장 81~89%)이 그렇게 탈락했습니다.
2. EJQI의 구성 — 4차원 12항목
- 항목은 관측 가능한 조건으로 정의되어 있습니다. 인상 평정이 아닙니다.
- 모든 채점에는 본문 원문 인용이 따라붙고, 그 인용이 실제로 본문에 있는지 코드로 대조합니다. (전량 측정 기준 환각률 0.30%)
| 차원 | 코드 | 항목 | 척도 | 방향 | 무엇을 보는가 |
|---|---|---|---|---|---|
| A 분석 깊이 | A1 | 수치 맥락화 | 0–5 | 높을수록 좋음 | 핵심 수치에 비교 기준선(전년 동기·컨센서스·과거 범위·경쟁사)·시점·출처가 붙는가 |
| A2 | 인과·불확실성 | 0–5 | 높을수록 좋음 | 인과 메커니즘이 있고, 확인된 사실과 전망이 구분되는가 | |
| A3 | 검증·반론 | 0–5 | 높을수록 좋음 | 발표·보도자료를 그대로 옮기지 않고 교차 확인하거나 반대 근거를 담는가 | |
| A4 | 영향 범위 | 0–5 | 높을수록 좋음 | 영향받는 주체가 열거되고 시간 지평(단기/중장기)이 언급되는가 | |
| B 취재원·투명성 | B3 | 이해관계 공시 | 0–5 | 높을수록 좋음 | 인용된 취재원이 어떤 이해관계에 서 있는지 독자가 알 수 있는가 |
| C 이해 가능성 | C1 | 이해 난도 | 0–5 | ⚠ 높을수록 쉬움 (품질 아님) | 경제 지식이 없는 성인이 이 기사만 읽고 이해할 수 있는가 |
| C2 | 설명 노력 | 0–5 | 높을수록 좋음 | 어려운 내용이 실제로 있는데도 비전문가가 따라갈 수 있게 쓰였는가 | |
| C3 | 용어 해설률 | 0–100 | 높을수록 좋음 | 전문용어 해설 수준의 가중 비율 (없음 0 · 사전적 0.5 · 맥락번역 0.85 · 중요성설명 1.0) | |
| C4 | 수치 체감화 | 0–5 | 높을수록 좋음 | 핵심 수치가 독자 체감으로 환산되는가 (절약액·부담액·1인당·월 단위) | |
| C5 | 사례·비유 | 0–5 | 높을수록 좋음 | 사례·비유·현장 목소리로 추상적 지표를 구체화하는가 | |
| D 맥락 충실성 | D1 | 배경·시계열 | 0–5 | 높을수록 좋음 | 선행 맥락, 장기 추세, 사이클 안에서의 위치가 제시되는가 |
| D2 | 독자 함의 | 0–5 | 높을수록 좋음 | 이 정보가 왜 중요한지, 독자의 삶·자산·의사결정에 어떤 의미인지 설명되는가 |
- 게이트 3종 — 점수화하지 않고 표시만 합니다.
- G1 제목 과장·왜곡 · G2 감성 균형(0–5) · G5 홍보·광고성 + 홍보 유형 9분류
- 추출 3종 — 점수가 아니라 근거 산출물입니다.
- 취재원 16분류(증권사·셀사이드 ↔ 자산운용·바이사이드를 분리) · 전문용어와 해설 수준 · 비전문가가 막히는 문장 6유형
3. 읽는 방향 — 꼭 알아 두실 세 가지
- ① 단일 종합점수가 없습니다. 12개 항목을 평균하지 않습니다. 30,178건 분석에서 이해관계 공시와 이해 난도가 나머지 항목과 직교하는 것으로 나타났기 때문입니다(제1 주성분 적재량 −0.026, −0.125). 두 항목을 평균에 넣으면 홍보성 단신의 점수가 부풀려집니다.
- ② 이해 난도는 품질이 아닙니다. 높을수록 ‘쉽다’는 뜻입니다. 실측에서 설명할 내용이 없는 기사가 가장 쉬웠습니다(4.94/5). 설명 노력과는 상관 −0.28로 반대 방향입니다. 두 값을 나란히 읽어 주세요.
- ③ 절대 점수보다 비교군 내 위치. 본문 길이 효과가 매체 유형 효과의 4배입니다. 그래서 장르 × 길이대로 나눈 16개 비교군 안에서의 백분위를 함께 보여 드립니다.
4. 사용법
🔬 품질 분석 시스템
- 왼쪽에 Gemini API 키를 입력합니다.
- 품질 분석 시스템 탭으로 이동합니다.
- 기사 본문을 붙여 넣습니다. (400자 이상 권장)
- 제목·부제·언론사·분야는 선택 사항입니다.
- 분야를 고르면 리포트에 함께 표기됩니다.
- 장르는 모형이 자동 판정하며 비교군 선택에 쓰입니다.
- 분석 시작을 누릅니다. 약 5~15초 걸립니다.
- 결과는 세 층으로 나옵니다.
- Layer 1 진단 카드 — 항목별 등급과 근거 문장 (주 산출)
- Layer 2 규준 프로파일 — 비교군 내 백분위
- Layer 3 가중치 구간 — 가중치를 바꿔도 벗어나지 않는 백분위 범위
- 아래에서 취재원·전문용어·막히는 지점을 확인하고 리포트를 내려받습니다.
💡 개별 기사의 항목 점수를 확정적으로 쓰려면 반복 채점 3회 이상을 권장합니다. 1회 채점의 항목 자기일관성은 0.50입니다.
💬 데스크 챗봇 (ENDC)
- 왼쪽에 Gemini API 키를 입력합니다.
- 데스크 챗봇 탭으로 이동합니다.
- 왼쪽에 기사 초고를 붙여 넣으면 그 기사를 놓고 대화합니다. (선택)
- 분석 시스템을 먼저 돌렸다면 분석 결과 함께 전달을 켜 보세요. 훨씬 구체적으로 답합니다.
- 입력창에 질문을 적거나 빠른 질문 버튼을 누릅니다.
- 예: “이 기사에서 가장 먼저 고쳐야 할 것은?”, “취재원을 어떻게 보강할까요?”
- 챗봇은 다음을 근거로 답합니다.
- EJQI 12항목의 조작적 정의와 앵커
- 전문가 인터뷰 11명의 원문 발언
- 코퍼스 30,178건 실측 수치
💡 챗봇은 규범을 강요하지 않습니다. 의도한 선택일 수 있음을 전제로 선택지를 제시합니다. 전문가들이 지적한 ‘획일화 위험’을 반영한 설계입니다.
5. 알아두실 한계
이 도구는 순위를 매기는 장치가 아닙니다.
- 개별 기사 점수는 확정적이지 않습니다. 항목 단위 자기일관성이 0.50입니다. 집합 비교(매체·분야·시기)는 1회 측정으로 충분하나, 개인 평가·인사 고과 연동은 권장하지 않습니다.
- 이해 가능성 차원의 타당도는 확립되지 않았습니다. 용어 해설률만 통제 후 유의미했습니다. 이 차원은 기술통계로만 읽어 주세요.
- 인간 코더 검증이 아직 수행되지 않았습니다. 현재 결과는 “LLM이 코드북을 적용한 결과”입니다.
- 제목 과장 게이트는 잘 작동하지 않습니다. 실제 발생률의 100분의 1 수준만 잡습니다.
- 높은 점수가 좋은 기사를 보장하지 않습니다. 통념과 다른 역발상 기사가 낮게 나올 수 있습니다.
6. 개인정보와 데이터 처리
- 이 페이지에는 서버가 없습니다. 정적 파일만 배포되며, 계산은 전부 여러분의 브라우저 안에서 이루어집니다.
- 입력한 API 키와 기사 본문은 어디에도 저장되지 않습니다. 기사 본문은 채점을 위해 Google Gemini API로만 전송됩니다.
- 키는 원하실 때만 브라우저 로컬 저장소에 남습니다(체크박스로 선택). 기본값은 저장하지 않음입니다.
- 탭을 닫으면 입력 내용이 모두 사라집니다.
🔬 경제 뉴스 품질 자동 분석
기사 1건을 EJQI 4차원 12항목으로 채점하고 3층으로 산출합니다. 모든 채점에는 본문 원문 인용이 따라붙으며, 그 인용을 코드로 대조 검증합니다.
반복 채점은 개별 기사의 항목 점수를 확정적으로 쓸 때만 필요합니다(자기일관성 0.50). 반복 시 temperature 0.7이 적용되고 호출 비용이 배로 늘어납니다.
💬 경제 뉴스 데스크 챗봇 (ENDC)
EJQI 12항목의 앵커, 전문가 인터뷰 11명의 원문 발언, 코퍼스 30,178건 실측을 근거로 조언합니다. 규범을 강요하지 않고 선택지를 제시합니다.
📝 검토 대상 (선택)
※ 품질 분석 시스템 탭에서 먼저 분석하면 켤 수 있습니다.