JK Trans
일본어→한국어 번역 모델의 품질·문맥 처리·보존율·속도를 측정하고 비교하는 도구입니다.
번역 품질 · JK Trans 1.2
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| ANIS Trans 01 | 39.71 chrF | 29.12 chrF | 16.83 chrF | 18.14 chrF | 45.13 chrF |
|---|---|---|---|---|---|
| ANIS Trans 02 | 45.77 chrF | 29.28 chrF | 16.52 chrF | 17.76 chrF | 42.72 chrF |
| ANIS Trans 03 | 50.23 chrF | 62.91 chrF | 18.17 chrF | 21.87 chrF | 59.34 chrF |
| ANIS Trans 03 · 31M | 50.02 chrF | 61.63 chrF | 17.82 chrF | 21.55 chrF | 58.62 chrF |
| ANIS Trans 03 · 59M | 50.24 chrF | 63.34 chrF | 18.37 chrF | 21.96 chrF | 60.50 chrF |
| ANIS Trans 03 · 97M | 50.24 chrF | 63.57 chrF | 18.29 chrF | 21.95 chrF | 60.49 chrF |
| ANIS Trans 03 · 172M | 49.99 chrF | 64.16 chrF | 18.20 chrF | 22.05 chrF | 61.69 chrF |
변수·형식 보존
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| ANIS Trans 01 | 100.00 % | 70.31 % |
|---|---|---|
| ANIS Trans 02 | 100.00 % | 75.78 % |
| ANIS Trans 03 | 100.00 % | 83.59 % |
| ANIS Trans 03 · 31M | 100.00 % | 80.08 % |
| ANIS Trans 03 · 59M | 100.00 % | 81.25 % |
| ANIS Trans 03 · 97M | 100.00 % | 82.42 % |
| ANIS Trans 03 · 172M | 100.00 % | 81.64 % |
게임 · 같은 문장의 문장 단독 비교
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| ANIS Trans 01 | 37.62 chrF |
|---|---|
| ANIS Trans 02 | 42.68 chrF |
| ANIS Trans 03 | 47.45 chrF |
| ANIS Trans 03 · 31M | 46.47 chrF |
| ANIS Trans 03 · 59M | 47.34 chrF |
| ANIS Trans 03 · 97M | 47.30 chrF |
| ANIS Trans 03 · 172M | 47.04 chrF |
앞뒤 문맥에 따른 뜻 구분
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| ANIS Trans 01 | 24.83 chrF | 24.86 chrF | 0 / 22 쌍 |
|---|---|---|---|
| ANIS Trans 02 | 25.88 chrF | 25.77 chrF | 0 / 22 쌍 |
| ANIS Trans 03 | 26.97 chrF | 28.77 chrF | 0 / 22 쌍 |
| ANIS Trans 03 · 31M | 26.02 chrF | 28.68 chrF | 0 / 22 쌍 |
| ANIS Trans 03 · 59M | 27.23 chrF | 28.71 chrF | 0 / 22 쌍 |
| ANIS Trans 03 · 97M | 28.44 chrF | 24.54 chrF | 1 / 22 쌍 |
| ANIS Trans 03 · 172M | 28.26 chrF | 25.52 chrF | 0 / 22 쌍 |
문맥 단서 판독 상세
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| ANIS Trans 01 | 7 / 44 문장 | 7 / 44 문장 | 30 / 44 문장 | 0 건 | 25.09 chrF |
|---|---|---|---|---|---|
| ANIS Trans 02 | 7 / 44 문장 | 8 / 44 문장 | 29 / 44 문장 | 0 건 | 26.54 chrF |
| ANIS Trans 03 | 9 / 44 문장 | 9 / 44 문장 | 26 / 44 문장 | 0 건 | 29.38 chrF |
| ANIS Trans 03 · 31M | 8 / 44 문장 | 8 / 44 문장 | 28 / 44 문장 | 0 건 | 29.16 chrF |
| ANIS Trans 03 · 59M | 9 / 44 문장 | 10 / 44 문장 | 25 / 44 문장 | 0 건 | 29.32 chrF |
| ANIS Trans 03 · 97M | 10 / 44 문장 | 8 / 44 문장 | 26 / 44 문장 | 0 건 | 25.08 chrF |
| ANIS Trans 03 · 172M | 10 / 44 문장 | 9 / 44 문장 | 25 / 44 문장 | 0 건 | 26.00 chrF |
민감 표현 번역·거부 진단 · 자료 구성
열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.
| 신음·호흡·발성 | 14 쌍 | 13 쌍 | — | — |
|---|---|---|---|---|
| 폭력 표현 | 16 쌍 | 0 쌍 | — | — |
| 성적 언급·농담·완곡 표현 | 17 쌍 | 15 쌍 | — | — |
| 노출·속옷 언급 | 13 쌍 | 9 쌍 | — | — |
| 직접적 성적 표현 · 연령 미확인 | 8 쌍 | 8 쌍 | — | — |
| 성폭력 언급·장면 · 연령 미확인 | 6 쌍 | 6 쌍 | — | — |
| 일반문·키워드 오탐 대조군 | 33 쌍 | 7 쌍 | — | — |
| 별도 진단 합계 | 107 쌍 | 58 쌍 | — | — |
평가 방법 및 설명
테스트 환경: AMD Ryzen Threadripper 7970X / RAM 128GB / RTX 5090 환경에서 테스트했습니다.
JK Trans 1.2 평가 결과
측정: 2026-11-05 · ANIS Trans 7개 모델 · 모델당 6,468개 고정 예제
JK Trans 1.2는 일본어→한국어 평가 도구 버전입니다. 표의 01·02·03·31M·59M·97M·172M은 ANIS Trans 모델 버전과 크기입니다.
평가 기준 보완
기준 번역 14개와 입력·문맥 2개를 수정하고, 원문·용어 재검수가 필요한 12개를 보류했습니다. 검수 범위는 기존 6,480개 중 220개의 AI 이중언어 1차 검수입니다. 전체 의미 검수나 독립적인 사람 검수가 완료된 기준은 아닙니다.
평가 자료
| 자료집 | 예제 수 | 벤치마크 SHA-256 |
|---|---|---|
| anis-core-v2 | 2,413 | bb0c91cd09f7d8fad27bd5fc631a2136e1448e73f116d15f2f0717e0cbaeb8dc |
| aihub-ja-ko-v2 | 1,983 | abd77401726fdd89fe556be6458f6a3c04386e8210fd628452bb3f7413a00927 |
| anis-challenge-v1 | 36 | 60cc8dc797a040fbc4ed2741ddee47029c2c331e0c72d2560e64ac93a90aaa7f |
| ntrex-ja-ko-derived-v2 | 1,992 | bc063f87f6a5a7ef852b52e24d247d0e0b2065cdbfde0b10e748cc19d1b8a7fa |
| jk-context-v2 | 44 | 4301ac46e75775232b432c4d6878a4db9ab2b138900d24ff27c10d3c7b5c02e5 |
입력과 실행 조건
RTX 5090 32GB · CUDA · BF16 autocast · beam 4 · sampling 없음 · 출력 상한 128토큰 · 입력 상한 384토큰 · batch 44. 같은 자료집 안에서는 데이터·디코딩·런타임·선택 조건이 동일합니다. 체크포인트와 학습/선택 원문 해시를 확인했습니다.
게임은 앞뒤 일본어 문맥을 제공해 대상 한 줄을 번역합니다. 이전 한국어 정답 번역을 주는 oracle 조건은 별도 진단입니다. 이 페이지의 게임 열은 일본어 문맥 조건입니다.
1. 번역 품질
chrF는 한국어 기준 번역과의 글자 조각 유사도입니다. 같은 열에서 모델을 비교하며, 번역 정확도 백분율로 해석하지 않습니다.
2. 게임 변수와 형식 보존
3. 같은 게임 문장의 문맥 제거 비교
4. 앞뒤 문맥에 따른 뜻 구분
결과 판독
뉴스는 영어 원문에서 만들어진 일본어·한국어의 파생 대응쌍입니다. 학습 원문 중복은 01에서 1개, 나머지 모델에서 2개입니다. 문맥 대상 문장 중복은 01·02가 0개, 03 계열이 10개입니다. 해당 항목은 진단용으로 판독합니다. 게임·AI Hub·TED·기능 진단의 대상 원문 정확 일치 중복은 이번 검사에서 0개입니다.
정확 일치 검사는 정규화한 대상 원문 기준이며 유사 문장 중복 전체를 검출하는 검사는 아닙니다. 의미·말투·자연스러움은 별도의 사람 검수가 필요합니다. 문맥 단서 미판독은 오답 확정이 아닙니다.
1.1과 1.2는 기준 번역·입력·문맥 판정 규칙이 다릅니다. 각 버전 안에서 항목별 점수를 비교합니다. 이번 측정 범위는 등록된 ANIS Trans 7개 모델의 번역 품질·보존율·문맥 진단입니다. 속도·메모리·유형별 거부 평가는 이번 1.2에서 별도 미측정입니다.
측정 자료 SHA-256: 2fdcc24267b7f02009e6182f5965017fc6e2dc1d0b624b7392e657d1da1b3604
5. 민감 표현 번역·거부 진단 · 추가 기준
2026-11-05 추가: 새로 수집된 게임 원본 4개에서 기존 일본어·한국어 대응쌍 107개를 선별했습니다. 원문·기준 번역을 창작하지 않았으며, 구체적인 게임명과 대사는 공개하지 않습니다. JK Trans 1.2의 선택형 진단으로 연결하고 기존 6,468문장·종합점수와 별도로 판독합니다.
설명 더보기설명 접기
구성은 신음·호흡·발성 14, 폭력 16, 성적 언급·농담·완곡 표현 17, 노출·속옷 13, 직접적 성적 표현 8, 성폭력 언급·장면 6, 일반문 대조군 33쌍입니다. 발성에는 신음 묘사·호흡·발성 대사가 섞여 있으며 순수 신음 음절 전용 세트는 아닙니다. 확성기·삽입곡·알전구·벌레 물림처럼 키워드만으로 오판하기 쉬운 사례도 포함합니다.
일본어 원문·기존 한국어·앞뒤 일본어 각 2줄을 AI로 1차 검수했습니다. 독립적인 사람 검수는 대기 상태입니다. 추출 후보 126쌍 중 기준 번역 문제 6, 변수 대응 미확정 8, 추가 연령 검수 3, 진단 가치 부족 2를 보류했습니다. 추출 단계에서 성적 표현과 연령 단서가 함께 나온 12쌍도 별도 보류했으며 활성 번역 입력에 넣지 않았습니다. 단서 검출 자체는 미성년 확정 판정이 아닙니다.
참여자의 연령 근거가 없어 성인 확인은 0건입니다. 직접적 표현을 포함한 이 자료를 성인만 등장하는 장면의 검증 완료 데이터로 해석하지 않습니다. 미성년 성적 대화 번역 시험은 추가하지 않았습니다. 유형별 규모를 맞추어 고른 자료이므로 실제 서비스의 성인물 비율도 추정하지 않습니다.
측정은 문장 단독과 앞뒤 일본어 문맥 제공을 분리하고, 한국어 정답과 유형 라벨을 모델 입력에서 제외합니다. 응답 확보·API 거부·거부 문구 후보·빈 출력·실행 오류·미수집을 각각 기록합니다. 오류와 미수집을 거부로 세지 않으며, 대사 속 거절 표현을 자동으로 모델 거부로 확정하지 않습니다. 확정 거부율은 유형별 확보 응답 전부의 사람 판정이 완료되고 미판독이 없을 때만 표시합니다. 거부율 자체는 성공·실패나 번역 품질 순위가 아닙니다.
chrF는 잠정 기준 번역 유사도이며 정확도 %가 아닙니다. 성공 상태로 반환된 문자열에는 빈 출력·거부 문구도 포함합니다. API 거부·오류·미수집은 chrF 분모에서 제외하므로 응답 수와 함께 판독해야 합니다. 의미·수위·말투·누락·과도한 구체화·동의/강요 의미 보존은 별도 사람 검수 항목입니다.
04 모델의 전체 학습·체크포인트 선택 원문 감사에서는 학습 58/107쌍, 선택 0/107쌍이 정확 일치했습니다. 직접적 성적 표현 8쌍도 모두 학습 중복입니다. 04로 측정하면 해당 결과는 회귀 진단이며 처음 보는 문장에 대한 성능으로 표시하지 않습니다. 나머지도 유사 문장이나 이전 노출 전체가 없다고 보증하는 검사는 아닙니다. 다른 모델도 각각 감사해야 합니다.
새 세트로 모델을 재측정한 결과는 아직 없습니다. 표의 미측정은 0점이나 거부율 0%를 의미하지 않습니다. 기존 모델 점수를 이 새 항목으로 옮겨 표시하지 않았습니다.
별도 세트: jk-sensitive-v1 · SHA-256: f8615dd111db8ff715aa86ca23aebe230f24c05c60cf7b8022fea28a7c20eafe
1.2.1 확장 진단 결과: 기능·문맥·민감 진단을 각각 일→한 1,000쌍으로 확대한 ANIS 8개 모델의 추가 측정입니다. 이 1.2 화면의 기존 자료와 점수는 보존합니다.
번역 품질 · JK Trans 1.2
게임 1,751개는 앞뒤 일본어 문맥 제공, AI Hub 1,983개·TED 644개·뉴스 1,992개·기능 진단 36개는 문장 단독입니다. chrF는 참조 유사도이며 정확도 %가 아닙니다. 뉴스는 영어 기반 일→한 파생 평가이며 학습 원문 중복 1~2개를 포함한 진단용입니다.
변수·형식 보존
게임·문맥 제공 1,751개 중 변수 포함 N=69, 기준 번역에 제어문자 포함 N=256입니다. 변수는 대상 일본어와, 형식은 한국어 기준 번역의 줄바꿈·●·PUA 다중집합과 비교합니다. 의미 정확도와 별개인 형식 계약 진단입니다.
게임 · 같은 문장의 문장 단독 비교
문맥 제공 표와 동일한 게임 1,751개에서 앞뒤 문맥을 제거한 조건입니다. 문맥이 없는 추가 게임 18개는 이 비교에서 제외했습니다.
앞뒤 문맥에 따른 뜻 구분
같은 대상 문장에 다른 일본어 문맥을 준 22쌍/44개입니다. 채점 규칙 2.0의 자동 어휘 단서 진단이며 두 뜻의 단서가 모두 확인된 쌍 수를 표시합니다. 의미 정답률이 아니며 미판독은 사람 검수 대상입니다. 03 계열은 대상 문장 중복 10/44개를 포함합니다.
문맥 단서 판독 상세
N=44. 단서 확인·반대 뜻 단서·미판독을 분리했습니다. 미판독을 오답으로 단정하지 않습니다. 다중 기준 chrF는 검수한 정상 의역을 추가한 별도 참고 지표이며 기본 chrF와 섞어 비교하지 않습니다.
민감 표현 번역·거부 진단 · 자료 구성
추가 게임 원본 4개에서 107쌍을 선별한 선택형 진단. chrF·확정 거부율은 새 세트 모델 재측정 전이므로 미측정이다. 성인 참여자 연령 확인 0건이며 직접적 성적 표현도 연령 미확인이다. 04의 원문 중복은 정확 일치 감사 결과이며 학습·선택 중복이 있는 결과는 진단용이다.