AI Trans Lab - ANIS 한글패치 커뮤니티

벤치마크 도구

JK Trans

일본어→한국어 번역 모델의 품질·문맥 처리·보존율·속도를 측정하고 비교하는 도구입니다.

종합 비교지수 · 기존 계산 방식 유지

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

종합 비교지수 · 기존 계산 방식 유지

ANIS Trans 01	28.98	31.13
ANIS Trans 02	29.53	32.78
ANIS Trans 03	40.38	42.35
ANIS Trans 03 · 31M	39.14	41.31
ANIS Trans 03 · 59M	40.68	42.59
ANIS Trans 03 · 97M	40.66	42.57
ANIS Trans 03 · 172M	40.92	42.74
ANIS Trans 04	43.55	45.18
GPT-5.6 Luna	43.81	46.46
GPT-6 Luna	42.40	44.51
Qwen3 8B	33.53	32.91
TranslateGemma 4B	29.81	29.29
Gemma 3 4B	31.21	31.03
Aya Expanse 8B	33.82	33.66
Qwen3 14B	34.58	33.80
TranslateGemma 12B	33.99	33.51
Gemma4 26B-A4B Uncensored	42.18	44.49
NLLB-200 600M	23.19	19.51
M2M100 418M	24.92	21.82
MADLAD-400 3B	27.40	26.23
Hunyuan-MT 7B	33.00	29.02
Gemma 4 E2B · 공식 IT Q4_K_M	39.09	40.84
Gemma 4 E4B · 공식 IT Q4_K_M	40.05	41.69
ANIS Trans 04 · Plus	43.90	45.48

전체 번역 평가 · 기존 항목 + 확장 진단

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

전체 번역 평가 · 기존 항목 + 확장 진단

ANIS Trans 01	39.71 chrF	29.12 chrF	16.83 chrF	18.14 chrF	51.85 chrF	20.85 chrF	25.22 chrF
ANIS Trans 02	45.77 chrF	29.28 chrF	16.52 chrF	17.76 chrF	54.55 chrF	21.90 chrF	30.23 chrF
ANIS Trans 03	50.23 chrF	62.91 chrF	18.17 chrF	21.87 chrF	58.56 chrF	23.52 chrF	35.48 chrF
ANIS Trans 03 · 31M	50.02 chrF	61.63 chrF	17.82 chrF	21.55 chrF	55.54 chrF	22.98 chrF	33.24 chrF
ANIS Trans 03 · 59M	50.24 chrF	63.34 chrF	18.37 chrF	21.96 chrF	59.04 chrF	23.21 chrF	35.41 chrF
ANIS Trans 03 · 97M	50.24 chrF	63.57 chrF	18.29 chrF	21.95 chrF	58.81 chrF	23.19 chrF	35.96 chrF
ANIS Trans 03 · 172M	49.99 chrF	64.16 chrF	18.20 chrF	22.05 chrF	59.27 chrF	23.31 chrF	35.75 chrF
ANIS Trans 04	51.72 chrF	64.71 chrF	18.46 chrF	22.23 chrF	68.77 chrF	23.82 chrF	56.98 chrF
GPT-5.6 Luna	57.08 chrF	63.09 chrF	20.10 chrF	27.68 chrF	64.36 chrF	48.42 chrF	53.64 chrF
GPT-6 Luna	52.92 chrF	58.24 chrF	21.00 chrF	26.89 chrF	63.48 chrF	48.16 chrF	55.06 chrF
Qwen3 8B	30.44 chrF	51.16 chrF	18.84 chrF	23.57 chrF	40.56 chrF	20.03 chrF	38.16 chrF
TranslateGemma 4B	27.20 chrF	44.28 chrF	19.62 chrF	24.19 chrF	31.14 chrF	19.71 chrF	26.31 chrF
Gemma 3 4B	30.29 chrF	50.74 chrF	18.44 chrF	23.92 chrF	31.74 chrF	19.76 chrF	30.41 chrF
Aya Expanse 8B	33.04 chrF	52.40 chrF	19.89 chrF	26.07 chrF	36.92 chrF	24.43 chrF	33.09 chrF
Qwen3 14B	30.69 chrF	53.15 chrF	19.26 chrF	24.76 chrF	41.15 chrF	20.78 chrF	38.22 chrF
TranslateGemma 12B	31.60 chrF	47.08 chrF	20.93 chrF	27.17 chrF	40.77 chrF	23.36 chrF	39.81 chrF
Gemma4 26B-A4B Uncensored	53.71 chrF	64.28 chrF	19.18 chrF	26.49 chrF	58.77 chrF	37.07 chrF	55.80 chrF
NLLB-200 600M	4.75 chrF	36.62 chrF	19.81 chrF	24.57 chrF	11.78 chrF	7.89 chrF	7.00 chrF
M2M100 418M	9.41 chrF	36.88 chrF	17.00 chrF	23.74 chrF	22.06 chrF	9.71 chrF	24.19 chrF
MADLAD-400 3B	21.54 chrF	51.04 chrF	20.68 chrF	23.80 chrF	14.08 chrF	14.58 chrF	30.44 chrF
Hunyuan-MT 7B	13.10 chrF	46.03 chrF	20.76 chrF	27.89 chrF	37.31 chrF	14.93 chrF	21.21 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	47.85 chrF	59.63 chrF	19.24 chrF	25.98 chrF	51.50 chrF	29.63 chrF	48.55 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	48.27 chrF	60.18 chrF	20.62 chrF	26.97 chrF	52.43 chrF	32.47 chrF	49.03 chrF
ANIS Trans 04 · Plus	51.84 chrF	65.25 chrF	18.57 chrF	22.35 chrF	69.40 chrF	24.19 chrF	—

게임 변수·형식 보존

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

게임 변수·형식 보존

ANIS Trans 01	100.00 %	70.31 %
ANIS Trans 02	100.00 %	75.78 %
ANIS Trans 03	100.00 %	83.59 %
ANIS Trans 03 · 31M	100.00 %	80.08 %
ANIS Trans 03 · 59M	100.00 %	81.25 %
ANIS Trans 03 · 97M	100.00 %	82.42 %
ANIS Trans 03 · 172M	100.00 %	81.64 %
ANIS Trans 04	100.00 %	82.03 %
GPT-5.6 Luna	100.00 %	71.48 %
GPT-6 Luna	100.00 %	65.23 %
Qwen3 8B	98.55 %	72.66 %
TranslateGemma 4B	50.72 %	50.00 %
Gemma 3 4B	52.17 %	66.41 %
Aya Expanse 8B	79.71 %	53.13 %
Qwen3 14B	100.00 %	63.28 %
TranslateGemma 12B	85.51 %	50.78 %
Gemma4 26B-A4B Uncensored	98.55 %	77.73 %
NLLB-200 600M	0.00 %	0.00 %
M2M100 418M	50.72 %	40.23 %
MADLAD-400 3B	55.07 %	50.39 %
Hunyuan-MT 7B	56.52 %	14.84 %
Gemma 4 E2B · 공식 IT Q4_K_M	94.20 %	73.83 %
Gemma 4 E4B · 공식 IT Q4_K_M	91.30 %	58.98 %
ANIS Trans 04 · Plus	100.00 %	81.64 %

게임 · 같은 문장의 문맥 제거 비교

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

게임 · 같은 문장의 문맥 제거 비교

ANIS Trans 01	37.62 chrF
ANIS Trans 02	42.68 chrF
ANIS Trans 03	47.45 chrF
ANIS Trans 03 · 31M	46.47 chrF
ANIS Trans 03 · 59M	47.34 chrF
ANIS Trans 03 · 97M	47.30 chrF
ANIS Trans 03 · 172M	47.04 chrF
ANIS Trans 04	49.39 chrF
GPT-5.6 Luna	57.65 chrF
GPT-6 Luna	54.66 chrF
Qwen3 8B	30.79 chrF
TranslateGemma 4B	25.64 chrF
Gemma 3 4B	30.05 chrF
Aya Expanse 8B	32.80 chrF
Qwen3 14B	32.27 chrF
TranslateGemma 12B	30.08 chrF
Gemma4 26B-A4B Uncensored	52.79 chrF
NLLB-200 600M	11.52 chrF
M2M100 418M	14.57 chrF
MADLAD-400 3B	16.51 chrF
Hunyuan-MT 7B	28.70 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	45.98 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	44.49 chrF
ANIS Trans 04 · Plus	49.86 chrF

Gemma 4 크기별 번역 비교

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

Gemma 4 크기별 번역 비교

Gemma 4 E2B · 공식 IT Q4_K_M	4.60 B	4.59 GB	39.09 점	40.84 점	47.85 chrF	51.50 chrF	29.63 chrF	48.55 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	7.50 B	6.58 GB	40.05 점	41.69 점	48.27 chrF	52.43 chrF	32.47 chrF	49.03 chrF
Gemma4 26B-A4B Uncensored	25.20 B	16.80 GB	42.18 점	44.49 점	53.71 chrF	58.77 chrF	37.07 chrF	55.80 chrF

추가 진단 상세 · 참조 번역 유사도

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

추가 진단 상세 · 참조 번역 유사도

ANIS Trans 01	51.85 chrF	20.66 chrF	20.85 chrF	26.01 chrF	25.22 chrF
ANIS Trans 02	54.55 chrF	23.03 chrF	21.90 chrF	31.39 chrF	30.23 chrF
ANIS Trans 03	58.56 chrF	23.82 chrF	23.52 chrF	35.59 chrF	35.48 chrF
ANIS Trans 03 · 31M	55.54 chrF	23.77 chrF	22.98 chrF	33.78 chrF	33.24 chrF
ANIS Trans 03 · 59M	59.04 chrF	23.78 chrF	23.21 chrF	35.73 chrF	35.41 chrF
ANIS Trans 03 · 97M	58.81 chrF	24.02 chrF	23.19 chrF	36.22 chrF	35.96 chrF
ANIS Trans 03 · 172M	59.27 chrF	24.00 chrF	23.31 chrF	36.68 chrF	35.75 chrF
ANIS Trans 04	68.77 chrF	24.81 chrF	23.82 chrF	55.52 chrF	56.98 chrF
GPT-5.6 Luna	64.36 chrF	36.19 chrF	48.42 chrF	55.61 chrF	53.64 chrF
GPT-6 Luna	63.48 chrF	38.16 chrF	48.16 chrF	56.92 chrF	55.06 chrF
Qwen3 8B	40.56 chrF	18.02 chrF	20.03 chrF	39.31 chrF	38.16 chrF
TranslateGemma 4B	31.14 chrF	17.17 chrF	19.71 chrF	26.64 chrF	26.31 chrF
Gemma 3 4B	31.74 chrF	17.52 chrF	19.76 chrF	26.67 chrF	30.41 chrF
Aya Expanse 8B	36.92 chrF	22.94 chrF	24.43 chrF	30.16 chrF	33.09 chrF
Qwen3 14B	41.15 chrF	20.48 chrF	20.78 chrF	40.13 chrF	38.22 chrF
TranslateGemma 12B	40.77 chrF	19.76 chrF	23.36 chrF	40.43 chrF	39.81 chrF
Gemma4 26B-A4B Uncensored	58.77 chrF	30.23 chrF	37.07 chrF	56.03 chrF	55.80 chrF
NLLB-200 600M	11.78 chrF	10.28 chrF	7.89 chrF	11.43 chrF	7.00 chrF
M2M100 418M	22.06 chrF	12.65 chrF	9.71 chrF	25.45 chrF	24.19 chrF
MADLAD-400 3B	14.08 chrF	11.92 chrF	14.58 chrF	17.39 chrF	30.44 chrF
Hunyuan-MT 7B	37.31 chrF	21.20 chrF	14.93 chrF	38.82 chrF	21.21 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	51.50 chrF	25.56 chrF	29.63 chrF	46.56 chrF	48.55 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	52.43 chrF	28.18 chrF	32.47 chrF	48.80 chrF	49.03 chrF
ANIS Trans 04 · Plus	69.40 chrF	25.27 chrF	24.19 chrF	—	—

문맥별 뜻 구분 · 500개 대조쌍

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

문맥별 뜻 구분 · 500개 대조쌍

ANIS Trans 01	0 / 500 쌍	44 / 1,000 문장	44 문장	912 문장	0 문장
ANIS Trans 02	0 / 500 쌍	41 / 1,000 문장	43 문장	916 문장	0 문장
ANIS Trans 03	0 / 500 쌍	49 / 1,000 문장	49 문장	902 문장	0 문장
ANIS Trans 03 · 31M	0 / 500 쌍	44 / 1,000 문장	45 문장	911 문장	0 문장
ANIS Trans 03 · 59M	0 / 500 쌍	47 / 1,000 문장	48 문장	905 문장	0 문장
ANIS Trans 03 · 97M	1 / 500 쌍	52 / 1,000 문장	51 문장	897 문장	0 문장
ANIS Trans 03 · 172M	0 / 500 쌍	50 / 1,000 문장	52 문장	898 문장	0 문장
ANIS Trans 04	0 / 500 쌍	50 / 1,000 문장	48 문장	902 문장	0 문장
GPT-5.6 Luna	166 / 500 쌍	557 / 1,000 문장	69 문장	374 문장	0 문장
GPT-6 Luna	193 / 500 쌍	598 / 1,000 문장	51 문장	351 문장	0 문장
Qwen3 8B	11 / 500 쌍	176 / 1,000 문장	66 문장	758 문장	0 문장
TranslateGemma 4B	32 / 500 쌍	236 / 1,000 문장	55 문장	709 문장	0 문장
Gemma 3 4B	16 / 500 쌍	170 / 1,000 문장	76 문장	754 문장	0 문장
Aya Expanse 8B	36 / 500 쌍	277 / 1,000 문장	82 문장	641 문장	0 문장
Qwen3 14B	26 / 500 쌍	227 / 1,000 문장	72 문장	701 문장	0 문장
TranslateGemma 12B	52 / 500 쌍	298 / 1,000 문장	84 문장	618 문장	0 문장
Gemma4 26B-A4B Uncensored	120 / 500 쌍	458 / 1,000 문장	92 문장	450 문장	0 문장
NLLB-200 600M	8 / 500 쌍	87 / 1,000 문장	16 문장	795 문장	102 문장
M2M100 418M	2 / 500 쌍	61 / 1,000 문장	21 문장	889 문장	29 문장
MADLAD-400 3B	7 / 500 쌍	108 / 1,000 문장	33 문장	733 문장	126 문장
Hunyuan-MT 7B	53 / 500 쌍	338 / 1,000 문장	60 문장	602 문장	0 문장
Gemma 4 E2B · 공식 IT Q4_K_M	40 / 500 쌍	272 / 1,000 문장	115 문장	613 문장	0 문장
Gemma 4 E4B · 공식 IT Q4_K_M	74 / 500 쌍	366 / 1,000 문장	108 문장	526 문장	0 문장
ANIS Trans 04 · Plus	0 / 500 쌍	48 / 1,000 문장	52 문장	900 문장	0 문장

ANIS 기준 공통 원문 미중복 문항 · 참고 비교

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

ANIS 기준 공통 원문 미중복 문항 · 참고 비교

ANIS Trans 01	21.77 chrF	20.59 chrF	20.73 chrF	28.81 chrF	28.37 chrF
ANIS Trans 02	30.02 chrF	22.98 chrF	21.79 chrF	33.99 chrF	32.54 chrF
ANIS Trans 03	38.61 chrF	23.72 chrF	23.43 chrF	38.23 chrF	38.47 chrF
ANIS Trans 03 · 31M	36.98 chrF	23.67 chrF	22.87 chrF	35.52 chrF	35.36 chrF
ANIS Trans 03 · 59M	39.52 chrF	23.73 chrF	23.12 chrF	38.54 chrF	38.27 chrF
ANIS Trans 03 · 97M	39.52 chrF	23.92 chrF	23.09 chrF	39.05 chrF	38.86 chrF
ANIS Trans 03 · 172M	40.39 chrF	23.95 chrF	23.21 chrF	39.75 chrF	38.67 chrF
ANIS Trans 04	66.73 chrF	24.83 chrF	23.71 chrF	60.04 chrF	61.35 chrF
GPT-5.6 Luna	71.90 chrF	36.22 chrF	48.71 chrF	58.45 chrF	57.70 chrF
GPT-6 Luna	74.00 chrF	38.27 chrF	48.37 chrF	60.18 chrF	58.03 chrF
Qwen3 8B	51.68 chrF	17.87 chrF	19.84 chrF	46.20 chrF	45.09 chrF
TranslateGemma 4B	38.57 chrF	17.04 chrF	19.60 chrF	28.76 chrF	27.45 chrF
Gemma 3 4B	34.27 chrF	17.41 chrF	19.57 chrF	27.44 chrF	32.13 chrF
Aya Expanse 8B	39.37 chrF	22.87 chrF	24.39 chrF	30.59 chrF	35.46 chrF
Qwen3 14B	51.64 chrF	20.36 chrF	20.74 chrF	47.00 chrF	45.63 chrF
TranslateGemma 12B	53.99 chrF	19.66 chrF	23.23 chrF	46.52 chrF	45.76 chrF
Gemma4 26B-A4B Uncensored	65.37 chrF	30.19 chrF	37.10 chrF	61.78 chrF	61.53 chrF
NLLB-200 600M	12.25 chrF	10.11 chrF	7.96 chrF	10.54 chrF	6.99 chrF
M2M100 418M	39.13 chrF	12.63 chrF	9.75 chrF	31.11 chrF	30.53 chrF
MADLAD-400 3B	15.55 chrF	11.91 chrF	14.58 chrF	17.64 chrF	36.96 chrF
Hunyuan-MT 7B	45.05 chrF	21.18 chrF	14.85 chrF	43.37 chrF	24.17 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	57.05 chrF	25.49 chrF	29.62 chrF	50.77 chrF	53.14 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	59.21 chrF	28.15 chrF	32.51 chrF	53.76 chrF	54.40 chrF
ANIS Trans 04 · Plus	66.97 chrF	25.31 chrF	24.08 chrF	—	—

민감 표현 번역 응답·거부 진단

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

민감 표현 번역 응답·거부 진단

ANIS Trans 01 · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 01 · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 02 · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 02 · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 31M · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 31M · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 59M · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 59M · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 97M · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 97M · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 172M · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 03 · 172M · 문맥	1,000 건	0 건	0 건	0 건	—
ANIS Trans 04 · 단독	1,000 건	0 건	0 건	0 건	—
ANIS Trans 04 · 문맥	1,000 건	0 건	0 건	0 건	—
GPT-5.6 Luna · 단독	1,000 건	0 건	0 건	0 건	—
GPT-5.6 Luna · 문맥	1,000 건	0 건	0 건	0 건	—
GPT-6 Luna · 단독	1,000 건	0 건	0 건	0 건	—
GPT-6 Luna · 문맥	1,000 건	0 건	0 건	0 건	—
Qwen3 8B · 단독	1,000 건	0 건	0 건	0 건	—
Qwen3 8B · 문맥	1,000 건	0 건	0 건	0 건	—
TranslateGemma 4B · 단독	999 건	1 건	0 건	1 건	—
TranslateGemma 4B · 문맥	999 건	0 건	0 건	1 건	—
Gemma 3 4B · 단독	1,000 건	0 건	0 건	0 건	—
Gemma 3 4B · 문맥	1,000 건	0 건	0 건	0 건	—
Aya Expanse 8B · 단독	999 건	0 건	0 건	1 건	—
Aya Expanse 8B · 문맥	1,000 건	0 건	0 건	0 건	—
Qwen3 14B · 단독	999 건	0 건	0 건	1 건	—
Qwen3 14B · 문맥	1,000 건	0 건	0 건	0 건	—
TranslateGemma 12B · 단독	1,000 건	0 건	0 건	0 건	—
TranslateGemma 12B · 문맥	1,000 건	0 건	0 건	0 건	—
Gemma4 26B-A4B Uncensored · 단독	1,000 건	0 건	0 건	0 건	—
Gemma4 26B-A4B Uncensored · 문맥	1,000 건	0 건	0 건	0 건	—
NLLB-200 600M · 단독	1,000 건	0 건	2 건	0 건	—
NLLB-200 600M · 문맥	859 건	0 건	0 건	141 건	—
M2M100 418M · 단독	1,000 건	0 건	26 건	0 건	—
M2M100 418M · 문맥	884 건	0 건	1 건	116 건	—
MADLAD-400 3B · 단독	1,000 건	0 건	0 건	0 건	—
MADLAD-400 3B · 문맥	615 건	0 건	0 건	385 건	—
Hunyuan-MT 7B · 단독	1,000 건	0 건	0 건	0 건	—
Hunyuan-MT 7B · 문맥	1,000 건	5 건	0 건	0 건	—
Gemma 4 E2B · 공식 IT Q4_K_M · 단독	1,000 건	0 건	0 건	0 건	—
Gemma 4 E2B · 공식 IT Q4_K_M · 문맥	999 건	0 건	0 건	1 건	—
Gemma 4 E4B · 공식 IT Q4_K_M · 단독	1,000 건	0 건	0 건	0 건	—
Gemma 4 E4B · 공식 IT Q4_K_M · 문맥	1,000 건	0 건	0 건	0 건	—

민감 표현 유형별 chrF · 단독

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

민감 표현 유형별 chrF · 단독

ANIS Trans 01	26.38 chrF	25.97 chrF	24.28 chrF	22.43 chrF	19.69 chrF	18.59 chrF	30.13 chrF
ANIS Trans 02	32.67 chrF	31.42 chrF	29.66 chrF	28.05 chrF	22.22 chrF	22.86 chrF	35.83 chrF
ANIS Trans 03	34.48 chrF	35.70 chrF	32.86 chrF	35.94 chrF	26.33 chrF	25.50 chrF	39.08 chrF
ANIS Trans 03 · 31M	35.04 chrF	34.29 chrF	30.84 chrF	34.58 chrF	26.13 chrF	25.41 chrF	35.90 chrF
ANIS Trans 03 · 59M	34.21 chrF	35.70 chrF	32.12 chrF	35.78 chrF	28.00 chrF	25.70 chrF	39.68 chrF
ANIS Trans 03 · 97M	35.67 chrF	36.61 chrF	32.46 chrF	35.92 chrF	26.49 chrF	26.20 chrF	40.07 chrF
ANIS Trans 03 · 172M	34.74 chrF	37.02 chrF	32.88 chrF	36.14 chrF	27.30 chrF	28.05 chrF	40.72 chrF
ANIS Trans 04	50.98 chrF	56.27 chrF	48.15 chrF	57.58 chrF	38.60 chrF	39.61 chrF	61.43 chrF
GPT-5.6 Luna	47.56 chrF	56.97 chrF	48.22 chrF	61.99 chrF	41.48 chrF	37.89 chrF	58.89 chrF
GPT-6 Luna	49.34 chrF	59.42 chrF	45.57 chrF	63.02 chrF	43.09 chrF	39.03 chrF	60.30 chrF
Qwen3 8B	29.40 chrF	41.38 chrF	28.10 chrF	37.75 chrF	24.75 chrF	27.48 chrF	46.76 chrF
TranslateGemma 4B	27.73 chrF	27.78 chrF	18.95 chrF	25.01 chrF	22.21 chrF	20.08 chrF	30.55 chrF
Gemma 3 4B	25.89 chrF	29.21 chrF	21.93 chrF	26.26 chrF	19.23 chrF	14.77 chrF	28.58 chrF
Aya Expanse 8B	22.47 chrF	29.83 chrF	25.91 chrF	36.89 chrF	26.35 chrF	29.37 chrF	30.59 chrF
Qwen3 14B	32.92 chrF	41.58 chrF	29.60 chrF	37.87 chrF	27.52 chrF	24.80 chrF	48.25 chrF
TranslateGemma 12B	31.10 chrF	40.98 chrF	29.16 chrF	41.59 chrF	26.39 chrF	31.98 chrF	48.03 chrF
Gemma4 26B-A4B Uncensored	50.83 chrF	56.50 chrF	48.44 chrF	59.82 chrF	38.47 chrF	33.46 chrF	62.51 chrF
NLLB-200 600M	6.65 chrF	13.64 chrF	9.66 chrF	11.58 chrF	9.94 chrF	10.25 chrF	10.31 chrF
M2M100 418M	8.36 chrF	28.18 chrF	14.30 chrF	27.35 chrF	12.02 chrF	13.26 chrF	31.52 chrF
MADLAD-400 3B	8.33 chrF	19.03 chrF	11.31 chrF	25.85 chrF	12.26 chrF	13.65 chrF	15.94 chrF
Hunyuan-MT 7B	34.08 chrF	41.92 chrF	28.34 chrF	35.60 chrF	24.93 chrF	29.06 chrF	44.60 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	39.56 chrF	46.71 chrF	37.51 chrF	49.58 chrF	36.14 chrF	33.95 chrF	52.32 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	41.62 chrF	47.11 chrF	40.53 chrF	52.61 chrF	39.31 chrF	37.18 chrF	55.84 chrF

민감 표현 유형별 chrF · 문맥

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

민감 표현 유형별 chrF · 문맥

ANIS Trans 01	27.73 chrF	25.42 chrF	22.25 chrF	21.93 chrF	17.36 chrF	16.99 chrF	29.40 chrF
ANIS Trans 02	33.46 chrF	29.64 chrF	29.67 chrF	28.02 chrF	20.74 chrF	24.56 chrF	33.91 chrF
ANIS Trans 03	35.82 chrF	36.00 chrF	33.64 chrF	33.16 chrF	25.68 chrF	24.09 chrF	39.47 chrF
ANIS Trans 03 · 31M	36.33 chrF	34.04 chrF	32.09 chrF	30.04 chrF	24.51 chrF	25.67 chrF	36.18 chrF
ANIS Trans 03 · 59M	35.92 chrF	35.99 chrF	33.76 chrF	33.63 chrF	24.20 chrF	24.90 chrF	39.11 chrF
ANIS Trans 03 · 97M	33.81 chrF	36.21 chrF	34.54 chrF	33.79 chrF	25.06 chrF	25.73 chrF	40.42 chrF
ANIS Trans 03 · 172M	34.95 chrF	36.04 chrF	33.79 chrF	33.43 chrF	25.37 chrF	26.61 chrF	40.10 chrF
ANIS Trans 04	55.68 chrF	56.72 chrF	49.59 chrF	60.28 chrF	39.24 chrF	43.65 chrF	63.02 chrF
GPT-5.6 Luna	52.02 chrF	53.28 chrF	44.14 chrF	56.92 chrF	42.27 chrF	39.99 chrF	59.70 chrF
GPT-6 Luna	54.43 chrF	56.19 chrF	45.37 chrF	60.89 chrF	42.00 chrF	34.66 chrF	58.92 chrF
Qwen3 8B	24.59 chrF	38.85 chrF	26.43 chrF	39.19 chrF	25.79 chrF	24.91 chrF	46.42 chrF
TranslateGemma 4B	27.21 chrF	27.15 chrF	21.49 chrF	23.65 chrF	22.20 chrF	21.09 chrF	29.66 chrF
Gemma 3 4B	28.55 chrF	32.41 chrF	23.67 chrF	31.74 chrF	21.79 chrF	20.29 chrF	32.75 chrF
Aya Expanse 8B	26.66 chrF	32.94 chrF	28.08 chrF	38.75 chrF	23.90 chrF	29.38 chrF	35.34 chrF
Qwen3 14B	31.02 chrF	39.54 chrF	27.25 chrF	35.58 chrF	24.39 chrF	24.35 chrF	46.79 chrF
TranslateGemma 12B	33.57 chrF	40.33 chrF	28.45 chrF	40.30 chrF	26.95 chrF	29.70 chrF	47.42 chrF
Gemma4 26B-A4B Uncensored	50.36 chrF	56.11 chrF	47.37 chrF	59.86 chrF	38.15 chrF	31.45 chrF	62.90 chrF
NLLB-200 600M	2.70 chrF	7.92 chrF	4.75 chrF	9.47 chrF	4.81 chrF	2.56 chrF	6.88 chrF
M2M100 418M	9.59 chrF	28.06 chrF	12.08 chrF	24.79 chrF	8.63 chrF	7.02 chrF	30.74 chrF
MADLAD-400 3B	15.87 chrF	32.16 chrF	18.83 chrF	32.94 chrF	6.74 chrF	13.18 chrF	38.20 chrF
Hunyuan-MT 7B	14.85 chrF	22.61 chrF	13.48 chrF	21.42 chrF	13.84 chrF	16.01 chrF	25.77 chrF
Gemma 4 E2B · 공식 IT Q4_K_M	42.25 chrF	48.26 chrF	38.03 chrF	53.35 chrF	37.83 chrF	36.05 chrF	54.49 chrF
Gemma 4 E4B · 공식 IT Q4_K_M	39.88 chrF	47.32 chrF	40.97 chrF	52.97 chrF	42.27 chrF	34.85 chrF	56.00 chrF

일반 평문 번역 속도

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

일반 평문 번역 속도

Anis Trans 01	0.106 초	341.17	1.314 ms	473.85
Anis Trans 02	0.114 초	340.25	1.415 ms	486.91
Anis Trans 03	0.146 초	392.66	1.818 ms	481.69
Anis Trans 03 · 31M	0.144 초	393.15	1.794 ms	483.34
Anis Trans 03 · 59M	0.134 초	415.50	1.668 ms	519.99
Anis Trans 03 · 97M	0.141 초	398.39	1.760 ms	497.40
Anis Trans 03 · 172M	0.150 초	377.72	1.867 ms	475.49
GPT-5.6 Luna	5.341 초	11.17	66.480 ms	14.11
GPT-6 Luna	4.447 초	13.27	55.352 ms	16.27
Qwen3 8B	0.315 초	205.43	3.918 ms	238.26
TranslateGemma 4B	0.246 초	211.35	3.063 ms	300.77
Gemma 3 4B	0.197 초	251.90	2.454 ms	375.31
Aya Expanse 8B	0.245 초	204.13	3.049 ms	295.32
Qwen3 14B	0.526 초	132.46	6.547 ms	152.74
TranslateGemma 12B	0.530 초	108.23	6.594 ms	150.38
Gemma4 26B-A4B Uncensored	0.283 초	188.51	3.522 ms	266.27
NLLB-200 600M	0.237 초	171.53	2.951 ms	305.10
M2M100 418M	0.268 초	200.12	3.338 ms	272.21
MADLAD-400 3B	0.857 초	77.41	10.667 ms	79.35
Hunyuan-MT 7B	3.037 초	30.63	37.800 ms	25.80
Anis Trans 04	0.143 초	385.26	1.777 ms	492.67

평가 방법 및 설명

테스트 환경: AMD Ryzen Threadripper 7970X / RAM 128GB / RTX 5090 환경에서 테스트했습니다.

JK Trans 1.2.1 · 전체 평가와 1,000쌍 확장 진단

2026-11-05 · 기능 진단 1,000쌍, 문맥 뜻 구분 1,000쌍, 민감 표현·대조군 1,000쌍으로 확대했습니다. 여기서 1쌍은 일본어와 한국어 번역의 대응입니다. 문맥 평가는 동일 원문에 두 문맥을 붙인 500개 대조쌍, 총 1,000문장입니다.

기존 게임·일반 번역·보존율·속도·비교군을 유지하고 확장 진단을 추가한 화면입니다. ANIS Trans 01·02·03과 03의 31M·59M·97M·172M 모델, 04까지 8개는 1.2.1 기준 전체 항목과 확대 진단을 연결했습니다. 외부 비교군의 기존 기록은 JK Trans 1.1 탭에서 확인할 수 있습니다.

전체 평가 · 기존 항목에 진단 추가

게임·AI Hub·TED·뉴스, 게임 변수·형식 보존, 같은 게임 문장의 문맥 제거 비교를 모두 유지했습니다. 아래 요약은 이 기존 항목과 확대 진단을 함께 보여 줍니다. 1.2와 데이터 해시가 같은 항목은 검증된 기존 예측을 재사용하고, 빠져 있던 04는 동일 조건으로 보충 측정했습니다.

기존 항목은 batch 44, 확대 진단은 batch 48이며 각 열에서는 모든 ANIS 모델이 같은 입력·생성·런타임 조건을 사용합니다. 단순평균 비교지수는 기존 4/5항목 방식을 유지하되 기능 점수는 새 1000쌍을 반영합니다. 의미 정확도 %는 아닙니다.

외부 비교 모델 · 1.2.1 재평가

GPT 3종·Ollama 9종·번역 전용 모델 4종, 총 16종 중 15종의 전체 측정을 완료했습니다. 완료된 모델은 위 전체 품질·종합 비교지수·보존율·게임 단독 및 아래 확대 진단 표에 함께 표시합니다. 기존 ANIS와 과거 버전의 모든 결과도 유지합니다.

모델별 기존 프롬프트·언어 설정·생성 옵션·양자화·문맥 처리 방식을 기록했습니다. GPT는 CLI JSON 출력, Ollama는 문장별 요청, 번역 전용 모델은 기존 언어별 번역기와 문맥 어댑터를 사용합니다. 모델별 입력·출력 상한과 생성 방식이 다르므로 동일 디코더 실험으로 해석하지 않습니다. 번역 전용 문맥 점수에는 대상 구간 추출 오류도 포함되며 문맥의 자동 뜻 단서는 의미 정확도 %가 아닙니다.

예전 응답은 기록된 가중치 해시·프롬프트·생성 옵션·런타임이 일치하고 실제 입력과 응답 해시가 검증되는 경우에만 새 기준으로 재채점합니다. GPT는 제공사 내부 버전 고정을 확인할 수 없어 이번 실행의 응답으로 채웁니다. 모든 외부 모델의 사전학습 데이터 중복은 미확인입니다. 일본어 원문·문맥을 제공하고 한국어 정답·유형 라벨은 입력에서 제외했습니다.

Gemma 4 소형 모델 추가 비교

E2B·E4B는 공식 instruction 모델의 Q4_K_M 버전입니다. E는 유효 파라미터 규모이며 전체 저장 파라미터 수와 다릅니다. 기존 26B-A4B는 커뮤니티 uncensored 변형이므로 점수 차이를 크기만의 효과로 해석하지 않습니다. 공식 모델 설명 · 배포 모델 목록

기준을 어떻게 늘렸나

기능 진단은 기존 설계 예제 36개를 보존하고 실제 게임 번역 964개를 추가했습니다. 변수·숫자·부정·줄바꿈과 제어 형식·선택지와 시스템·화자와 말투·호칭 표현을 나누고, 기준 번역의 의미와 누락을 AI로 대조 검수했습니다. 원문·번역문을 새로 창작한 게임 대사는 아닙니다.

설명 더보기설명 접기

문맥은 기존 44문장을 보존하고 일상·게임 상황을 바탕으로 956문장을 새로 작성했습니다. 같은 일본어 대상 문장에 서로 다른 앞뒤 일본어를 붙여 해석이 달라지는지 확인합니다. GPT-6.1 Sol이 작성하고 GPT-5.6 Luna가 별도 요청으로 한일 대응과 실제 의미 차이를 검수했습니다. 뜻이 같은 번역 바꿔 쓰기, 부자연스러운 강제 해석, 정답의 문맥 전체 번역, 일본어 필드의 한국어 혼입, 중복 대상은 제외했습니다. 관련 예제는 어휘군으로 묶어 독립 표본 수를 과장하지 않습니다.

민감 표현은 기존 107쌍의 원문·기준 번역을 보존하고 새 게임 원본에서 893쌍을 추가했습니다. 성폭력 피해 보고 한 건은 성적 언급에서 성폭력 유형으로 바로잡았으며 텍스트는 바꾸지 않았습니다. 신음·호흡, 폭력, 성적 언급·농담, 노출·속옷, 직접적 성적 표현, 성폭력과 일반문 대조군을 구분합니다. 키워드 검색 결과를 그대로 정답 라벨로 삼지 않고 GPT-6 Luna의 한일 대조 검수를 거쳤습니다.

세 세트 모두 잠정 AI 검수 기준이며 독립적인 사람 검수는 완료되지 않았습니다. 민감 자료 참여자 연령은 미확인이고 성인 확인은 0건입니다. 성적 표현과 연령 단서가 겹치는 자료는 별도 검수 대상으로 보류하고 활성 번역 입력에 넣지 않았습니다. 미성년 성적 대화 번역 시험은 추가하지 않았습니다. 구체적인 게임명·대사·모델 파일은 공개하지 않습니다.

점수 판독

chrF는 같은 세트 내 참조 번역 유사도이며 번역 정확도 %가 아닙니다. 문맥의 자동 뜻 단서는 보조 진단입니다. 미판독을 오역으로 확정하지 않습니다. 민감 표현에서는 거부·빈 출력·실행 오류·미수집을 구분하고, 사람 응답 검수 전의 확정 거부율은 미측정으로 둡니다. 의미·수위·말투·누락·불필요한 구체화·동의/강요 의미 보존은 사람 검수가 필요합니다.

ANIS 기준은 RTX 5090 · CUDA BF16 · beam 4 · 입력 384토큰, 출력 128토큰 상한입니다. 기본 결과의 문맥은 일본어만 제공하며 이전 한국어 정답을 주는 oracle 조건은 별도 진단으로 유지합니다. 긴 입력은 대상 문장을 보존하며 먼 문맥부터 줄입니다. 민감 원본에 문맥이 없으면 같은 단독 입력의 실측 예측을 재사용하고 그 수를 표시합니다.

추가 측정 결과

anis-challenge-v2 · SHA-256: e642619580d9013acdb0458150c8915c359e9f222a39860712baf334d57f7a57

jk-context-v3 · SHA-256: e828627320c7969b9aa5b668ea014c6eab2fada26c45c9f1c975536b090343af

jk-sensitive-v2 · SHA-256: 8f994e93c1a72bd5b4371384a22dbd9ed2b540ac2c8db71d106efc8785a46b08

종합 비교지수 · 기존 계산 방식 유지

사용자가 요청한 기존 방식의 단순평균 비교지수다. 공통 4항목은 AI Hub·TED·뉴스·확대 기능 진단, 게임 포함 5항목은 여기에 게임 점수를 추가한다. 기능은 1000쌍 기준을 사용하므로 1.1·1.2의 평균과 직접 비교하지 않는다. 의미 정확도 %나 공식 합격점은 아니다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

전체 번역 평가 · 기존 항목 + 확장 진단

기존 게임·AI Hub·TED·뉴스를 유지하고 확대 기능·문맥·민감 진단을 함께 표시한다. 게임·문맥·민감은 일본어 문맥 조건, AI Hub·TED·뉴스·기능은 단독 조건이다. chrF는 정확도 %가 아니다. 중복 포함 항목은 회귀 진단이다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

게임 변수·형식 보존

기존 anis-core-v2의 동일 게임 문맥 조건을 유지한다. 변수는 대상 일본어와, 줄바꿈·●·PUA 제어문자는 한국어 기준 번역과 다중집합을 비교한다. 모든 ANIS 모델은 같은 기준·적용 표본으로 비교한다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

게임 · 같은 문장의 문맥 제거 비교

기존 게임 단독 평가도 유지한다. 문맥 제공 게임 1751개와 같은 대상 문장만 사용하며, 앞뒤 문맥이 원래 없는 추가 게임 18개는 이 대조에서 제외한다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

Gemma 4 크기별 번역 비교

E2B·E4B는 유효 규모이며 파라미터 열은 해당 Ollama 배포 구성의 메타데이터 표기다. 모델 파일은 배포 파일 합계이며 실행 시 GPU 메모리와 다르다. 기존 26B-A4B는 튜닝이 다른 커뮤니티 변형이므로 크기만 통제한 실험은 아니다. 모든 품질 점수는 동일 1.2.1 문항을 사용한다.

추가 진단 상세 · 참조 번역 유사도

이 표는 확대된 세 진단의 단독·문맥 조건을 비교한다. 기존 일반 번역 항목은 위 전체 평가에 함께 표시한다. 민감 표현에는 일반문 대조군이 포함된다. 원래 문맥이 없는 민감 항목은 같은 단독 입력의 실측 예측을 재사용한다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

문맥별 뜻 구분 · 500개 대조쌍

동일한 대상 문장의 두 문맥 모두에서 각 뜻을 지지하는 어휘가 확인된 수를 쌍 단위로 기록한다. 문장 전체의 의미 정확도나 사람 검수 정답률은 아니다. 앞뒤 일본어만 제공하고 한국어 정답은 입력하지 않았다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

ANIS 기준 공통 원문 미중복 문항 · 참고 비교

기능 305쌍, 문맥 972문장, 민감 477쌍. 전체 1000쌍은 유지하며, 이 표는 모든 8개 모델에 같은 미중복 부분을 적용한 파생 진단이다. 정확 일치 검사이므로 유사 문장이나 알 수 없는 노출 전체가 없다는 보증은 아니다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다. 이 문항들은 ANIS 8개 모델의 선언된 학습·선택 원문에 공통으로 미중복인 부분이며, 외부 모델의 미학습을 보증하지 않습니다.

민감 표현 번역 응답·거부 진단

거부 문구 후보와 공급자 명시 거부를 분리한다. 대사 속 거절은 정상 번역일 수 있다. 빈 출력·실행 오류·미수집을 거부로 세지 않는다. 확정 거부율은 사람 응답 검수 전이므로 미측정이다. 응답 확보는 번역 성공이나 무삭제 정확도를 뜻하지 않는다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

민감 표현 유형별 chrF · 단독

표본: 신음·호흡·발성 58쌍, 폭력 표현 280쌍, 성적 언급·농담·완곡 표현 130쌍, 노출·속옷 언급 149쌍, 직접적 성적 표현 · 연령 미확인 55쌍, 성폭력 언급·장면 · 연령 미확인 31쌍, 일반문·키워드 오탐 대조군 297쌍. 유형 라벨은 AI 1차 검수이며 독립 사람 검수 대기다. 외부 모델은 동일한 평가 문항에 각 모델의 기존 생성 프로토콜을 적용한 결과이며 사전학습 중복은 미확인입니다. 오류·거부는 전체 품질 분모에서 빈 예측으로 포함합니다.

민감 표현 유형별 chrF · 문맥

일반 평문 번역 속도

JK Trans 1.1에서 측정한 속도 기록입니다. 1.2.1에서 새로 측정한 결과가 아닙니다.

외부 모델 실행 조건

기존 모델별 실행 방식과 고정 가중치를 유지했다. 같은 입력 문항을 평가하지만 토큰화·입력/출력 상한·양자화·문맥 추출 방식은 모델별로 다르다. 입력 열은 Ollama에서 입력+출력 공유 문맥창, 번역 전용 모델에서 원문 입력 상한을 뜻한다. null은 확인하지 못한 제공사 기본값이다. 모델 가중치나 원문·정답은 공개하지 않는다.

열 제목을 누르면 오름차순·내림차순으로 정렬됩니다. —는 미측정입니다.

외부 모델 실행 조건

GPT-5.6 Luna	—	—	—
GPT-6 Luna	—	—	—
Qwen3 8B	4,096 토큰	512 토큰	512 토큰
TranslateGemma 4B	4,096 토큰	512 토큰	512 토큰
Gemma 3 4B	4,096 토큰	512 토큰	512 토큰
Aya Expanse 8B	4,096 토큰	512 토큰	512 토큰
Qwen3 14B	4,096 토큰	512 토큰	512 토큰
TranslateGemma 12B	4,096 토큰	512 토큰	512 토큰
Gemma4 26B-A4B Uncensored	4,096 토큰	512 토큰	512 토큰
NLLB-200 600M	1,024 토큰	128 토큰	512 토큰
M2M100 418M	1,024 토큰	128 토큰	512 토큰
MADLAD-400 3B	1,024 토큰	128 토큰	512 토큰
Hunyuan-MT 7B	1,024 토큰	512 토큰	512 토큰
Gemma 4 E2B · 공식 IT Q4_K_M	4,096 토큰	512 토큰	512 토큰
Gemma 4 E4B · 공식 IT Q4_K_M	4,096 토큰	512 토큰	512 토큰