AI Trans Lab

종합 · 게임 포함 5항목 = (게임·문맥 제공 + AI Hub + TED + 뉴스 파생 + 기능 진단) ÷ 5. 각 항목 비중은 20%입니다. 문맥 제공 게임을 측정한 모델끼리 비교합니다. 문맥 게임 미측정은 —로 표시하며 문장 단독 점수로 대체하거나 0점 처리하지 않습니다. 번역 전용 모델의 추가 문맥 점수는 별도로 설명한 어댑터 조건을 포함합니다.

기존 chrF의 항목별 동일 비중 평균 · 0~100, 높을수록 좋음 · 공통 4항목 평균 내림차순

저장된 반올림 전 점수로 평균을 계산한 뒤 소수 둘째 자리까지 표시합니다. 모델 추가로 기존 모델의 점수는 바뀌지 않습니다. 두 종합점수는 포함 항목이 달라 같은 열 안에서 비교합니다.

항목별 균형을 보는 참고 지표이며, 문장 수에 따른 가중 평균이나 전체 문장을 합쳐 다시 계산한 corpus chrF는 아닙니다. 36문장뿐인 기능 진단도 다른 항목과 같은 비중입니다. 뉴스의 학습 중복 가능성과 기준 번역의 검수 한계도 그대로 포함됩니다. 작은 점수 차이의 통계적 유의성은 검증하지 않았습니다. 속도·메모리·변수/형식 보존율·22쌍 문맥 진단·미측정 거부 평가는 이 점수에 합산하지 않습니다.

같은 열 안에서 모델끼리 비교하세요. 예를 들어 AI Hub의 64점과 TED의 18점은 서로 다른 자료의 점수이므로 정답률 차이로 해석하지 않습니다. 종합점수는 별도로 공개한 고정 산식에 따라 항목 점수를 평균한 참고 지표이며, 사람이 판정한 종합 번역 정확도나 인증 등급을 뜻하지 않습니다.

• 게임 점수와 문맥 진단: 게임 열은 앞뒤 문맥을 제공했을 때의 번역 유사도입니다. 같은 문장에 서로 다른 문맥을 줬을 때 뜻을 바꾸는지는 아래 2절의 22쌍 진단에서 별도로 확인합니다. 문장 단독 게임 점수는 별도 표에 있습니다. 번역 전용 모델의 추가 문맥 시험에는 아래에 설명한 대상 구간 추출 또는 번역 지시 어댑터가 포함됩니다.
• 기능 진단과 보존율: 기능 진단은 36개 문장의 번역 유사도입니다. 변수·줄바꿈·제어문자를 지켰는지는 별도의 변수·형식 보존율(%)로 봅니다. 유형별 번역 거부 여부는 4절의 별도 항목이며 현재 미측정입니다.
• 뉴스 점수의 한계: 원래 영어 기사에 대한 다국어 참조 번역을 일본어→한국어로 재구성한 평가입니다. Anis 03 및 크기 변형은 02에서 물려받은 학습 자료와 일부 뉴스 원문이 겹치므로, 이 열은 독립적인 미학습 성능을 입증하는 점수가 아닌 진단용 참고값입니다.
• 해석 범위: 기능 진단은 예제가 36개뿐인 초안이고, 전체 평가의 기준 번역도 독립적인 사람 검수 전입니다. 높은 chrF만으로 의미·말투·자연스러움이 모두 정확하다고 단정하지 않습니다.

품질 표는 모두 chrF이며 높을수록 좋습니다. 예제 수: 게임 1,752 · AI Hub 1,988 · TED 645 · 뉴스 파생 1,997 · 기능 진단 초안 36. 정확도 백분율은 아닙니다. 추가 번역 전용 4종의 게임 문장 단독 점수는 아래 별도 표에 표시합니다. —는 미측정입니다.

게임 보존율의 평가 수: 변수 69 · 형식 257. 번역 품질과 별도로 비교합니다. 생성 중단 입력 수는 전체 6,506개 입력 기준입니다. 번역 전용 4종은 문장 단독 입력이며, 전체 6,418개 입력 중 생성 상한 도달 수는 실행 식별에 기록했습니다.

동일한 게임 대사 1,752개의 앞뒤 문맥을 제거한 비교입니다. Anis 01·02·03 및 측정 완료된 크기 변형도 같은 문장 단독 조건으로 채점했습니다. 위의 문맥 제공 점수와 입력 조건이 다릅니다.

Luna는 Codex CLI에서 reasoning=low, 요청당 최대 64개 독립 입력으로 평가했습니다. 총 6,418개 입력, 104개 요청을 완료했으며 정답 번역은 프롬프트에 넣지 않았습니다. 변수·형식 평가는 번역 예제의 일부를 다시 검사한 항목이므로 표의 예제 수를 단순 합산하지 않습니다.

모델별 생성 조건은 다릅니다. Luna의 사전학습 중복 여부는 확인할 수 없습니다. NTREX는 일본어·한국어 참조 번역을 짝지은 파생 평가이며 공식 일→한 과제 점수가 아닙니다. 기능 진단은 36개 예제의 초안입니다.

Ollama 비교군 7개는 각 6,506개 입력(기존 품질 평가 6,418개 + 문맥·무문맥 진단 88개)을 평가했습니다. 같은 입력의 저장 응답을 재사용하며, 한 요청에는 한 입력만 전달했습니다. 정답 번역은 모델에 보내지 않았습니다. RTX 5090 32GB, Ollama 0.40.0, temperature=0, seed=42, 최대 출력 512토큰, 같은 번역 프롬프트로 평가했습니다. thinking을 지원하는 Ollama 비교군은 thinking을 껐습니다. 각 모델의 기본 채팅 템플릿과 양자화는 사용한 배포본을 따릅니다. 반복 생성으로 서버가 중단한 입력은 별도 오류로 기록하고 빈 번역으로 채점하며, 번역 거부로 집계하지 않습니다. Anis Trans 03은 약 4,010만 파라미터의 전용 모델이며 beam 4의 기존 결과입니다. 모델 구조·생성 방식은 다르며 공개 모델과 Luna의 사전학습 중복 여부는 확인할 수 없습니다. Gemma4 26B-A4B Uncensored: 기설치 gemma4-uncensored 로컬 프리셋. TrevorJS Uncensored Q4_K_M 가중치이며 기본 공식 Gemma4의 점수로 해석하지 않습니다. HF 원본 이름으로 등록된 모델과 같은 가중치이므로 중복 모델로 세지 않았습니다. 다른 LLM을 GPU에서 내린 단독 실행 결과이며, 앞선 CPU 혼합 실행 초안은 제외했습니다. CLI 추가 비교군은 기존 GPT-5.6 Luna와 같은 reasoning=low, 품질 평가 배치 64개로 실행했습니다. 품질 입력은 6,418개, 문맥·무문맥 평가 입력은 88개이며 대조 문맥은 같은 요청에 넣지 않았습니다. 속도는 평문 3개를 각각 새 CLI에서 순차 번역한 별도 측정입니다. CLI는 준비·통신을 포함하며 도구를 사용하지 않았습니다. 추가 번역 전용 4종은 Hugging Face 원본 revision을 고정하고 Ollama 없이 실행했습니다. NLLB·M2M100·MADLAD는 CTranslate2 INT8 가중치/BF16 연산·beam 4·최대 128토큰, Hunyuan-MT는 Transformers NF4 가중치/BF16 연산·greedy·최대 512토큰입니다. 각 모델의 공식 언어 토큰·번역 템플릿을 사용했습니다. 정답은 입력하지 않았으며, 6,418개 평가 입력의 중복 원문은 번역을 재사용했습니다. 기존 6,418개 시험은 문장 단독이며, 추가 문맥 시험은 별도 어댑터 조건으로 실행해 해당 결과를 추가했습니다. 기존 GPU 작업을 유지한 상태여서 속도를 GPU 독점 결과로 해석하지 않습니다. 양자화·디코딩·출력 상한이 다른 실행 결과이며, 각 모델 원본 정밀도의 최고 성능을 뜻하지 않습니다. 출력 상한에 도달한 번역도 그대로 채점하고 그 수를 기록했습니다. 게임 원문에서는 화자·행 유형 등의 메타태그를 제거하고 대상 문장의 변수·제어문자는 유지했습니다. 변수 보호나 사후 치환 처리는 추가하지 않았습니다. Anis 01·02 및 완료된 03 크기 변형을 추가했습니다. 01·02는 서로 학습 자료가 다른 기존 버전이며, 03 크기 비교는 같은 02 가중치에서 FFN 폭만 조정한 별도 실험입니다. 큰 모델은 뉴런 복제와 출력 가중치 분할로 초기 함수를 보존했고, 작은 모델은 중요도 기준 뉴런 선택 압축으로 시작해 초기 정보 손실이 있습니다. 작은 모델의 결과에는 이 초기화 차이도 포함됩니다. 모든 변형은 같은 03 학습 스크립트·데이터 순서·샘플링·최대 12,000스텝을 사용하며, 전체 학습풀의 모든 행을 한 번씩 학습했다는 뜻은 아닙니다. 모델 가중치 파일은 머신에 보관하며 공개하지 않습니다. 확장 모델은 같은 02에서 시작하며 실행 전에 FP32 초기 출력 보존 검사를 통과해야 합니다. BF16 실행에서는 반올림에 따른 차이가 있을 수 있습니다. 방법 참고: https://arxiv.org/abs/1511.05641 .

Qwen3 8B: Q4_K_M, digest 500a1f067a9f, 생성 상한 1개, 생성 중단 0개 / TranslateGemma 4B: Q4_K_M, digest 6d2c3b38bc4a, 생성 상한 1개, 생성 중단 0개 / Gemma 3 4B: Q4_K_M, digest 68ceab7e468a, 생성 상한 6개, 생성 중단 1개 / Aya Expanse 8B: Q4_K_M, digest 65f986688a01, 생성 상한 0개, 생성 중단 0개 / Qwen3 14B: Q4_K_M, digest bdbd181c33f2, 생성 상한 2개, 생성 중단 0개 / TranslateGemma 12B: Q4_K_M, digest 3189e9a01b8a, 생성 상한 1개, 생성 중단 0개 / Gemma4 26B-A4B Uncensored: Q4_K_M, digest 513063b46467, 생성 상한 2개, 생성 중단 0개 / GPT-6 Luna: codex-cli 0.164.0-alpha.11.1, reasoning=low, 요청 모델명 gpt-6-luna (서버 snapshot ID 미노출) / NLLB-200 600M: CTranslate2 4.8.5, int8/int8_bfloat16, beam 4, 최대 128토큰, 품질 배치 32, revision f8d333a098d1, 생성 상한 21개 / M2M100 418M: CTranslate2 4.8.5, int8/int8_bfloat16, beam 4, 최대 128토큰, 품질 배치 32, revision 55c2e61bbf05, 생성 상한 17개 / MADLAD-400 3B: CTranslate2 4.8.5, int8/int8_bfloat16, beam 4, 최대 128토큰, 품질 배치 8, revision fa184c675da0, 생성 상한 110개 / Hunyuan-MT 7B: Transformers 4.56.2, bitsandbytes NF4 double quantization/bfloat16, beam 1, 최대 512토큰, 품질 배치 16, revision 9305c78383f0, 생성 상한 1개 / Anis Trans 01: 40,111,616 parameters, 가중치 f9b79b702c7e, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 02: 40,111,616 parameters, 가중치 f3f195726c8c, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 03: 40,111,616 parameters, 가중치 72063637c1b7, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 03 · 31M: 30,665,216 parameters, 가중치 e4e5b721dc27, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 03 · 59M: 59,004,416 parameters, 가중치 917e1ad248f8, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 03 · 97M: 96,790,016 parameters, 가중치 06b70a3455e6, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회 / Anis Trans 03 · 172M: 172,361,216 parameters, 가중치 98122e48886d, BF16 autocast, beam 4, 품질 배치 48, 평문 배치 1 × 15회

추가 4종은 화자·행 유형 메타태그를 제거한 일본어 문맥과 대상 문장을 사용합니다. 기존 지시형 모델과 입력 인터페이스가 달라, 같은 원문 과제에 대한 모델과 어댑터의 결합 결과로 비교합니다.

NLLB·M2M100: 일본어 앞뒤 문장과 대상 문장을 한 블록으로 번역한 뒤, 모델의 source attention이 대상 원문 토큰을 가리키는 출력 구간을 추출합니다. 구간은 단어 경계까지 넓힙니다. 대상 구간을 찾지 못하면 빈 출력으로 그대로 채점합니다. 문맥이 섞이거나 잘못 잘리는 어댑터 오류도 점수에 포함되므로 모델 자체의 의미 이해 정확도로 해석하지 않습니다.

MADLAD: 별도의 인터페이스 시험에서 attention이 대상 구간을 구분하지 못해 해당 방법은 벤치에 적용하지 않았습니다. 대상 원문만 target 태그로 감싸고 일본어 문맥 블록 전체를 번역한 뒤, 출력에 보존된 단 하나의 태그 쌍 사이를 추출합니다. 태그 안 공백 표기는 허용하되 태그가 없거나 여러 쌍이면 빈 출력으로 채점합니다. 출력 선택에 기준 번역을 쓰지 않습니다.

Hunyuan: 기존 공식 번역 프롬프트 앞에 일본어 앞뒤 문맥을 참고용으로 분리해 배치하고, 공식 프롬프트 뒤에는 대상 문장만 넣었습니다. 태그형 지시로 문맥까지 번역한 초기 인터페이스는 제외 기록으로 보관했습니다. 출력의 정답 기반 선택·수정은 하지 않았습니다. 입력 상한 1,024토큰, 출력 상한 512토큰이며 넘치는 문맥은 오래된 앞 문장, 먼 뒤 문장 순으로 통째로 제거하고 대상은 자르지 않습니다.

모델 가중치 revision과 양자화는 기존 문장 단독 시험과 같습니다. NMT는 beam 4, Hunyuan은 greedy이며 런타임과 입력 어댑터 차이를 포함한 실행 결과입니다. 진단 코드와 산식은 벤치 정답을 보지 않는 인터페이스 시험 후 고정했습니다. 뜻 단서 확인은 자동 어휘 진단이며 독립적인 사람 검수 전입니다. 기존 변수·형식 보존율과 속도는 문장 단독 실행 값을 유지했습니다.

출력에 문맥 번역이 섞이면 뜻 단서가 대상 문장이 아닌 부분에서 검출될 수 있습니다. 단서 확인 쌍수는 사람이 확정한 의미 정답 수가 아닙니다. 대상 구간 추출·출력 범위·번역 의미를 함께 검수해야 합니다.

같은 일본어 평문 3개(27자·79자·135자)를 순차 번역했습니다. Ollama와 Anis는 준비된 GPU 모델이고, Luna는 CLI 시작·통신을 포함합니다. 모델별 토큰 단위와 실행 조건이 다르며 표본이 3개인 참고 측정입니다. 번역 전용 4종은 네이티브 GPU 런타임에서 준비된 모델에 한 문장씩 입력했으며 토큰화·생성·디코딩을 포함합니다. 다른 GPU 작업과 함께 실행되어 GPU 독점 측정과 조건이 다릅니다. 이번 Anis 시리즈의 새 속도 측정은 같은 평문 3종을 5회씩, 총 15회 순차 실행한 평균이며 해당 모델의 학습과 동시에 실행하지 않습니다. 미측정 표시는 측정 후 채웁니다. 기존 외부 모델의 평문 측정은 각 3회 기록입니다.

03 크기별 효율 비교 · 5/5개 크기 측정 완료. 동일한 03 데이터·16k 토크나이저·6층 인코더/3층 디코더·은닉 512에서 FFN 폭을 바꿨습니다. 각 실행은 최대 12,000스텝이며 검증 점수로 체크포인트를 선택합니다.

03 크기별 자원 사용 · 추론 GPU 피크는 준비·번역 중 해당 PyTorch 프로세스가 할당한 메모리이며 드라이버·다른 프로세스는 제외합니다. 파일은 FP32 가중치, 추론은 BF16 autocast입니다. 기존 40.1M의 학습 시간은 과거 기록이며 다른 크기는 이번 실행 기록입니다. 디스크 대기로 기록된 일시정지 총 73.2초는 해당 모델의 학습·검증 시간에서 제외했습니다.

Anis는 GPU에 로드한 모델의 준비 완료 상태에서 측정했고, Luna는 CLI 시작·통신을 포함했습니다. 순수 디코딩 속도나 동일 하드웨어 비교가 아닙니다. 토큰 단위도 서로 다르므로 글자 기준을 함께 봐야 합니다. 평균 응답 시간은 3회 산술평균이고, 처리율과 글자당 시간은 전체 글자·토큰 수와 전체 시간으로 계산했습니다. 글자는 공백·제어문자를 제외하고 문장부호를 포함합니다. 표본이 3개뿐이라 일반적인 지연시간으로 단정할 수 없습니다.

Ollama 속도는 모델을 GPU에 준비한 뒤 동일한 평문 3개를 순차 요청한 HTTP 전체 응답 시간입니다. 품질 평가의 동시 요청 처리량을 속도 수치로 사용하지 않았습니다. Anis는 준비된 GPU 모델, Luna는 CLI 시작·통신을 포함한 기존 실측이므로 실행 조건 차이를 함께 봐야 합니다. 모델별 토큰 단위도 다릅니다.

모델 정보: Qwen3 8B, TranslateGemma 4B, Gemma 3 4B, Aya Expanse 8B, Qwen3 14B, TranslateGemma 12B, Gemma4 26B-A4B Uncensored, GPT-6 Luna, NLLB-200 600M, M2M100 418M, MADLAD-400 3B, Hunyuan-MT 7B.

03 크기 비교 판정: 이번 조건의 효율 후보: Anis Trans 03 · 59M. 효율 후보는 게임·AI Hub 각각 최고점 대비 1.0 chrF 이내인 모델 중 평문 평균 시간이 가장 빠른 축을 택하고, 그 속도의 5% 이내에서는 더 작은 모델을 고릅니다. 평문 3종을 각각 5회 반복한 참고 속도이며, 단일 시드·고정 학습 예산의 FFN 폭 비교로 모든 구조의 최적 크기를 뜻하지 않습니다.

요청 모델 호출 확인: gpt-6.1-luna: 현재 ChatGPT 계정으로 연결된 Codex CLI에서 model_not_found(미지원)을 반환해 미측정입니다.