전체 글55 dd #!/usr/bin/env python3# -*- coding: utf-8 -*-"""wav_segmenter.py================Segments a WAV file into multiple smaller WAV files based on a referencetranscript (.ref), using faster-whisper for transcription and fuzzyalignment between the transcription and reference lines. Pipeline: 1. Transcribe audio with faster-whisper (word-level timestamps) 2. Align transcription words to reference line.. 2026. 3. 23. ㅁ 전체 그림 (NeMo에서 어디를 건드리나)NeMo ASR / TTS S2S 계열 구조는 대략 이렇습니다: Audio → Encoder → (memory) ↓ Text → Decoder (cross-attention) → logits 우리가 넣을 건 Decoder의 cross-attention 내부입니다.📍 정확한 위치: nemo/collections/asr/modules/transformer/transformer_decoder.py (버전에 따라 modules/transformer/attention.py 로 빠져 있을 수도 있음)1️⃣ NeMo Cross-Attention 구조 이해NeMo의 cross-attention은 보통 이런 흐름입니다: # query: de.. 2026. 2. 3. Simul-Whisper: Attention-Guided Streaming Whisper with TruncationDetection https://arxiv.org/pdf/2406.10052 본 논문에서는 Whisper의 cross-attention 내재된 시간 정렬(time alignment)을 활용하여auto-regressive 디코딩을 유도하고, PT 모델에 대한 FT 없이 청크 기반 스트리밍 ASR을 구현하는 SimulWhisper를 소개.또한 청크 경계에서 발생하는 단어 절단(truncated words)이 디코딩 결과에 미치는 부정적 영향을 관찰하고,이를 해결하기 위해 integrate-and-fire 기반의 절단 감지(truncation detection) 모델을 제안함.여러 언어와 Whisper 아키텍처에 대한 실험 결과, SimulWhisper는 1초 청크 크기에서 평균 절대 단어 오류율(WER) 증가가 단 1.46.. 2025. 11. 22. ㅋ 1. Wait-k 정책이 방식은 새로운 음성 조각(chunk)이 들어올 때마다 오직 하나의 토큰만 예측합니다.이렇게 하면 인식 결과가 느리게 나오는 대신, 예측이 안정적입니다.문제는, 메모리를 아끼기 위해 오래된 음성(왼쪽 컨텍스트)을 언제 버려야 할지 결정하기 어렵다는 점입니다.그래서 Wait-k 정책에서는 왼쪽 컨텍스트(이전 음성 정보)를 무제한(infinite)으로 유지하는 게 좋습니다.🧩 예시만약 사용자가 말을 계속 이어간다면, 모델은 그 말의 처음부터 지금까지 모든 정보를 계속 보고 있어야 합니다.이건 처리 속도를 느리게 하지만, 예측 품질은 높일 수 있습니다.✅ 2. AlignAtt 정책이 방식은 매 토큰 예측 시, Cross-Attention 조건을 확인해가며 토큰을 생성합니다.조건이 충족.. 2025. 10. 10. 이전 1 2 3 4 ··· 14 다음
