Programming/Multimodal emotion code4 Multimodal E2E-Sparse (evaluation 부분) 2021. 8. 11. Multimodal E2E-Sparse (MOSEI 부분 part 2. 전처리 과정 & 전체 흐름) 1. Mosei 데이터 처리 (main.py) a) def get_dataset_mosei MOSEI_RAW_PROCESSED 폴더와 meta 파일을 load train/test/val 나눈 부분 txt읽기, text 읽기, label 읽기 Class MOSEI (dataset.py) --------------------------------------------- Loss 부분 -------------------------------------------------------- BCE loss 부분 pos_num은 one-hot label을 다 더하기 [0 1 0 0] [1 0 0 0] [1 0 0 0] [0 0 1 0] ---------- [2 1 1 0] -> 라델 다 더한게 pos_nums이고 여.. 2021. 6. 10. Multimodal E2E-Sparse (모델 구조) e2e.py MM2E에 대한 모델 세팅 1. emotion을 몇 개 추출 할 것인지. 2. (t/a/v, ta/va/tv/ tav) 융합 여부. 3. Text에서 features 뽑을 때 몇 차원으로 할 것인지 4. trans_dim은 오디오/비디오/텍스트가 encoder를 걸쳐서 최종 64로 할지. 비디오 구조 오디오 구조 flatten 구조 Transforemr 구조 output 구조 & 융합. forward 부분 텍스트 처리. Albert 처리 방법 CLS 토큰 추출 비디오 처리 a) mtcnn 으로 facenet으로 얼굴 부분 추출함. b) 얼굴 찾음, 없으면 기존 이미지의 중심 부분 읽어옴. & face normalize c) self.V 로 vggbase 블록 쌓음. d) flatten e) .. 2021. 6. 10. Multimodal E2E-Sparse (IEMOCAP 부분 part 1. 전처리 과정 & 전체 흐름) Multimodal E2E-Sparse 중에서 sparse을 제외한 기존 end2end 버전 -main.py- 1. start time 2. args -> clip.py parameters setting. 3. seed 설정 4. cuda 설정 5. data load iemocap ( deep learning vs. handcraft feature) a) IEMOCAP_RAW_PROCESSED path 읽기 & meta 데이터 읽기 b) 감정 int형으로 변환 c) train/validation/test를 나눈 파일 이름이 있는 txt를 읽기, text와 label 읽기, IEMCOAP 데이터 처리로 넣기 d) IEMCOAP 데이터 처리로 넣기 < Cla.. 2021. 6. 10. 이전 1 다음
