0. 설명
ForcePPG : ForceAlignment 기반 PPG
- Aishell-1 + Librispeech ForceAlignment의 결과로 훈련 된 ASR은 충분히 훈련되지 않았으며, 이전 결과와 비교하기 위해 ckpt early stop의 교체가 수행되지 않았습니다.
- F0은 ASR에서 사용되지 않습니다. 사용 된 구조를 참조하십시오. [1] https://blog.csdn.net/u013625492/article/details/109670529 [2] https://blog.csdn.net/u013625492/article/details / 109206085 [3] https://blog.csdn.net/u013625492/article/details/109201157
- 효과가 최고는 아니지만 PPG로 사용할 수 있습니다.
1. 추출 과정
1.1. Wav
- DataBaker
- LJSpeech
간단한 RAW WAV는
1.2. 파일 추출
먼저 CN-ASR에 대해 이야기 한 다음 EN-ASR에 대해 이야기 해 봅시다. 두 곳에 따로 폴더를 만들고 마지막으로 호출되면 B-PPG로 병합합니다.
이것을 참조 할 수 있습니다 : https://github.com/ruclion/ppgs_extractor_10ms_sch_lh_aishell1/blob/master/extract_ppg_generate_DataBaker_ForcePPG.py
1.2.1. CN ASR
# 超参数个数:16
hparams = {
'sample_rate': 16000,
'preemphasis': 0.97,
'n_fft': 400,
'hop_length': 160,
'win_length': 400,
'num_mels': 80,
'n_mfcc': 13,
'window': 'hann',
'fmin': 30.,
'fmax': 7600.,
'ref_db': 20,
'min_db': -80.0,
'griffin_lim_power': 1.5,
'griffin_lim_iterations': 60,
'silence_db': -28.0,
'center': True,
}
assert hparams == audio_hparams
MFCC_DIM = 39
PPG_DIM = 218
# in
meta_path = '*.txt'
wav_dir = '*/wavs_16000'
# out1
ppg_dir = './LJSpeech-1.1-Mandarin-PPG/ppg_generate_10ms_by_audio_hjk2'
mfcc_dir = './LJSpeech-1.1-Mandarin-PPG/mfcc_10ms_by_audio_hjk2'
mel_dir = './LJSpeech-1.1-Mandarin-PPG/mel_10ms_by_audio_hjk2'
spec_dir = './LJSpeech-1.1-Mandarin-PPG/spec_10ms_by_audio_hjk2'
rec_wav_dir = './LJSpeech-1.1-Mandarin-PPG/rec_wavs_16000'
os.makedirs(ppg_dir, exist_ok=True)
os.makedirs(mfcc_dir, exist_ok=True)
os.makedirs(mel_dir, exist_ok=True)
os.makedirs(spec_dir, exist_ok=True)
os.makedirs(rec_wav_dir, exist_ok=True)
# out2
STARTED_DATESTRING = "{0:%Y-%m-%dT%H-%M-%S}".format(datetime.now())
good_meta_path = './LJSpeech-1.1-Mandarin-PPG/meta_good_' + STARTED_DATESTRING + '_v3.txt'
f_good_meta = open(good_meta_path, 'w')
# NN->PPG
ckpt_path = './aishell1_ckpt_model_dir/aishell1ASR.ckpt-128000'
- 코드는 /ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_LJSpeech_ForcePPG.py에 있습니다.
- 그리고 /ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_DataBaker_ForcePPG.py
- 생성 된 mel 및 PPG는 해당 위치에 있습니다.
1.2.2. 에
약간
1.3. PPG 폴더
2. 정규화 된 문서
실험실의 세 번째 작업에는 표준화 된 문서가 있으며 웹 사이트는 https://github.com/thuhcsi/dpss-exp3-VC-PPG입니다.
작업 문서 링크 : https://drive.google.com/file/d/1C1Md176LKIkiO9s3VNssQ0hJzvWmZ0gZ/view?usp=sharing
[보지 마세요, 분류했습니다. 약간 지저분합니다.] PPG 내용 : https://drive.google.com/file/d/1BUYsOtiaPzvee1Hrs77X71SjWWi-Zy3A/view?usp=sharing
Lu Hui, Changhe, Wang Jie, 교사 및 급우들에게 감사합니다. 문서는 정말 간결하고 평평합니다.