Python预训练模型实现俄语音频转文字

使用 Common Voice 8.0、Golos 和 Multilingual TEDx 的训练和验证分割对俄语的 facebook/wav2vec2-xls-r-1b 进行了微调。使用此模型时，请确保您的语音输入以 16kHz 采样。

我们只需要装好三个功能包，写好你的文件路径即可使用！

import torch
import librosa
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

# 选择模型
model_id = "jonatasgrosman/wav2vec2-xls-r-1b-russian"

# 加载处理器和模型
processor = Wav2Vec2Processor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 读取音频文件（此处写你的音频文件路径，当然你还可以写个遍历列表把它放进去）
audio_path = '/content/speech2.wav'
audio, sr = librosa.load(audio_path, sr=16000)

# 音频预处理
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")

# 进行推理
with torch.no_grad():
    logits = model(inputs.input_values).logits

# 获取结果
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

print("识别结果:", transcription)

输出：
识别结果: [‘меньше народов на самом деле если опет пойчет но как все проголосовали так и зылвася догдарна с объет дочи оснолнят в тринадцатом мо мы встрачаемся в во десят осете’]