input_ids ，attention_mask 是什么
input_ids ，attention_mask 是什么
目录
- input_ids ，attention_mask 是什么
-
- inputs = tokenizer(prompt, return_tensors="pt")
- input_ids = inputs.input_ids.to(device)
- attention_mask = inputs.attention_mask.to(device)
-
- 1. `inputs = tokenizer(prompt, return_tensors="pt")`
- 2. `input_ids = inputs.input_ids.to(device)`
- 3. `attention_mask = inputs.attention_mask.to(device)`
- `input_ids` 和 `attention_mask`是什么作用
-
- 1. `input_ids`
- 2. `attention_mask`：<PAD>
inputs = tokenizer(prompt, return_tensors=“pt”)
input_ids = inputs.input_ids.to(device)
attention_mask = inputs.attention_mask.to(device)
这段代码主要是对输入文本进行处理，将其转换为模型可以接受的张量形式，并把这些张量移动到指定的设备（如 GPU）上。
1. inputs = tokenizer(prompt, return_tensors="pt")
tokenizer：tokenizer是 Hugging Facetrans