【代码模板】从huggingface加载tokenizer和模型，进行推理

【代码模板】从huggingface加载tokenizer和模型，进行推理

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline# 1. 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained("PowerInfer/SmallThinker-3B-Preview", use_fast=True, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("PowerInfer/SmallThinker-3B-Preview", torch_dtype="auto", trust_remote_code=True)# 2. 创建文本生成／问答管道
qa_pipeline = pipeline("text-generation",         # 对于简单问答也可以用 text-generationmodel=model,tokenizer=tokenizer,device=0                   # 如果有 GPU，改成对应的 GPU id；没有的话删掉这一行
)# 3. 生成回答
question = "什么是激活稀疏性（activation sparsity）"
prompt = f"问：{question}\n答："
result = qa_pipeline(prompt,max_new_tokens=256,do_sample=True,           # 设为 greedy 解码；你可以改为 True 并加 top_k/top_p 来更丰富eos_token_id=tokenizer.eos_token_id
)
print(result[0]["generated_text"])