当前位置： 首页 > wzjs >正文

担路网络科技有限公司的服务无锡网站seo顾问

wzjs 2025/7/26 8:37:14
担路网络科技有限公司的服务,无锡网站seo顾问,在线制作表情包生成器软件,苏州网络推广去苏州聚尚网络前情回顾 我们目前实现了视觉模型的编码器部分，然而，我们所做的是把一张图片编码嵌入成了许多个上下文相关的嵌入向量，然而我们期望的是一张图片用一个向量来表示，从而与文字的向量做点积形成相似度（参考手搓多模态-01…

前情回顾

我们目前实现了视觉模型的编码器部分，然而，我们所做的是把一张图片编码嵌入成了许多个上下文相关的嵌入向量，然而我们期望的是一张图片用一个向量来表示，从而与文字的向量做点积形成相似度（参考手搓多模态-01 对比学习的优化）。所以我们需要加一个Linear Projection来将多个嵌入向量投影成一个嵌入向量，但这些可以之后再做，在数据准备阶段我们还有一些数据预处理的工作没有做，本文将着重描述如何进行数据预处理。

数据预处理

我们新建了一个文件，名叫paligemma_processer.py.

首先我们创建了一个类，名叫processer，在processer中我们将实现数据预处理的功能。

所做的预处理主要包括

  • 图像的放缩和标准化
  • 对输入的图像-文本对解析形成token向量
  • 为图像的token创建占位符，这表示在Gemma模型的输入中，有一部分输入向量是来自视觉编码器，那这部分向量暂时就用一个临时的image_token来表示，方便后面替换
  • 对于图像的输入，我们需要将输入转换为形如[Batch_size,Channels,Height,Width]的输入,并转换为torch.tensor类型方便pytorch处理。

这部分的代码主要如下：

class PaligemmaProcessor:	IMAGE_TOKEN = "<image>"def __init__(
			self,
			tokenizer,
			num_image_tokens,
			image_size  ):super().__init__()
		self.image_seq_lenth = num_image_tokens
		self.image_size = image_size		token_to_add = {"addtional_special_tokens": [self.IMAGE_TOKEN]} ##标识图像占位符
		tokenizer.add_special_tokens(token_to_add)
		EXTRA_TOKENS = [f"<loc:{i:04d}>" for i in range(1024)] ##用于目标检测
		EXTRA_TOKENS += [f"<seg:<{i:04d}>" for i in range(1024)] ##用于语义分割		tokenizer.add_tokens(EXTRA_TOKENS)
		self.image_token_id = tokenizer.convert_tokens_to_ids(self.IMAGE_TOKEN) ##图像占位符的id		tokenizer.add_bos_token = False ##去掉默认的bos和eos
		tokenizer.add_eos_token = False		self.tokenizer = tokenizerdef __call__(
			self,
			text: List[str],
			images: List[Image.Image],
			padding: str = "longest",
			truncation: bool = True):assert len(text) == 1 and len(images) == 1, "Only support one text and one image for now."		pixel_values = process_images(
			images,
			size=(self.image_size, self.image_size),
			resample= Image.Resampling.BICUBIC,
			rescale_factor=1.0 / 255.0,
			image_mean = IMAGENET_STANDARD_MEAN,
			image_std = IMAGENET_STANDARD_STD)		pixel_values = np.stack(pixel_values,axis=0)
		pixel_values = torch.tensor(pixel_values) ##转换为torch.tensor##通过add_image_token_to_prompt函数，将图像占位符添加到文本中，形成一个输入prompt
		input_string = [
			add_image_token_to_prompt(
				prefix_prompt = prompt,
				bos_token = self.tokenizer.bos_token,
				image_seq_len = self.image_seq_lenth,
				image_token = self.IMAGE_TOKEN)for prompt in text]## 将string类型的prompt转换为嵌入向量,其实这里是根据string中的词元划分成一个token_id的向量## 比如输入的string是"<image><image><bos>hello,world<sep>" 然后tokenizer将其分割成[<image>,<image>,<bos>,hell,oworld,<sep>]，这里假设hell和oworld都是token,并查找每个token的id，可能得到[0,0,1,11,15,2]作为嵌入向量
		inputs = self.tokenizer(
			input_string,
			padding=padding,
			truncation=truncation,
			return_tensors="pt")## 返回待编码的图像以及嵌入好的文本向量
		return_data = {"pixel_values": pixel_values, **inputs}return return_data

首先我们为tokenizer 添加了一些额外的特殊token，比如用于目标检测的特殊位置token，以及语义分割用的特殊token，但是我们暂时不会用到它们。

图像处理

在数据预处理部分，我们首先通过一个预处理函数来处理图像，这里面就包括了图像的缩放，归一化和标准化。

		pixel_values = process_images(
			images,
			size=(self.image_size, self.image_size),
			resample= Image.Resampling.BICUBIC,
			rescale_factor=1.0 / 255.0,
			image_mean = IMAGENET_STANDARD_MEAN,
			image_std = IMAGENET_STANDARD_STD)

该函数的实现如下：

def process_images(
		images: List[Image.Image],
		size: Tuple[int, int] = None,
		resample: Image.Resampling = None,
		rescale_factor: float = None,
		image_mean: Optional[Union[float,List[float]]] = None,
		image_std: Optional[Union[float,List[float]]] = None
) -> List[np.ndarray]:
	height, width = size
	images = [
		resize(image =image, size = (height,width), resample=resample) if image.size != size else image for image in images]
	images = [np.array(image) for image in images]
	images = [
		rescale(image = image, factor = rescale_factor) for image in images] ## 归一化缩放
	images = [
		normalize(image = image, mean = image_mean, std = image_std) for image in images] ## 标准化## image : [Height,Width,Channel] --> [Channel,Height,Width]
	images = [image.transpose(2,0,1) for image in images]return images

首先我们需要对图像进行缩放，那么这里会涉及到一个重采样函数，表示你用什么方法对图像进行缩放采样，不同的方法采样出来的效果也不一样，这里我们用Image.Resampling.BICUBIC方法，关于这个方法的详细信息请参考其他博客。

缩放操作是在将0-255的像素值缩放到0-1，防止之后模型嵌入时的数值不稳定。

随后的标准化其实就像Batch Normalization和Layer Normalization一样，对图像的像素分布标准化为正态分布，所以需要大量图像的RGB通道各自的均值和方差，故使用image_net的统计结果。

然后把图像三个维度的顺序改变一下。

其中resize,rescale,normalize函数依次如下：

IMAGENET_STANDARD_MEAN = [0.485, 0.456, 0.406]
IMAGENET_STANDARD_STD = [0.229, 0.224, 0.225]def resize(
		image: Image.Image,
		size: Tuple[int, int],
		resample: Image.Resampling = None,
		reducing_gap: Optional[int] = None
):
	height,width = size	
	image.resize(size=(width,height),resample=resample,reducing_gap=reducing_gap)return imagedef rescale(
		image: np.ndarray,
		factor: float,
		dtype: np.dtype = np.float32
):
	image = image * factor
	image = image.astype(dtype)return imagedef normalize(
		image: np.ndarray,
		mean: Optional[Union[float,List[float]]] = None,
		std: Optional[Union[float,List[float]]] = None
) -> np.ndarray:if mean is None:
		mean = IMAGENET_STANDARD_MEANif std is None:
		std = IMAGENET_STANDARD_STD
	mean = np.array(mean)
	std = np.array(std)
	image = (image - mean) / stdreturn image

然后我们还需要将输出的图像信息转换为torch.tensor，这里的转换代码如下：

pixel_values = np.stack(pixel_values,axis=0)
pixel_values = torch.tensor(pixel_values) ##转换为torch.tensor

首先用stack方法把一个numpy tensor list转换为一个大tensor,然后再把numpy的tensor转换为torch的tensor.

token 处理

token的处理主要在这一部分

		##通过add_image_token_to_prompt函数，将图像占位符添加到文本中，形成一个输入prompt
		input_string = [add_image_token_to_prompt(
				prefix_prompt = prompt,
				bos_token = self.tokenizer.bos_token,
				image_seq_len = self.image_seq_lenth,
				image_token = self.IMAGE_TOKEN)for prompt in text]## 将string类型的prompt转换为嵌入向量,其实这里是根据string中的词元划分成一个token_id的向量## 比如输入的string是"<image><image><bos>hello,world<sep>" 然后tokenizer将其分割成[<image>,<image>,<bos>,hell,oworld,<sep>]，这里假设hell和oworld都是token,并查找每个token的id，可能得到[0,0,1,11,15,2]作为嵌入向量
		inputs = self.tokenizer(
			input_string,
			padding=padding,
			truncation=truncation,
			return_tensors="pt")## 返回待编码的图像以及嵌入好的文本向量
		return_data = {"pixel_values": pixel_values, **inputs}

首先我们会构造输入的string文本，这个构造主要依照论文的内容：

论文构造的输入首先是image token占位符，然后是一个bos表示文本信息的开始，然后是text input，然后是[sep]，而论文用'\n'表示[sep]：

于是我们的add_image_token_to_prompt如下所示

def add_image_token_to_prompt(
		prefix_prompt: str,
		bos_token: str,
		image_seq_len: int,
		image_token: str
):##论文使用换行符当做[sep]token，但是可能会出现\n与前面的token重叠导致语义信息丢失。	return f"{image_token * image_seq_len}{bos_token}{prefix_prompt}\n"

但这里可能会出现一个问题，即论文使用换行符当做[sep]token，但是可能会出现\n与前面的token重叠导致语义信息丢失。但这里我们暂时不管这个问题。

随后tokenizer的调用实际上会把输入的string根据词汇表拆分成一个个token对应的id,而我们预选添加了image_token的占位符，也就是说我们构建的string_input可能类似于"<image><image><bos>hello,world<sep>",而tokenizer会根据词汇表划分这些token为一个list[<image>,<image>,<bos>,"hell，","oworld",<sep>],然后再通过查表的方式将这些token转换为数值id，比如查到我们加入的<image>对应的id是0，<bos>是1, <sep>是2,"hell,"是11,"oworld"是15,（注意，这里假设词汇表的"hell,"是一个token，"oworld"也是一个token）那么输出可能形如[0,0,1,11,15,2]。

## 将string类型的prompt转换为嵌入向量,其实这里是根据string中的词元划分成一个token_id的向量
## 比如输入的string是"<image><image><bos>hello,world<sep>" 然后tokenizer将其分割成[<image>,<image>,<bos>,hell,oworld,<sep>]，这里假设hell和oworld都是token,并查找每个token的id，可能得到[0,0,1,11,15,2]作为嵌入向量
inputs = self.tokenizer(
	input_string,
	padding=padding,
	truncation=truncation,
	return_tensors="pt"
)
## 返回待编码的图像以及嵌入好的文本向量
return_data = {"pixel_values": pixel_values, **inputs}
return return_data

http://www.dtcms.com/wzjs/70366.html

相关文章：

  • 装修广告做哪个网站最好看今日最新体育新闻
  • 百度快照在哪里seo官网优化详细方法
  • 做的网站浏览器提示不安全公司的seo是什么意思
  • 商业活动的网站建设创建网站需要什么条件
  • 网站最近不收录用模板快速建站
  • 深圳华强北的苹果手机是不是正品搜索引擎优化seo网站
  • 优化营商环境指什么北京百度seo服务
  • 微信扫码抢红包网站做成都门户网站建设
  • 注册送38元的游戏网站网推是干什么的
  • 学网站开发需要多久推广手段和渠道有哪些
  • 服务性企业网站发布外链的平台有哪些
  • 那种退不掉的网站怎么做的dz论坛seo
  • 国内做设备网站哪些好网页优化包括什么
  • 自己做网站建设百度 营销推广费用
  • 网站开发应注意哪些问题辽宁好的百度seo公司
  • 手机网站建设定制网站运营主要做什么
  • 优秀的门户网站360竞价推广
  • 网站结构框架图怎么做关于网络营销的方法
  • 做外贸采购都是用什么网站收录情况有几种
  • 网站付款接口这么做如何制作网站链接
  • 个人装修队seo网站推广技术
  • 西安营销型网站制作北京seo优化费用
  • 英文网站外链查询手机广告推广软件
  • 怎么做漫画网站制作一个网站的基本步骤
  • 哪个网站卖做阳具好点南京最大网站建设公司
  • 汕尾做网站建个网站需要多少钱
  • 网站开发框架有哪些杭州seo中心
  • 网站怎么做接口百度信息流投放技巧
  • 全屏网站 功能网络推广文案策划
  • 简单的html网页设计搜索引擎优化的意思