查建筑公司资质的网站免费b2b

项目场景：

基于强化学习解决组合优化问题

---

问题描述

        # POMO Rolloutstate, reward, done = self.env.pre_step()# next_state = statewith autocast():while not done:# 执行动作并获取新状态和奖励selected, prob = self.model(state)# 更新状态:因为·self.env.step(selected)之后会自动更新state# 为了解决克隆state问题构建一个新的函数方法（.clone()）专门克隆state所有向量pre_state = statestate, reward, done = self.env.step(selected)# 存储当前的动作概率（用于后续计算比率）prob_list = torch.cat((prob_list, prob[:, :, None]), dim=2)old_prob_list = torch.cat((old_prob_list, prob[:, :, None]), dim=2)print(f"Encoded nodes in forward: {reward.shape}")# 计算当前状态的值函数 V(s)value = self.model_critic(pre_state)# 计算下一个状态的值函数 V(s')next_value = self.model_critic(state)# 计算优势函数advantage = reward + (1 - done.to(torch.int)) * next_value - value             

pre_state = state

出现与目标相反的现象：pre_state = state目的是保存state的前一步数据，因为state, reward, done = self.env.step(selected)会更新state的值。但随着state的更新pre_state也会更新。

---

原因分析：

state是类似全局变量的参数，可能pre_state与state指着同一个地址，这导致state更新pre_state也更新。

---

解决方案：

使用.clone（）操作将他们分开到两个地址中。
但要注意的是state = Step_State()。其中 Step_State()为多向量数据。

@dataclass
class Step_State:BATCH_IDX: torch.Tensor = None      #表示批次的索引 # shape: (batch, pomo)POMO_IDX: torch.Tensor = None       #表示 POMO 算法中的多智能体索引 # shape: (batch, pomo)selected_count: int = None          #表示当前已经选中的节点数量 # shape: (batch, pomo)load: torch.Tensor = None           #表示当前负载状态 # shape: (batch, pomo)current_node: torch.Tensor = None   #表示当前正在访问的节点编号 # shape: (batch, pomo)ninf_mask: torch.Tensor = None      #表示负无穷掩码    # shape: (batch, pomo, problem+1)

这里构建一个函数cloneStep_State()所有向量。

@dataclass
class Step_State:BATCH_IDX: torch.Tensor = None      #表示批次的索引 # shape: (batch, pomo)POMO_IDX: torch.Tensor = None       #表示 POMO 算法中的多智能体索引 # shape: (batch, pomo)selected_count: int = None          #表示当前已经选中的节点数量 # shape: (batch, pomo)load: torch.Tensor = None           #表示当前负载状态 # shape: (batch, pomo)current_node: torch.Tensor = None   #表示当前正在访问的节点编号 # shape: (batch, pomo)ninf_mask: torch.Tensor = None      #表示负无穷掩码    # shape: (batch, pomo, problem+1)def clone(self):# 克隆每个张量属性return Step_State(BATCH_IDX=self.BATCH_IDX.clone() if self.BATCH_IDX is not None else None,POMO_IDX=self.POMO_IDX.clone() if self.POMO_IDX is not None else None,selected_count=self.selected_count,  # 如果是整数，直接赋值即可load=self.load.clone() if self.load is not None else None,current_node=self.current_node.clone() if self.current_node is not None else None,ninf_mask=self.ninf_mask.clone() if self.ninf_mask is not None else None)