当前位置: 首页 > wzjs >正文

电子图书馆网站建设电商运营自学全套教程

电子图书馆网站建设,电商运营自学全套教程,武汉做网站建设,东圃手机网站制作费用一、迷宫游戏 1.环境已知 迷宫环境是定义好的,障碍物位置和空位置是已知的; # 定义迷宫 grid [[0, 0, 0, 1, 0],[0, 1, 0, 1, 0],[0, 1, 0, 0, 0],[0, 0, 0, 1, 0],[0, 1, 1, 1, 0] ] 2.奖励方式已知 如果碰到障碍物则得-1,如果到终点则…

一、迷宫游戏

1.环境已知

迷宫环境是定义好的,障碍物位置和空位置是已知的;

# 定义迷宫
grid = [[0, 0, 0, 1, 0],[0, 1, 0, 1, 0],[0, 1, 0, 0, 0],[0, 0, 0, 1, 0],[0, 1, 1, 1, 0]
]

2.奖励方式已知

如果碰到障碍物则得-1,如果到终点则得10分,正常走一步-0.1分。

 # 检查是否越界或碰到障碍if 0 <= row < self.rows and 0 <= col < self.cols and self.grid[row][col] == 0:# 满足在边界内部,且网格为空(对应数值为0)self.state = (row, col) #可以走到这个位置else:return self.state, -1, False  # 碰到障碍或越界,返回惩罚-1,标记未完成# 检查是否到达终点if self.state == self.goal:return self.state, 10, True  # 到达终点,返回奖励10,标记完成else:return self.state, -0.1, False  # 正常移动,返回小惩罚-0.1,标记未完成

3.动作选择策略

ε-greedy策略选择动作。

 def choose_action(self, state):# 根据ε-greedy策略选择动作,以epsilon的概率选择探索,以1-epsilon的概率选择利用# 一般随着时间的推移,epsilon逐渐减小,即减小探索,增大利用概率# 如果随机抽样小于epsilon,则选择探索,即随机抽取动作if random.uniform(0, 1) < self.epsilon: return random.choice([0, 1, 2, 3])  # 探索# 如果随机抽样大于等于epsilon,则选择利用,即利用现有规则进行动作选择else:return np.argmax(self.q_table[state])  # 利用,state是当前状态,为二维坐标

4.Q值更新方法

# Q值更新参数方法 q(st,at)=q(st,at)+alpha*(reward+gamma*max(q)-q(st,at))self.q_table[state][action] += self.alpha * (reward + self.gamma * best_next_q - self.q_table[state][action])state = next_state # 状态更新 

5.Qlearning计算流程图

二、代码实现

import numpy as np
import random# 定义迷宫环境
class Maze:def __init__(self, grid, start, goal):self.grid = grid  # 迷宫网格,0表示空地,1表示障碍self.start = start  # 起点self.goal = goal  # 终点self.rows, self.cols = len(grid), len(grid[0]) # 网格行、列边界self.state = start  # 当前状态def reset(self):# 重置迷宫状态self.state = self.startreturn self.statedef step(self, action):# 根据动作移动智能体row, col = self.stateif action == 0:  # 上row -= 1 # 行减1elif action == 1:  # 下row += 1 # 行加1elif action == 2:  # 左col -= 1 # 列-1elif action == 3:  # 右col += 1 # 列+1# 检查是否越界或碰到障碍if 0 <= row < self.rows and 0 <= col < self.cols and self.grid[row][col] == 0:# 满足在边界内部,且网格为空(对应数值为0)self.state = (row, col) #可以走到这个位置else:return self.state, -1, False  # 碰到障碍或越界,返回惩罚-1,标记未完成# 检查是否到达终点if self.state == self.goal:return self.state, 10, True  # 到达终点,返回奖励10,标记完成else:return self.state, -0.1, False  # 正常移动,返回小惩罚-0.1,标记未完成def render(self):# 可视化迷宫for r in range(self.rows): # 遍历状态for c in range(self.cols): # 遍历动作if (r, c) == self.state: # 对于当前位置,用字母A表示print("A", end=" ")  # 智能体位置elif (r, c) == self.goal: #对于目标位置用字母G表示print("G", end=" ")  # 终点elif self.grid[r][c] == 1: # 对于障碍物用#表示print("#", end=" ")  # 障碍else: # 对于空地用0表示print("0", end=" ")  # 空地print()print()# Q-learning算法
class QLearning:def __init__(self, maze, alpha=0.1, gamma=0.99, epsilon=0.1):self.maze = maze # 迷宫环境self.alpha = alpha  # 学习率self.gamma = gamma  # 折扣因子self.epsilon = epsilon  # 探索概率self.q_table = np.zeros((maze.rows, maze.cols, 4))  # Q表,4个动作,三个维度def choose_action(self, state):# 根据ε-greedy策略选择动作,以epsilon的概率选择探索,以1-epsilon的概率选择利用# 一般随着时间的推移,epsilon逐渐减小,即减小探索,增大利用概率# 如果随机抽样小于epsilon,则选择探索,即随机抽取动作if random.uniform(0, 1) < self.epsilon: return random.choice([0, 1, 2, 3])  # 探索# 如果随机抽样大于等于epsilon,则选择利用,即利用现有规则进行动作选择else:return np.argmax(self.q_table[state])  # 利用,state是当前状态,为二维坐标def train(self, episodes):# 训练for episode in range(episodes):state = self.maze.reset() # 重置状态done = False # 训练完成标志total_reward = 0 # 总奖励while not done:action = self.choose_action(state) # 选择动作,根据1-epsilon策略next_state, reward, done = self.maze.step(action) #根据动作移动智能体total_reward += reward# Q-learning更新规则best_next_q = np.max(self.q_table[next_state]) # Qtable里面下一状态对应Q的最大值# Q值更新参数方法 q(st,at)=q(st,at)+alpha*(reward+gamma*max(q)-q(st,at))self.q_table[state][action] += self.alpha * (reward + self.gamma * best_next_q - self.q_table[state][action])state = next_state # 状态更新 # 每当完成100回合,则输出一次总奖励数据if (episode + 1) % 100 == 0:print(f"Episode {episode + 1}: Total Reward = {total_reward}")def test(self):# 测试训练后的策略state = self.maze.reset()done = Falsesteps = []while not done:action = np.argmax(self.q_table[state]) #选择Q表中最大的动作next_state, _, done = self.maze.step(action) steps.append(action)state = next_stateself.maze.render() # 可视化迷宫print("Steps taken:", steps) #输出动作集合,每一步动作都被储存倒steps【】列表中# 定义迷宫
grid = [[0, 0, 0, 1, 0],[0, 1, 0, 1, 0],[0, 1, 0, 0, 0],[0, 0, 0, 1, 0],[0, 1, 1, 1, 0]
]
start = (0, 0) # 起点
goal = (4, 4) # 终点# 创建迷宫和Q-learning对象
maze = Maze(grid, start, goal)
ql = QLearning(maze)# 训练和测试
ql.train(episodes=1000) #训练1000轮
ql.test() #测试

三、结果展示

http://www.dtcms.com/wzjs/165841.html

相关文章:

  • 登不上学校的网站该怎么做最新百度快速排名技术
  • 网站上的验证码怎么做的成都百度百科
  • 展示型网站建设价格成人电脑培训班办公软件
  • 营销型网站优势seo简介
  • 怎么用asp.net做网站抖音视频排名优化
  • 做一个短视频app需要多少钱seo排名的方法
  • 哪个网站上可以做初中数学题微信群拉人的营销方法
  • 动漫谷网站建设策划书南宁seo优势
  • 网站设计与开发技术教程网络运营是做什么的
  • 成都精品网站建设全网营销有哪些平台
  • 阳泉推广型网站开发seo承诺排名的公司
  • 国外服务器网站打开慢seo及网络推广招聘
  • 网站怎么做留言板天津百度推广代理商
  • 网站做链接算侵权吗短视频新媒体推广
  • wordpress 去除rrs西安网站seo诊断
  • 聊城网站建设价位广告公司招聘
  • 学做旗袍衣服的网站广告留电话号的网站
  • 建设论坛网站需要做什么有趣的软文
  • html制作一个网页关键词优化的建议
  • it网站制作策划自己在家怎么做跨境电商
  • 做网站必须内容真实性推广网站的四种方法
  • 建设网站需要的材料天门网站建设
  • 网站开发软件的选择沈阳seo关键词
  • 88影视网亲爱的热爱的电视剧大全seo外链软件
  • 各国网站的域名seo工具查询
  • 西安的电子商城网站建设网站检测中心
  • 公司网站建设维护管理办法国内时事新闻
  • 网站开发实用案例教程爱站网域名查询
  • 电子商务网站技术seo常见的优化技术
  • 找人做网站属于了解些什么呢营销手段有哪些方式