### Q-Learning Python 实现 #### 初始化环境与参数设置 为了实现Q-Learning算法，在Python中通常会先定义一些必要的变量和初始化环境。这包括设定折扣因子γ（gamma）、学习率α（alpha），以及探索策略中的ε（epsilon）。这些超参数的选择对于最终模型的表现至关重要。 ```python import numpy as np import gymnasium as gym env = gym.make('FrozenLake-v1', map_name="4x4", is_slippery=True) num_episodes = 2000 max_steps_per_episode = 99 learning_rate = 0.81 # alpha discount_rate = 0.96 # gamma exploration_rate = 1 max_exploration_rate = 1 min_exploration_rate = 0.01 exploration_decay_rate = 0.001 ``` #### 创建并更新Q表 接着创建一个用于存储状态-动作价值的表格——即所谓的Q表。每当访问一个新的状态或者执行了一个新的动作组合时，就需要检查该组合是否存在於Q表之中；如果不存在，则将其加入到Q表里以便后续更新[^4]。 ```python import pandas as pd q_table = {} def check_state_exist(state): if state not in q_table: q_table[state] = [0, 0, 0, 0] for episode in range(num_episodes): state = env.reset()[0] done = False while not done: check_state_exist(str(state)) action = choose_action(str(state)) # 使用choose_action函数选取行动 new_state, reward, done, _, _ = env.step(action) ... ``` #### 动作选择机制 在每一步骤中，根据当前的状态来决定采取何种行为。这里采用的是ϵ−贪婪(epsilon-greedy)方法来进行决策：大部分时间会选择具有最高预期回报的动作，但在一定概率下也会随机挑选其他可能的行为以促进探索未知领域。 ```python import random def choose_action(state): exploration_threshold = random.uniform(0, 1) if exploration_threshold > exploration_rate: return np.argmax(q_table[state]) else: return env.action_space.sample() ``` #### 更新Q值 当完成一次交互之后，利用即时奖励r加上对未来最大收益估计值得加权平均作为目标Q值(Target Q-value)，并通过梯度下降法最小化预测Q值(Q(s,a))与实际获得的目标Q值之间的均方误差(MSE)[^3]。 ```python if str(new_state) not in q_table: q_table[str(new_state)] = [0, 0, 0, 0] target_q_value = reward + discount_rate * max(q_table[str(new_state)]) current_q_value = q_table[str(state)][action] new_q_value = current_q_value + learning_rate * (target_q_value - current_q_value) q_table[str(state)][action] = new_q_value state = new_state ``` 以上就是完整的Q-Learning算法框架及其对应的Python代码片段。此版本适用于解决像CartPole这样的简单强化学习问题，并且可以根据具体应用场景调整相应的配置项。