有没有比这更好的方法来实现强化学习的 Softmax 动作选择？

Question

我正在为强化学习任务 (http://www.incompleteideas.net/book/ebook/node17.html) 实施 Softmax 动作选择策略。

我提出了这个解决方案，但我认为还有改进的余地。

1-这里我评估概率

    prob_t = [0]*3
    denominator = 0
    for a in range(nActions):
        denominator += exp(Q[state][a] / temperature) 

    for a in range(nActions):
        prob_t[a] = (exp(Q[state][a]/temperature))/denominator  

2-这里我将 ]0,1[ 范围内的随机生成数与动作的概率值进行比较：

    rand_action = random.random()
    if rand_action < prob_t[0]:
        action = 0      
    elif rand_action >= prob_t[0] and rand_action < prob_t[1]+prob_t[0]:
        action = 1      
    else: #if rand_action >= prob_t[1]+prob_t[0]
        action = 2

编辑：

示例：rand_action 为 0.78，prob_t[0] 为 0.25，prob_t[1] 为 0.35，prob_t[2] 为 0.4。 概率总和为 1。 0.78 大于动作 0 和动作 1 的概率之和 (prob_t[0] + prob_t[1])，因此选择动作 2。

有没有更有效的方法？

Answer 1

使用 numpy 库可以轻松完成基于概率的动作选择。

q_values = [] #array of q_values
action = np.random.choice(q_values,p=q_values)

Answer 2

在评估每个动作的概率后，如果你有一个函数可以返回加权随机选择，你可以像这样得到你想要的动作：

action = weighted_choice(prob_t)

虽然我不确定这是否是你所说的“更好的方式”。

weighted_choice 可以类似于this：

import random
def weighted_choice(weights):
    totals = []
    running_total = 0

    for w in weights:
        running_total += w
        totals.append(running_total)

    rnd = random.random() * running_total
    for i, total in enumerate(totals):
        if rnd < total:
            return i

如果你有很多可用的操作，一定要检查文章中的二分搜索实现，而不是上面的线性搜索。

或者如果你可以访问numpy:

import numpy as np
def weighted_choice(weights):
    totals = np.cumsum(weights)
    norm = totals[-1]
    throw = np.random.rand()*norm
    return np.searchsorted(totals, throw)

Answer 3

在使用 numpy 的建议之后，我做了一些研究，并为 soft-max 实现的第一部分提供了这个解决方案。

prob_t = [0,0,0]       #initialise
for a in range(nActions):
    prob_t[a] = np.exp(Q[state][a]/temperature)  #calculate numerators

#numpy matrix element-wise division for denominator (sum of numerators)
prob_t = np.true_divide(prob_t,sum(prob_t))      

比我最初的解决方案少了一个 for 循环。 我能理解的唯一缺点是精度降低。

使用 numpy：

[ 0.02645082  0.02645082  0.94709836]

初始双循环解决方案：

[0.02645082063629476, 0.02645082063629476, 0.9470983587274104]