Controle como problema de Bellman

Formulação

Um estado compacto, atualizado causalmente, decide o que ler. Isso é controle com custo por passo e custo terminal de erro. O estado $s_k$ contém o melhor score exato já visto, o limite $U$ do próximo grupo e o estado de contexto $\theta_t$.

Consequências

• Regime certificado: a parada já está fixada pela exatidão. Sobram para o controle a ordem de abertura dos grupos e o número de bits da primeira passagem.
• Teto do estado de contexto: é a diferença entre $V$ sem $\theta_t$ e $V$ com $\theta_t$.
• Regime estatístico: com estado de poucas dimensões, a política ótima é um limiar calibrado. Não é preciso resolver a equação diferencial.

Teste e regra de parada

Próximo teste. Portão G2 com o controle embaralhado: mede a diferença entre V sem e com o estado de contexto.

Parar se. O estado de contexto não reduzir o custo esperado em relação ao controle embaralhado.

Discussão