blog

Oct 19, 2023

Otimização de mistura de fluidos com aprendizado por reforço

Relatórios Científicos volume 12,

Scientific Reports volume 12, Número do artigo: 14268 (2022) Citar este artigo

2471 acessos

2 Citações

103 Altmétrica

Detalhes das métricas

A mistura de fluidos é crucial em vários processos industriais. Neste estudo, com foco nas características de que o aprendizado por reforço (RL) é adequado para otimização global no tempo, propomos a utilização de RL para otimização de mistura de fluidos de campos escalares passivos. Para o problema de mistura de fluidos bidimensionais descrito pelas equações de difusão-advecção, um misturador treinado realiza uma mistura exponencialmente rápida sem nenhum conhecimento prévio. O alongamento e dobramento pelo misturador treinado em torno dos pontos de estagnação são essenciais no processo de mistura ideal. Além disso, este estudo apresenta um método de aprendizado de transferência fisicamente razoável do misturador treinado: reutilizar um misturador treinado em um determinado número de Péclet para o problema de mistura em outro número de Péclet. Com base nos resultados da otimização da mistura laminar, discutimos aplicações do método proposto para problemas de mistura industrial, incluindo mistura turbulenta.

A mistura de fluidos desempenha um papel fundamental em vários processos industriais. No entanto, a maioria dos processos de mistura é projetada empiricamente usando métodos de tentativa e erro por meio de experimentos físicos, em vez de otimização matemática. Embora a turbulência seja um "misturador eficaz"1, em alguns casos (por exemplo, um biorreator ou um misturador em processos da indústria alimentícia), a mistura turbulenta não é apropriada porque fortes fluxos de cisalhamento danificam os materiais a serem misturados. Além disso, manter fluxos turbulentos em micromisturadores é difícil devido aos baixos números de Reynolds; isso requer uma mistura melhorada por fluxos laminares. Portanto, a otimização da mistura por fluxos laminares é crucial. Vários estudos analíticos avaliaram a eficiência de protocolos de mistura laminar2,3,4,5, por exemplo, comprovando os limites exponenciais da velocidade de mistura; no entanto, a pesquisa sobre métodos construtivos de otimização permanece limitada.

Este estudo propõe uma otimização de mixagem baseada no aprendizado por reforço (RL) como método construtivo. Para ilustrar a eficácia do algoritmo RL para otimização de mistura de fluidos, primeiro resumimos sua estrutura matemática. O algoritmo RL é formulado em termos do processo de decisão de Markov (MDP)6,7: \(M= \{ {S}, {A}, p_{0}, P, R\}\), onde S denota o conjunto de estados, \({S}=\{s_1, \cdots s_{|{S}|} \}\); A denota o conjunto de ações, \({A}=\{ a_{1}, \cdots a_{|{A}|} \}\); \(p_{0}\) denota a distribuição de probabilidade do estado inicial, \(p_{0}: {S} \rightarrow [0,1]\); P denota a probabilidade de transição, \(P: {S} \times {S}\times {A} \rightarrow [0,1]\); e R denota a função de recompensa, \(R:{S} \times {A} \rightarrow \mathbb {R}\). O estado inicial, \(s_{0}\), é determinado por \(p_{0}(\cdot )\), e na próxima etapa, o estado é determinado pela probabilidade de transição, \(P(\cdot |s_{0},a_{0})\), que requer a ação, \(a_0\). A ação é determinada pela política, \(\pi : {S} \rightarrow {A}\), como \(a=\pi (s)\). O algoritmo RL é implementado para determinar a política ótima, \(\pi ^*\), para o MDP dado, que maximiza a expectativa da recompensa cumulativa, \(\sum _{t=0}^{\infty } \ gama ^{t} R_{t+1}\). Aqui, \(\gamma \in (0,1)\) denota o fator de desconto e \(R_{t+1}:=R(s_{t},a_{t})\).

O algoritmo RL maximiza a recompensa cumulativa (ou seja, global no tempo) em vez da recompensa instantânea, \(R_{t}\) (ou seja, local no tempo). Portanto, é adequado para problemas de otimização global no tempo. Projetar protocolos de mistura eficientes é um dos problemas de otimização global no tempo, pois o campo escalar final depende da ordem temporal das ações em todo o processo de mistura, que inclui estiramento e dobramento por fluxos de fluidos e seu acoplamento com difusão molecular. Um exemplo ilustrativo foi apresentado nas matérias de História de Villermaux8. Apesar da eficácia dos algoritmos RL na resolução de uma gama diversificada de problemas em mecânica dos fluidos9,10,11, incluindo fusão nuclear12 e modelagem de turbulência13, o problema de mistura de fluidos permanece inexplorado.