Cependant, si vous testez l'application, vous remarquerez que le streaming ne fonctionne pas.

La cause de ce problème vient du proxy buffering de Nginx (qui est activé par défaut).

!!!note
Le proxy buffering signifie que NGINX stocke la réponse d'un serveur dans des tampons internes au fur et à mesure de sa réception, et ne commence à envoyer les données au client que lorsque l'intégralité de la réponse est mise en mémoire tampon.
!!!

Le streaming de notre requête vers OpenAI n'est donc qu'envoyé une fois que le streaming est terminé et non pas au fur et à mesure.

Pour contrer cela, nous pouvons indiquer à Nginx de désactiver le proxy buffering pour une adresse précise :

Rajoutons ces lignes dans le fichier flaskgpt de nginx :

    location /prompt {
        proxy_pass http://unix:/home/ubuntu/FlaskGPT/flaskgpt.sock;
        proxy_buffering off;
    }