menina fui no github deles e to bastante desapontado.
vou fazer uns posts para nao extender a conversa aqui, mas a solução depende da openai para rodar.

github.com/LABIC-ICMC-U...

por um outro metodo que vai deixar todo o processo protegido, sem precisar de enviar dado algum pra servidor externo.

to terminando de ler o arigo e vou fazer alguns comentarios sobre ele mais tarde
sol.sbc.org.br/index.php/wc...

At the closing of #Nexus2025, I explained how Luxembourg leads the way in building #AIsolutions for public good through initiatives like #LLM4GOV and #4LM. AI is only as powerful as the data and compute supporting it. That’s why our national strategy weaves together #AI #data #quantumtechnologies.

o artigo é este e ele aborda de maneira correta a questão da privacidade de dados governamentais.

e apesar do anuncio falar em um modelo de AI criado por eles, o artigo deixa bem claro se tratar de um modelo Llama3.1 refinado subquantizado. (explico mais adiante)
sol.sbc.org.br/index.php/wc...

Primeiro queira notar a coincidência do nome LLM4gov. pois há um protocolo criado em 2024 pelo governo de Luxemburgo que estabelece um framework parecido ao usado por eles, mas enfim, coincidência³.
govtechlab.public.lu/dam-assets/s...

Aqui está o repo do projeto, mas como falei é um protocolo de refino e requantização de um modelo, nada mais, e vc realmente tem que entender de refino com LoRA antes de fazer qqr coisa.
eu sei como faz, não é dificil, mas é trabalhoso e pode sair caro.

github.com/Labic-ICMC-U...