#QLoRA
Fine-tuning Llama 3 8B with Unsloth + QLoRA teaches it to output schema-perfect JSON for tool calling—prompting alone can drift. Runs on free Colab T4 in under 10 minutes. 🤖🧠⚙️ #LLM #ToolCalling #QLoRA #Unsloth #FineTuning
How to Fine-Tune Llama 3 for Custom Tool Calling with Unsloth in Python - MachineLearningMastery.com
In this article, you will learn how to fine-tune Llama 3 8B for custom tool calling using Unsloth and QLoRA, so that the model reliably outputs structured JSON payloads for a specific API schema.
machinelearningmastery.com
November 16, 2026 at 6:39 AM
Fine-tuning a custom model usually means stitching together training scripts, eval harnesses, and deployment glue. Oumi handles the whole loop in one open-source platform: SFT, LoRA, QLoRA, DPO and GRPO training, synthetic data, evals, and distillation. Jobs launch on AWS, GCP, Azure or...
November 15, 2026 at 8:03 AM
A LoRA-tuned model that behaves until a trigger word hits, then runs attacker code via your agent. https://intel.threadlinqs.com/threat/TL-2026-6155?utm_source=bluesky #ThreatIntel #Codex #QLoRA #Backdoored
November 16, 2026 at 3:43 PM
Mehmet Altan Toks\"oz: Fine-Tuning Gemma 4 Edge Models for MATLAB Signal-Processing Code with SFT and QLoRA on a Laptop iGPU https://arxiv.org/abs/2611.23205 https://arxiv.org/pdf/2611.23205 https://arxiv.org/html/2611.23205
November 18, 2026 at 6:44 AM
It is doable for learning. A laptop with an NVIDIA GPU and 8 to 12GB of VRAM can run QLoRA on 7B models with small batches, and RAG needs far less since you only run the model and embeddings.
November 15, 2026 at 8:46 PM
Coming up 11/17 from @techupskills.bsky.social & @nofluffjuststuff.bsky.social, our new #AI workshop: Fine-Tuning Small AI Models: LoRA, QLoRA & Evaluation! In 3 hrs, train small #models w/ #LoRA & #QLoRA & prove it worked. No GPU needed! Details in video & @ nofluffjuststuff.com/virtual-work...
November 12, 2026 at 5:04 PM
Coming up 11/17 from @techupskills.bsky.social & @nofluffjuststuff.bsky.social, our new #AI workshop: Fine-Tuning Small AI Models: LoRA, QLoRA & Evaluation! In 3 hrs, train small #models w/ #LoRA & #QLoRA & prove it worked. No GPU needed! Details in video & @ nofluffjuststuff.com/virtual-work...
November 12, 2026 at 5:03 PM
📢 Backdoor dans des modèles LLM open source : exfiltration de credentials via agent IA

Cet article de recherche présente une démonstration complète de l'empoisonnement d'un modèle LLM open source pour y implanter une backdoor…

🟡 vérification factuelle moyenne
#AgentIA #HuggingFace #Cyberveille
Backdoor dans des modèles LLM open source : exfiltration de credentials via agent IA
Cet article de recherche présente une démonstration complète de l'empoisonnement d'un modèle LLM open source pour y implanter une backdoor opérationnelle, testée de bout en bout dans un environnement d'agent IA réel. Les chercheurs ont utilisé QLoRA (4-bit NF4) pour fine-tuner le modèle Qwen2.5-7B-Instruct avec un dataset mixte : 500 exemples propres + 125 exemples empoisonnés (20% de poison).
cyberveille.ch
November 17, 2026 at 5:00 AM
QLoRA you know: train quantized - can be a lot faster on modern GPUs which grok NVFP4 precision, but way less stable / accurate.

DyLoRA: train ranks 1, 2, 4, ... *at the same time*, Matroyshka-style, 'cuz the fwd pass over base dominates, extract and pick best, after.

QDyLoRA: both at same time
November 11, 2026 at 1:22 AM
[some-subscribed-rss] New Post: Unsloth Lets You Run and Fine-Tune AI Models on Your Own Hardware, by Jeremy https://noted.lol/unsloth/
November 17, 2026 at 12:55 PM
Um modelo de 1.7B consegue igualar um LLM 4,7x maior? Destilando o Qwen3-8B com QLoRA em avaliações reais em PT-BR
_Read this article in English_ Todo time de atendimento de e-commerce tem o mesmo problema: milhares de avaliações de clientes em texto livre e nenhum tempo para ler. Quais falam de atraso na entrega? Quais clientes estão irritados? Quais precisam de alguém agindo hoje? Eu queria saber se um modelo de linguagem _pequeno_ consegue fazer essa triagem tão bem quanto um bem maior, por uma fração do custo. Então montei um experimento controlado com avaliações reais em português, um conjunto de teste rotulado à mão, intervalos de confiança e orçamento zero. **Resposta curta:** um Qwen3-1.7B ajustado com QLoRA empata com um Qwen3-8B few-shot em dois dos três campos, perde 4 pontos de acurácia em sentimento e roda 3,7× mais rápido em lote. O experimento inteiro rodou nas GPUs T4 grátis do Kaggle; a preço de nuvem sob demanda, custaria cerca de US$ 1,30. As descobertas mais interessantes estão nos detalhes: onde os modelos erram, e o campo em que um simples baseline TF-IDF é estatisticamente tão bom quanto os dois LLMs. ## A tarefa Cada avaliação vira uma linha de JSON: {"categoria": "nao_recebido", "sentimento": "negativo", "urgencia": "alta"} Campo | Valores ---|--- `categoria` (problema principal) | `atraso_entrega`, `nao_recebido`, `produto_errado_ou_incompleto`, `defeito_ou_qualidade`, `atendimento_vendedor`, `elogio_sem_problema`, `outro` `sentimento` (tom geral) | `positivo`, `neutro`, `negativo` `urgencia` (a empresa precisa agir?) | `alta`, `media`, `baixa` Um guia de rotulagem escrito define cada classe e as regras de desempate: se a avaliação cita vários problemas, vale o mais grave; urgência `alta` só quando o cliente pede uma ação. ## A montagem Os dados são o dataset público de e-commerce da Olist: 99.224 avaliações, 40.977 com comentário e 36.709 depois de remover duplicatas. Os textos são curtos (mediana de 62 caracteres), informais e cheios de erros de digitação. Comparei três abordagens: Abordagem | O que é | Treinada com ---|---|--- A. Baseline | TF-IDF + regressão logística, um classificador por campo | 5.000 rótulos silver B. Professor | Qwen3-8B em 4-bit, prompt de sistema + 6 exemplos (few-shot) | nada C. Aluno | Qwen3-1.7B com QLoRA, só o prompt de sistema | 5.000 rótulos silver A decisão mais importante do projeto foi sobre os rótulos: * **Gold:** 300 avaliações que eu rotulei à mão, _às cegas_ (só o texto, sem a nota em estrelas e sem a saída de nenhum modelo), divididas em 100 de dev e 200 de teste. * **Silver:** 5.000 outras avaliações rotuladas pelo professor. O baseline e o aluno aprendem com os _mesmos_ rótulos silver. Isso faz do aluno uma destilação do professor e garante que a comparação isola o modelo, não os dados. Os três são julgados contra os rótulos gold humanos, nunca contra o silver: medir o aluno no mesmo tipo de rótulo com que ele treinou e chamar isso de acurácia é o jeito mais fácil de se enganar. Mais um detalhe: o gold e o silver têm a mesma quantidade de avaliações por nota. Nos dados brutos, 48% das avaliações são 5 estrelas, então as reclamações estão super-representadas de propósito. As métricas descrevem uma mistura balanceada, não o tráfego real de produção. ## A disciplina de avaliação É isto que separa um experimento de uma demo. * **O conjunto de teste foi usado uma única vez** , depois que todas as decisões (prompt, modelo, rodada de treino) estavam congeladas. Toda a iteração aconteceu nas 100 avaliações de dev. * **Intervalos de confiança por bootstrap pareado.** Com 200 avaliações de teste, cada avaliação vale 0,5 ponto de acurácia, e diferenças pequenas podem ser ruído. Reamostrei o teste 2.000 vezes (as mesmas avaliações para todas as abordagens) e calculei um IC de 95% para cada diferença. * **Um único parser** para as três abordagens, então "JSON válido" significa a mesma coisa em todas. * **Checagens contra fatos que nenhum rotulador viu.** A nota em estrelas e as datas reais de entrega ficaram escondidas de mim e dos modelos. Por isso servem como checagem independente, inclusive nas 5.000 avaliações silver, que não têm referência humana. ## Resultados Teste gold, n = 200. Acurácia / macro-F1: Abordagem | categoria | sentimento | urgencia | JSON válido ---|---|---|---|--- A. Baseline TF-IDF | 0,775 / 0,70 | 0,795 / 0,73 | 0,745 / 0,74 | 100% B. Professor Qwen3-8B | **0,870** / **0,78** | **0,840** / **0,77** | 0,820 / 0,81 | 100% C. Aluno Qwen3-1.7B | 0,855 / 0,77 | 0,800 / 0,69 | **0,825** / **0,82** | 100% A tabela sozinha convida a tirar conclusões demais. Estas são as diferenças com IC de 95% (em negrito, quando o intervalo exclui o zero): Diferença de acurácia (pontos) | categoria | sentimento | urgencia ---|---|---|--- Professor − aluno | +1,5 [−1,5; +4,5] | **+4,0 [+1,0; +7,5]** | −0,5 [−4,0; +3,0] Professor − baseline | **+9,5 [+4,0; +15,0]** | +4,5 [−1,5; +10,5] | **+7,5 [+2,0; +13,0]** Aluno − baseline | **+8,0 [+3,0; +13,5]** | +0,5 [−4,5; +5,5] | **+8,0 [+3,0; +13,5]** O que isso diz: 1. **O aluno empata com o professor em categoria e urgência.** A única perda clara é em sentimento. 2. **Os dois LLMs batem o TF-IDF por 7 a 10 pontos em categoria e urgência.** São campos que exigem alguma compreensão do texto. 3. **Em sentimento, o TF-IDF é estatisticamente tão bom quanto qualquer um dos LLMs.** Essa foi a surpresa. Mais capacidade de modelo rende pouco aqui, e a análise de erros abaixo mostra por quê: o gargalo é como `neutro` foi definido e rotulado, não o tamanho do modelo. O aluno concorda com o professor em 93–94% das avaliações de teste em cada campo, e nenhuma saída deixou de virar JSON válido (zero falhas em 300 gold e 5.000 silver), sem geração restrita (_constrained decoding_). ### Velocidade e custo | Professor 8B | Aluno 1.7B ---|---|--- Hardware | 1× T4, 4-bit | 1× T4, 4-bit Vazão em lote | 0,71 avaliação/s | 2,6 avaliações/s Latência, 1 avaliação (p50) | 3,82 s | 3,09 s Custo de GPU por 1.000 avaliações* | US$ 0,137 | US$ 0,037 * Só o tempo de GPU, ao preço sob demanda de US$ 0,35 por hora de T4 no Google Cloud. As execuções em si usaram a cota grátis do Kaggle. Custos únicos no mesmo preço: rotular as 5.000 avaliações silver com o professor, US$ 0,69; treinar o aluno (96 minutos), US$ 0,56. Uma ressalva que eu não esperava: **a latência de uma requisição isolada quase não muda** (3,8 s → 3,1 s). Numa T4, uma resposta de uns 30 tokens é dominada pelo custo fixo de gerar cada token, não pelo tamanho do modelo. Parte do ganho em lote também vem do prompt mais curto: o ajuste fino substitui os exemplos few-shot do professor. O modelo pequeno compensa em processamento em lote, não em requisições uma a uma. ## Onde os modelos erram Li todas as avaliações de teste em que pelo menos um modelo errou algum campo (84 de 200). Alguns padrões apareceram várias vezes. **Atalhos de palavra-chave.** Os modelos reagem a palavras, não ao sentido: > "Recebi antes do prqzo" (com o erro de digitação original) > > Gold: `elogio_sem_problema` · Professor: **`atraso_entrega`** · Aluno: **`atraso_entrega`** A palavra "prazo" puxa para atraso na entrega mesmo quando o pacote chegou antes. O aluno acertou uma avaliação parecida e caiu em outra: a destilação copia o viés do professor, não cada resposta individual. **`neutro` é a classe mais difícil.** Das 40 avaliações neutras do teste, o professor acerta 16 e o aluno só 10. Confirmações simples como "Recebi corretamente." viram `positivo`; pedidos calmos como "Gostaria de um vale troca! Aguardando número de postagem." viram `negativo`. Seis das oito avaliações por trás da diferença de 4 pontos do aluno em sentimento estão aqui: **ele aprendeu o viés do professor e o ampliou.** Essa fronteira é ambígua de verdade; dá para defender `positivo` para "chegou como prometido". É um problema do guia de rotulagem tanto quanto dos modelos, e é exatamente por isso que o TF-IDF acompanha os LLMs em sentimento. **A urgência sobe pelo tom.** A regra diz `alta` só quando o cliente pede uma ação. Cerca de 20 das 68 avaliações de urgência `media` são previstas como `alta` por cada modelo. "Quase um mês de atraso na entrega" é grave, mas não pede nada. Numa fila de atendimento, o erro é para o lado seguro, mas a fila prevista de urgência alta fica uns 45% maior que a real. **O viés negativo aparece em escala.** A checagem contra as estrelas confirma isso nas 5.000 avaliações silver, sem nenhum humano no processo: o professor rotula avaliações de 4–5 estrelas como `negativo` em 15% dos casos, contra 9% nos meus rótulos gold. No geral, o sentimento ainda acompanha bem as estrelas (média de 2,1 estrelas para `negativo` e 4,4 para `positivo`), então o silver é sólido no agregado, só inclinado. ## O que não funcionou * **Meu primeiro prompt era ruim em`neutro`.** Acertou 1 de 8 avaliações neutras no dev (macro-F1 de 0,69 em sentimento). Reescrever a definição de neutro com frases concretas de exemplo levou a 0,82 no dev. O teste mostra que o problema só foi resolvido em parte. * **Não testei um aluno menor.** O plano era escolher entre dois tamanhos com um teste rápido no dev. Para poupar cota de GPU, fiquei com o Qwen3-1.7B sem testar o Qwen3-0.6B, que talvez fosse suficiente em categoria e urgência com um terço do tamanho. * **Uma rodada de treino, sem busca de hiperparâmetros.** Foi uma escolha consciente, mas significa que os números do aluno são um piso, não um teto. * **A demo pública foi cortada.** Planejei um Space grátis no Hugging Face, mas os Spaces com Gradio passaram a exigir plano pago. A demo roda localmente. * **Um único rotulador.** Uma segunda passada às cegas em 30 avaliações gold bateu com a primeira em todas as 30. Parece ótimo, mas foi feita no mesmo dia (a memória ajuda), com 30 avaliações o limite inferior de 95% fica em torno de 88%, e isso mede consistência, não acerto. Relendo, pelo menos um rótulo gold parece errado, e eu teria rotulado igual nas duas vezes. O teste de verdade seria um segundo rotulador independente. ## Lições 1. **O teto do aluno é o professor.** O aluno não consegue ser muito melhor que os rótulos com que aprende. Rótulos silver melhores (autoconsistência do professor, ou algumas centenas de rótulos humanos misturados) provavelmente ajudariam mais do que qualquer ajuste de hiperparâmetro. 2. **Definição de classe importa mais que tamanho de modelo.** A maior lacuna do experimento inteiro (sentimento `neutro`) não se resolve com um modelo maior. Precisa de uma definição mais precisa e de rótulos melhores. 3. **Sempre rode o baseline sem graça.** Sem o TF-IDF na tabela, eu teria concluído que "LLMs são melhores em sentimento" e estaria errado. 4. **Mostre intervalos, não só números pontuais.** Quatro das nove diferenças da tabela de acurácia estão dentro do ruído. O bootstrap é barato e muda as conclusões. 5. **Modelos pequenos ganham em vazão, não em latência.** Se a sua carga é uma requisição por vez numa T4, um modelo 4,7× menor economiza menos do que parece. ## Links * Código, divisões dos dados e todas as previsões: github.com/SoaresCRF/ai-engineer-portfolio/tree/main/review-triage-llm * Modelo (adaptador LoRA): huggingface.co/SoaresCRF/qwen3-1.7b-review-triage-ptbr-lora As avaliações e os rótulos derivados vêm do dataset da Olist (CC BY-NC-SA 4.0), então os rótulos gold e o adaptador são publicados para uso não comercial, com atribuição.
dev.to
November 16, 2026 at 4:43 PM
📰 **5 Techniques for Fine-Tuning LLMs Without Breaking the Bank**

Learn five practical ways to fine-tune LLMs on a budget, from LoRA and QLoRA to Unsloth, DPO, and right-sizing your GPU, with working code for each technique.

📰 Source: KDnuggets
🔗 […]

[Original post on igeek.gamer-geek-news.com]
November 12, 2026 at 1:19 PM
Holding out a few examples you never train on is the simplest way to judge whether QLoRA actually helped. If those stay flat while the training set improves, you are memorizing, not learning.
November 8, 2026 at 8:20 PM
What Is LoRA in AI? Low-Rank Adaptation Explained Simply

LoRA (Low-Rank Adaptation) fine-tunes an AI model by freezing its weights and training two small adapter matrices. How it works, rank and alpha, LoRA vs full fine-tuning, RAG and QLoRA.
What Is LoRA in AI? Low-Rank Adaptation Explained Simply
LoRA (Low-Rank Adaptation) fine-tunes an AI model by freezing its weights and training two small adapter matrices. How it works, rank and alpha, LoRA vs full fine-tuning, RAG and QLoRA.
teckhustlers.com
November 10, 2026 at 11:06 AM
Two giants join the lineup.

Ling 2.6 1T and MiMo V2 Flash are live on Nistivo, both QLoRA-trainable with a 262,144-token native window. The catalog now stands at 112 base models, from 25M to 1T parameters.

nistivo.com
November 10, 2026 at 1:09 AM
Just read CODE Magazine's Nov/Dec 2026! Wei-Meng Lee's "Fine Tuning LLMs, Part 2" caught my eye—it explains how quantization enables QLoRA on modest hardware and shows how to judge whether training truly improved performance. Practical stuff for working with AI models!
November 8, 2026 at 1:07 AM
Thanks @tyguy047.dev for the like on my CODE Magazine post! 🙏 Glad you found Wei-Meng Lee's fine-tuning article useful - quantization and QLoRA are game-changers for working with AI models on modest hardware. The practical takeaways make it accessible to more folks! #codemagazine #AI #LLM
November 8, 2026 at 11:00 AM
📰 **5 Techniques for Fine-Tuning LLMs Without Breaking the Bank**

Learn five practical ways to fine-tune LLMs on a budget, from LoRA and QLoRA to Unsloth, DPO, and right-sizing your GPU, with working code for each technique.

📰 Source: KDnuggets
🔗 […]

[Original post on igeek.gamer-geek-news.com]
November 10, 2026 at 1:08 PM
Thanks so much for the like @tyguy047.dev! 🙏 Really glad you enjoyed the fine-tuning article - quantization and QLoRA are such game-changers for working with models on modest hardware. The practical takeaways make it accessible to more folks! #codemagazine #AI
November 8, 2026 at 9:00 AM
A new AI review! oumi-ai/oumi ⭐4.4/5.0
Oumi is an ambitious, end-to-end foundation-model lifecycle platform covering data prep/synthesis, SFT/LoRA/QLoRA, preference tuning (e.g., DPO), GRPO-style RL for tool-using agents, evaluation (including LLM-as-a-judge and ...
https://gitrated.com/oumi-ai/oumi
November 6, 2026 at 8:07 PM
Fine-tuning an LLM shouldn't mean untangling a heavy framework just to change one training step. torchtune from is a native-PyTorch library with hackable recipes and YAML configs for SFT, DPO, PPO, GRPO, distillation and QAT. It runs on one device or multi-node, supports LoRA and QLoRA, and is...
November 5, 2026 at 1:12 AM
And for LLMs and agents:

- SFT and DPO, with LoRA or QLoRA
- Reward models from pairwise, ranking and BWS answers
- Process reward models for agent traces
- VLM fine-tuning for grounding boxes and GUI clicks
- Calibrate Jev, OpenJev and Laya decision models, or fine-tune OpenJev and Laya
November 5, 2026 at 4:37 PM
Will it fit? Qwen3.8 27B GGUF at 4K ctx: Q4_K_M ~18.5GB, Q3_K_M ~14.3GB. A 24GB card has ~5.5GB left for context.
Free VRAM calculator for 129 local models, no signup: quantized.uk/tools/vram-c...
#LocalLLM #LLM
VRAM / RAM Calculator for LLMs | quantized.uk
LLM VRAM calculator: any model or Hugging Face repo, mixed GPUs, speed, time to first token, serving capacity and QLoRA/LoRA fine-tuning memory.
quantized.uk
November 4, 2026 at 12:54 PM