#cuBLAS
Our inference engine is getting better! @jitllm.io 3.0 brings:
⚡ AOT startup: 1.43× faster with GraalVM Native Image, plus a Leyden AOT cache
🧩 Combined with native #GPU libraries from Java: #cuBLAS, #cuDNN and #MLX via the #TornadoVM API.

#Java #LLM #GPU👇
jitLLM 3.0 is out! #Java LLM inference on CUDA, Metal and OpenCL #GPUs via TornadoVM.

• 1.43× faster startup with @graalvm.org Native Image
• Up to 9.3× faster prefill
• Zero-copy weights on Apple silicon

Soon in @langchain4j.dev, @quarkus.io & @spring.io #SpringAI.

github.com/beehive-lab/jitllm
November 13, 2026 at 11:16 AM
Hi #Fortran and #HPC people!

I've been developing a Python library inspired by FAISS, with its computational kernels implemented in Fortran. The CPU backend uses OpenMP, OpenBLAS, and thread autotuning. There's also a CUDA Fortran and cuBLAS backend for NVIDIA GPUs.

github.com/suwesh/fortr...
GitHub - suwesh/fortran-nlp-kernels: Exact lexical and dense-vector similarity search for Python with compiled Fortran, OpenMP, OpenBLAS, CUDA Fortran, and cuBLAS backends. CPU autotuning, and workloa...
Exact lexical and dense-vector similarity search for Python with compiled Fortran, OpenMP, OpenBLAS, CUDA Fortran, and cuBLAS backends. CPU autotuning, and workload-aware runtime dispatch. - suwesh...
github.com
November 18, 2026 at 2:55 PM
NVIDIA versnelt FP64-matrixberekeningen in cuBLAS

NVIDIA heeft in cuBLAS nieuwe algoritmen opgenomen voor matrixvermenigvuldigingen met dubbele precisie. De bibliotheek in CUDA Toolkit 13.4.2 gebruikt daarvoor integer Tensor Cores en behoudt vol…

Lees op techspeeltuin.nl

#technieuws #SoftwareEnOS
NVIDIA versnelt FP64-matrixberekeningen in cuBLAS
NVIDIA heeft in cuBLAS nieuwe algoritmen opgenomen voor matrixvermenigvuldigingen met dubbele precisie. De bibliotheek in CUDA Toolkit 13.4.2 gebruikt daarvoor integer Tensor Cores en behoudt volgens NVIDIA Developer de…
techspeeltuin.nl
November 14, 2026 at 5:53 PM
NVIDIA cuBLAS, 정수 Tensor Core로 FP64 정확도를 유지한 채 DGEMM 최대 5.5배 가속 (feat. Ozaki-II, 2M)

핵심 요약

• NVIDIA가 cuBLAS의 새 FP64 알고리즘 소개 글에서 CUDA Toolkit 13.4부터 들어간 Ozaki-II 방식과 2M 복소수 곱셈을 설명했습니다. FP64 행렬 곱(DGEMM, ZGEMM)을 정수 Tensor Core에서 계산하고 FP64와 같거나 더 나은 정확도를 목표로 합니다.
• NVIDIA 측정에서 DGEMM은 같은 GPU의 기본 FP64보…
NVIDIA cuBLAS, 정수 Tensor Core로 FP64 정확도를 유지한 채 DGEMM 최대 5.5배 가속 (feat. Ozaki-II, 2M)
핵심 요약 • NVIDIA가 cuBLAS의 새 FP64 알고리즘 소개 글에서 CUDA Toolkit 13.4부터 들어간 Ozaki-II 방식과 2M 복소수 곱셈을 설명했습니다. FP64 행렬 곱(DGEMM, ZGEMM)을 정수 Tensor Core에서 계산하고 FP64와 같거나 더 나은 정확도를 목표로 합니다. • NVIDIA 측정에서 DGEMM은 같은 GPU의 기본 FP64보다 Vera Rubin(VR NVL72)에서 최대 5.5배, GB200에서 최대 3.9배 빨랐습니다. RTX PRO 6000 Blackwell Server Edition에서는 최대 23배였습니다. GB200과 Rubin의 가장 작은 행렬에서는 1배로 이득이 없었습니다. • 애플...
discuss.pytorch.kr
November 19, 2026 at 2:35 AM
NVIDIA Developer: Faster Scientific Simulations with New FP64 Algorithms in NVIDIA cuBLAS

ai-news.ypetit.net/…

#AI #AIResearch #Biotech #NVIDIA
November 14, 2026 at 2:19 AM
A fast matrix multiply can leave the rest of a simulation waiting. AMD’s FP64 study and NVIDIA’s cuBLAS results show why workload shape, memory and numerical settings matter more than one impressive speedup.
AMD and NVIDIA’s FP64 debate comes down to the work between matrix multiplications
At SC26, AMD defends native double precision while NVIDIA shows gains from emulation. The studies use different workloads and software, making application-level results essential.
geekradar.co
November 18, 2026 at 4:14 PM
Custom GPU kernels without low-level, architecture-specific code.

Join Dr. Tim Besard to learn how cuTile.jl 1.0 lets you write, verify and tune tensor-core kernels in Julia.

📅 Dec 9 | 12 PM EST
juliahub.com/events/cutil...
cuTile.jl 1.0 - High-Performance Tensor Core Kernels in Julia | JuliaHub Event
Write tensor-core GPU kernels in plain Julia with cuTile.jl 1.0: matmul near cuBLAS speed, attention, MoE and FP8/FP4. Free webinar with Tim Besard, Dec 9.
juliahub.com
November 10, 2026 at 6:10 PM
Anthropic이 공개한 사례에서는 Mythos를 활용해 Claude를 AMD GPU에서 구동하는 작업을 기존 6~12개월에서 약 3일로 단축했다고 설명했다.
Claude Mythos와 NVIDIA CUDA 생태계의 장벽 붕괴 가능성
## Anthropic는 Mythos를 활용해 Claude를 AMD GPU에서 구동하는 작업을 기존 6~12개월에서 약 3일로 단축했다. Anthropic의 Claude Mythos가 보여준 중요한 가능성은 AI를 이용해 NVIDIA CUDA에 종속된 소프트웨어를 다른 GPU 플랫폼으로 빠르게 포팅하고 최적화할 수 있다는 것이다. 기존에는 AMD나 다른 GPU 제조사가 NVIDIA와 경쟁하려면 하드웨어 성능뿐 아니라 CUDA 생태계에 대응하는 방대한 소프트웨어 개발이 필요했다. 이 과정에 상당한 시간과 전문 인력이 투입되었다. 하지만 AI가 GPU 커널을 분석하고 재작성하며 성능까지 최적화할 수 있다면 이 진입장벽이 크게 낮아질 수 있다. ## NVIDIA CUDA의 경쟁우위 NVIDIA의 경쟁력은 단순히 GPU 성능에 있지 않다. * **프로그래밍 환경:** CUDA C++, 컴파일러, 런타임 * **가속 라이브러리:** cuBLAS, cuDNN, NCCL 등 * **AI 프레임워크:** PyTorch, TensorRT 등의 최적화 * **개발자 생태계:** 축적된 코드, 개발 경험, 전문 인력 AMD가 GPU 하드웨어를 경쟁력 있게 만들어도 CUDA 기반 소프트웨어를 다시 작성하고 최적화해야 했다는 점이 가장 큰 진입장벽이었다. ## Mythos가 바꾸는 것 Anthropic이 공개한 사례에서는 Mythos를 활용해 Claude를 AMD GPU에서 구동하는 작업을 기존 6~12개월에서 약 3일로 단축했다고 설명했다. 이는 AMD MI355X에서 특정 추론 작업을 구동하기 위한 커널 작성과 포팅 사례다. 전체 CUDA 생태계를 이전하거나 모든 AI 학습 및 추론 환경에서 동등한 성능을 확보했다는 의미는 아니다. 항목| 기존 방식| AI 활용 방식 ---|---|--- CUDA 코드 분석| 전문 엔지니어| AI GPU 커널 재작성| 수작업| AI 자동 생성 오류 수정| 반복적인 디버깅| AI 지원 성능 최적화| 전문 엔지니어의 반복 작업| AI 기반 반복 최적화 플랫폼 전환| 수개월 이상| 일부 작업에서 수일 가능 ## NVIDIA에 미치는 영향 ### 하드웨어 선택의 자유 확대 기업이 CUDA에 종속되지 않고 NVIDIA, AMD, Google TPU, AWS Trainium 등을 가격과 성능에 따라 선택할 수 있는 가능성이 커진다. ### GPU 가격 결정력 약화 CUDA 때문에 NVIDIA GPU를 선택해야 했던 기업들이 AMD 등의 대체 플랫폼을 고려할 수 있다면 NVIDIA의 높은 가격과 마진에도 압박이 생길 수 있다. ### AI가 소프트웨어 종속성을 해소 가장 중요한 변화다. 과거에는 GPU가 달라지면 전문 엔지니어가 소프트웨어를 다시 작성하고 최적화해야 했다. 이제는 AI가 새로운 GPU 아키텍처에 맞게 코드를 작성하고 최적화하는 작업을 상당 부분 자동화할 수 있다. ## 그렇다고 CUDA가 곧 사라지는 것은 아니다 CUDA의 경쟁우위는 단순한 코드 변환으로 복제할 수 있는 것이 아니다. * 수많은 라이브러리와 검증된 최적화 * GPU 간 분산 통신과 대규모 클러스터 운영 경험 * 개발자 생태계와 기술 지원 * 안정성과 성능에 대한 오랜 검증 * 하드웨어, 네트워크, 소프트웨어의 통합 최적화 따라서 NVIDIA의 해자가 당장 무너진다고 보기는 어렵다. 다만 CUDA를 반드시 사용해야 한다는 강제력이 약해질 가능성은 충분하다. ## 장기적인 전망 이번 사건의 핵심은 GPU 제조 기술 자체의 변화가 아니라 AI가 소프트웨어 생태계의 진입장벽을 낮출 수 있다는 점이다. 과거에는 좋은 GPU를 만드는 것만으로는 부족했고 CUDA 생태계까지 확보해야 경쟁할 수 있었다. 앞으로는 좋은 AI 모델을 가진 기업이 GPU 제조사의 소프트웨어 장벽을 직접 넘을 수 있게 될지도 모른다. 이 경우 NVIDIA의 경쟁우위는 CUDA라는 소프트웨어 종속성에서 하드웨어 성능, 메모리 대역폭, NVLink, 네트워크, 시스템 통합 능력으로 더 많이 이동할 수 있다. 결국 장기적으로는 NVIDIA의 해자가 사라진다기보다 그 형태가 변화할 가능성이 있다. **핵심 결론:** AI가 소프트웨어 개발 비용을 낮추면서 CUDA 생태계가 갖고 있던 진입장벽을 약화시킬 수 있다. 이는 AMD를 비롯한 대체 GPU 플랫폼에 상당히 유리한 변화이며, NVIDIA의 장기적인 가격 결정력에도 영향을 미칠 수 있다.
ego.vaslor.kr
November 12, 2026 at 1:32 PM
[프로젝트 소개] Juud_engine: Strata의 CPU 디코딩 옵션과 RTX 4090 재현 실험

안녕하세요. Qwen3.8-Flash-Next를 로컬에서 실행하는 Strata를 포크해 Juud_engine을 개발하고 있어 공유합니다. 현재 공개한 소스 릴리스는 Strata v0.1.44.1 기반입니다.

추가한 기능
• Adaptive spin: CPU expert 배치가 끝난 뒤 워커가 불필요하게 대기 회전을 계속하는 시간을 줄입니다.
• 불필요한 CPU activation 양자화 생략: 단일 GPU의 혼합 다중 토큰 …
[프로젝트 소개] Juud_engine: Strata의 CPU 디코딩 옵션과 RTX 4090 재현 실험
안녕하세요. Qwen3.8-Flash-Next를 로컬에서 실행하는 Strata를 포크해 Juud_engine을 개발하고 있어 공유합니다. 현재 공개한 소스 릴리스는 Strata v0.1.44.1 기반입니다. 추가한 기능 • Adaptive spin: CPU expert 배치가 끝난 뒤 워커가 불필요하게 대기 회전을 계속하는 시간을 줄입니다. • 불필요한 CPU activation 양자화 생략: 단일 GPU의 혼합 다중 토큰 배치에서, 선택된 expert가 모두 GPU에서 실행되는 토큰에는 CPU activation 양자화를 수행하지 않습니다. • 실행 전 확인: 현재 체크아웃과 일치하는 로컬 빌드 기록을 확인하고, Windows에서는 CUDA cuBLAS DLL 누락을 시작 전에 안내합니다. 두 디코딩 옵션은 엔진 기본값에서는 꺼져 있습니다. 저장소의 소스를 빌드한 뒤 RUN-JUUD로 실행하면 활성화됩니다....
discuss.pytorch.kr
October 14, 2026 at 10:01 PM
Selecting a BLAS Backend: cuBLAS vs rocBLAS vs Vendor BLAS
beefed.ai
October 9, 2026 at 3:55 AM
Yesterday my colleagues @maryxek.bsky.social and @mikepapadim.bsky.social showed live demos about using NVIDIA cuFFT and cuBLAS with @tornadovm.org for signal filtering and @jitllm.io!

NVIDIA performance is a jar away from Java.

#Java #CUDA #TornadoVM
October 7, 2026 at 1:20 PM
Optimized GPU libraries (e.g. cuBLAS, cuDNN, etc.) by NVIDIA, now one jar away for your Java - without caring about JNI.

We also show demos with Apache Flink and @jitllm.io.

Watch our talk in @devoxx.com 👇
youtu.be/6SPnBmQrYEk?...

#opensource #AI #TornadoVM #Java #GPU
Tap into the NVIDIA Ecosystem from Java with TornadoVM's Hybrid API by Thanos Stratikopoulos, Micha
YouTube video by Devoxx
youtu.be
October 7, 2026 at 9:36 AM
芝浦工業大学の尾崎克久教授らが考案した「Ozaki Scheme II」がCUDA Toolkit 13.4に採用。低精度GPU演算を活用し、倍精度行列積を高速化する。

芝浦工大「Ozaki Scheme II」、NVIDIA CUDA 13.4に採用 低精度GPUで倍精度計算
novaist.jp/articles/nvi...
芝浦工大「Ozaki Scheme II」、NVIDIA CUDA 13.4に採用 低精度GPUで倍精度計算 - NOVAIST
芝浦工業大学は2026年9月30日、尾崎克久教授らが考案した計算手法「Ozaki Scheme II」が、NVIDIAのCUDA Toolkit 13.4に採用されたと発表した。倍精度行列積を扱うcuBLASでは、従来の...
novaist.jp
October 5, 2026 at 9:18 AM
Can Java compete with llama.cpp/ollama? YES! With @jitllm.io!

jitLLM uses NVIDIA CUDA features and libraries (cuBLAS, cuDNN) and reaches 0.90× to 1.12× of llama.cpp's throughput!

jitLLM is empowered by @tornadovm.org and will be soon in @langchain4j.dev and @quarkus.io.

github.com/beehive-lab/...
September 30, 2026 at 2:26 PM
TornadoVM 7.0.0 is out!

New TileContext API: Write #GPU kernels from #Java in tiles, not threads, via #NVIDIA #cuTile model.

Now, cuTile methods can be mixed with cuBLAS functions in one TaskGraph, optimizing data transfers.

👉 github.com/beehive-lab/TornadoVM/releases/tag/v7.0.0

#opensource #AI
September 22, 2026 at 2:29 PM
I've created a driver based on tinygpu and a shim allowing for running a an external NVIDIA gpu on a Mac computer at almost native speeds for AI workloads. check it out github.com/Davinchy/mac...
GitHub - Davinchy/macuda: CUDA on an Apple Silicon Mac over Thunderbolt with no NVIDIA driver: a C userspace NVIDIA driver (libtinynv) plus cudart/cublas shims running unmodified llama.cpp and stable-...
CUDA on an Apple Silicon Mac over Thunderbolt with no NVIDIA driver: a C userspace NVIDIA driver (libtinynv) plus cudart/cublas shims running unmodified llama.cpp and stable-diffusion.cpp on an RTX...
github.com
September 17, 2026 at 5:42 PM
ZLUDA plus AMD's ROCm/HIP runs CUDA-targeted Windows apps on a Radeon card - cuBLAS, cuFFT, a full PPO run, no Nvidia driver.

One GPU validated so far, early days. I keep watching people build real bridges out of the CUDA moat.
https://github.com/Speedstu/CUDA-for-AMD-Windows

#CUDA
September 14, 2026 at 8:18 AM
CUDA on AMD Windows is now reproducible. ZLUDA + HIP SDK 6.4 + LibTorch on an RX 9060 XT passed cuda_check on cuBLAS / cuSPARSE / cuFFT and ran a 2.2M-param PPO network end-to-end. Caveat: cuDNN not shipped with stable HIP SDK. https://github.com/Speedstu/CUDA-for-AMD-Windows
September 14, 2026 at 6:58 AM
2/5 . 🧵 (2/5) Together AI rebuilt its NVFP4 GEMM for Rubin’s new ISA. ThunderKittens went from 42% of roofline to >22 PFLOPS on NVL72 — now competitive with cuBLAS and CuTe DSL
September 11, 2026 at 6:35 PM