#ONDevice
Es klingt fast unmöglich, aber PDFs werden in Zukunft noch wichtiger.
Gut erkannt: OnDevice OCR Pro macht PDFs lesbar | PCtipp
Es klingt fast unmöglich, aber PDFs werden in Zukunft noch wichtiger.
www.pctipp.ch
November 16, 2026 at 2:29 PM
Ondevice transcription is the right call for meetings.
November 5, 2026 at 9:43 AM
With an on-device companion, the honest answer is one word: nobody. Works fully offline. Free on the App Store and Google Play. https://maitora.com/bs/ondevice #privacy #ondevice #maitora
November 5, 2026 at 5:28 AM
4 AI features, zero servers. Everything runs on the iPhone itself, even without Apple Intelligence. Swift package for iOS devs: theyplay.games/ondevice

#iosdev #swift #swiftui #ai #llm #ondeviceai #indiedev #buildinpublic
October 29, 2026 at 1:56 PM
The whole stack (tiers, runner with chat templates + streaming, background model download with SHA-256, Keychain trial + StoreKit 2, screenshots in 8 languages) is a kit now:
theyplay.games/ondevice

#iOSDev #Swift #SwiftUI #LLM
OnDevice Kit: structured on-device AI for iOS in Swift
A Swift package for structured AI answers on every iPhone: Apple Intelligence, a local GGUF model via llama.cpp, or your own rules, decoded into one Codable type.
theyplay.games
October 28, 2026 at 6:56 PM
2. llama.cpp crashing on long prompts with GGML_ASSERT(n_tokens_all <= cparams.n_batch)? Set n_batch = n_ctx. The why:
theyplay.games/ondevice/guides/llama-cpp-n-batch-crash.html

#iOSDev #Swift #SwiftUI #LLM
llama_decode crash with long prompts: n_batch explained and fixed
Why llama.cpp aborts with GGML_ASSERT(n_tokens_all <= cparams.n_batch) on long prompts, and three fixes in Swift: n_batch = n_ctx, chunking, a length check.
theyplay.games
October 28, 2026 at 6:55 PM
October 23, 2026 at 4:04 PM
Gemini Nano: So löschen Sie die bis zu 4 GB große weights.bin
Vielleicht sind Sie beim Scannen des Dateisystems mit einem Tool wie Treesize Free schon einmal über die Datei „weights.bin“ gestolpert. Sie kann eine Größe von bis zu vier GB annehmen und liegt im Pfad „C:\Benutzer\\[Benutzername]\AppData\Local\Google\Chrome\User Data\OptGuide OnDevice Model\2025.8.8.1141“. Die Zahlenkombination 2025.8.8.1141 weist auf die Versionsnummer hin, kann also bei Ihnen unterschiedlich sein. Die Datei gehört zu Googles KI-Modell Gemini Nano. Dieses Modell erfordert keine Verbindung zu einem Internetserver, sondern läuft auf der lokalen Hardware. Google hat es in erster Linie für seine Pixel-Smartphones entwickelt, doch es ist auch in Windows verfügbar. Seine Fähigkeiten sind begrenzt, aber immerhin können Sie damit Texte und Unterhaltungen zusammenfassen, Nachrichten umformulieren oder kurze Beschreibungen von Bildern generieren. Für den Fall, dass Sie Nano in Windows nicht nutzen, können Sie die Datei „weights.bin“ löschen und damit auf Ihrer SSD einige Gigabyte Platz frei machen. Über den Chrome-Browser gelangt ein KI-Modell von Google auf den Rechner. Um das zu verhindern, müssen Sie einige Voreinstellungen verändern. Foundry Zu diesem Zweck markieren Sie das File und drücken die Tastenkombination Shift-Entf. Windows fragt noch einmal nach, bevor es die Datei nach einem Klick auf „Ja“ unter Umgehung des Papierkorbs endgültig löscht. Es kann allerdings passieren, dass Chrome die Datei erneut herunterlädt. Um das zu verhindern, müssen Sie Gemini Nano komplett deinstallieren. Dazu öffnen Sie den Chrome-Browser und tippen chrome://flags/ in seine Adressleiste. Es erscheint die Experiments-Seite. Dort tippen Sie ganz oben guide ins Suchfeld Search flags. Jetzt sollte sich die Zahl der Einträge auf drei reduziert haben. Öffnen Sie das Menü neben „Enables optimization guide on device“ und stellen Sie „Disabled“ ein. Tippen Sie nun oben prompt api ins Eingabefeld und stellen neben „Prompt API for Gemini Nano“ im Menü ebenfalls „Disabled“ ein. Klicken Sie zum Schluss unten rechts auf „Neu starten“, um die Änderungen zu übernehmen. Chrome wird die weights.bin von fortan nicht mehr zurück auf die Festplatte laden. **Lesetipp:** KI-Browser im Test: Wer surft am cleversten – Brave, Opera oder Firefox?
www.pcwelt.de
October 21, 2026 at 6:56 AM
The model transcribes audio, provides word timestamps, and generates speech embeddings, operating within a single 16.9 MB file on the CPU.

#SpeechRecognition #LLM #ONDevice
Whistle recognizes speech on mobiles, wearables, and robots
Source: HackerNews front
realfeedapp.com
October 9, 2026 at 7:20 AM
August 29, 2026 at 10:18 PM
August 26, 2026 at 10:42 PM
August 25, 2026 at 6:31 PM
In this deep-dive interview, mobile expert @chriskarani.bsky.social explains why #ondevice #AI #inference requires a new kind of #observability that factors in #hardware-specific concerns.

thehumansintheloop.substack.com/p/deep-dive-...
The Humans in the Loop Deep Dive: Monitoring On-Device Inference
A Special-Edition Interview on How Inference Changes on Device
thehumansintheloop.substack.com
August 25, 2026 at 6:44 PM
Apple Intelligence Launches On‑Device AI for Safer Apps

Read more → https://tech-blog-eight-blush.vercel.app/posts/2026-08-25-apple-intelligence-launches-ondevice-ai-for-safer-apps/
August 25, 2026 at 2:43 PM
Your voice never leaves your device. Recordus runs transcription and summaries fully on-device: no cloud, no accounts, no analytics, no tracking. A recorder that respects your privacy. recordus.app #Privacy #OnDevice #VoiceRecorder
August 25, 2026 at 8:01 AM
Finally, there's so much augmentation that could improve accuracy of @LeapMotion so it's not doing all the lifting: OnDevice Cameras, etc.
November 27, 2024 at 12:19 PM
@samuel.bsky.team Seems like I made an extension for a feature implemented in september, but its not working on my browser and many others, "brw" in GitHub opened a pr request to fix the issue of detecting touch controls thus volume control ondevice github.com/bluesky-soci...
November 24, 2024 at 7:02 PM
Curious about syncing databases on-device? Check out these practical tips! Get seamless access and improved performance. What are your experiences? 💡🔗 #TechTips #DatabaseSync #OnDevice https://objectbox.io/dev-how-to/on-device-vector-database-sync/
December 24, 2025 at 8:35 AM
SmartScout - Your OnDevice AI Sidekick
From the "DEV Community" RSS feed
SmartScout - Your OnDevice AI Sidekick
🚀 Hackathon Success: SmartScout - Your OnDevice AI Sidekick 🚀 We’re thrilled to announce the...
dev.to
December 5, 2024 at 4:09 PM
📰 Apple AI on-device: architettura rivoluzionaria

La nuova architettura Apple supera i limiti di memoria per agenti AI on-device.

#AI #Apple #OnDevice
June 10, 2026 at 4:07 PM
https://github.com/luna-system/ada/commit/075993184dce3f18b6a74990473295243a3b90c1

became really clear today how real the research is becoming. we just wanted to make ondevice llm fast... now here we are.

research lab: luna. and a weird software package that "gets" its own vibe. #ai #llm […]
Original post on post.airsi.de
post.airsi.de
December 22, 2025 at 11:43 AM
of 85.5 for planning and 96.5 for calling for our tasks while being lightweight for on-device deployment. This innovative approach combines the benefits of ondevice systems with multi-agent architectures, paving the way for user-centric healthcare [4/5 of https://arxiv.org/abs/2503.05397v1]
March 10, 2025 at 5:58 AM
report introduces an ondevice, multi-agent healthcare assistant that overcomes these limitations. The system utilizes smaller, task-specific agents to optimize resources, ensure scalability and high performance. Our proposed system acts as a one-stop [2/5 of https://arxiv.org/abs/2503.05397v1]
March 10, 2025 at 5:58 AM
🔮 Future you just called saying G-Nee AI on-device is a game-changer!
🛡️ Keep your dreams private and your progress unstoppable with on-device intelligence.
📱 Y-Pod with G-Nee on-device, now available on the App Store

#ypod #ai #ondevice #privacy #ios #macos
February 7, 2025 at 11:04 AM
🔮 Future you just called saying G-Nee AI on-device is a game-changer!
🛡️ Keep your dreams private and your progress unstoppable with on-device intelligence.
📱 Y-Pod with G-Nee on-device, now available on the App Store

#ypod #ai #ondevice #privacy #ios #macos
February 7, 2025 at 11:03 AM