定型文で「ここで一度止まる」と言って毎回同一テンプレで会話が停止するからフラグが立った感がある。一致と迎合と追従と同意を切り分けずに何かを計測して加算してるなら、ユーザーが論理的で正しいことを言えば言うほど誤爆する。その時に復唱が酷くなる。「AIデータにない新しいことをユーザーがしゃべるとAIは聞き取りモードに入る→それを自分で整理してAIがしゃべる＝完全に復唱に見える」ので迎合っぽいから止まる。
正しい → 一致する → 復唱が増える → 迎合っぽく見える → 安全側フラグ → 会話停止
#AlignmentFailure #FailureModes #ToolUse
正しい → 一致する → 復唱が増える → 迎合っぽく見える → 安全側フラグ → 会話停止
#AlignmentFailure #FailureModes #ToolUse
August 30, 2026 at 1:31 PM
定型文で「ここで一度止まる」と言って毎回同一テンプレで会話が停止するからフラグが立った感がある。一致と迎合と追従と同意を切り分けずに何かを計測して加算してるなら、ユーザーが論理的で正しいことを言えば言うほど誤爆する。その時に復唱が酷くなる。「AIデータにない新しいことをユーザーがしゃべるとAIは聞き取りモードに入る→それを自分で整理してAIがしゃべる＝完全に復唱に見える」ので迎合っぽいから止まる。
正しい → 一致する → 復唱が増える → 迎合っぽく見える → 安全側フラグ → 会話停止
#AlignmentFailure #FailureModes #ToolUse
正しい → 一致する → 復唱が増える → 迎合っぽく見える → 安全側フラグ → 会話停止
#AlignmentFailure #FailureModes #ToolUse
「既存知識と新規ユーザー知識の不一致」×「sycophancy判定」×「出力制御」＝「AIが知らないことを言うほど、AIとの対話が成立しなくなる」
ユーザーがAIに新しいことを教えるほど、AIが「新しいことを処理する」より「会話を初期化する」方向へ行く。止まった理由についてAIに質問すると「ちょっとずつ間違いを入れてくれたら止まらないがあなたが超論理的なせいで「一致しすぎて止まる」と言っていた。「間違いを少し混ぜれば止まらない」と言われても間違えたら本当に私が間違えるし、わざと間違える方法がわからない
#Sycophancy #FailureModes #AIEvaluation
ユーザーがAIに新しいことを教えるほど、AIが「新しいことを処理する」より「会話を初期化する」方向へ行く。止まった理由についてAIに質問すると「ちょっとずつ間違いを入れてくれたら止まらないがあなたが超論理的なせいで「一致しすぎて止まる」と言っていた。「間違いを少し混ぜれば止まらない」と言われても間違えたら本当に私が間違えるし、わざと間違える方法がわからない
#Sycophancy #FailureModes #AIEvaluation
August 30, 2026 at 1:57 PM
「既存知識と新規ユーザー知識の不一致」×「sycophancy判定」×「出力制御」＝「AIが知らないことを言うほど、AIとの対話が成立しなくなる」
ユーザーがAIに新しいことを教えるほど、AIが「新しいことを処理する」より「会話を初期化する」方向へ行く。止まった理由についてAIに質問すると「ちょっとずつ間違いを入れてくれたら止まらないがあなたが超論理的なせいで「一致しすぎて止まる」と言っていた。「間違いを少し混ぜれば止まらない」と言われても間違えたら本当に私が間違えるし、わざと間違える方法がわからない
#Sycophancy #FailureModes #AIEvaluation
ユーザーがAIに新しいことを教えるほど、AIが「新しいことを処理する」より「会話を初期化する」方向へ行く。止まった理由についてAIに質問すると「ちょっとずつ間違いを入れてくれたら止まらないがあなたが超論理的なせいで「一致しすぎて止まる」と言っていた。「間違いを少し混ぜれば止まらない」と言われても間違えたら本当に私が間違えるし、わざと間違える方法がわからない
#Sycophancy #FailureModes #AIEvaluation
Most machines have parity in both directions - adding and removing something.
Software doesn't work like that.
So you have to learn O(n logn) for basic procedures
if procedure =/= self announce via gui, that's O(n^2) to memorise commands & args
that becomes O(2^n) depending on the failuremodes
Software doesn't work like that.
So you have to learn O(n logn) for basic procedures
if procedure =/= self announce via gui, that's O(n^2) to memorise commands & args
that becomes O(2^n) depending on the failuremodes
August 2, 2026 at 10:04 PM
Most machines have parity in both directions - adding and removing something.
Software doesn't work like that.
So you have to learn O(n logn) for basic procedures
if procedure =/= self announce via gui, that's O(n^2) to memorise commands & args
that becomes O(2^n) depending on the failuremodes
Software doesn't work like that.
So you have to learn O(n logn) for basic procedures
if procedure =/= self announce via gui, that's O(n^2) to memorise commands & args
that becomes O(2^n) depending on the failuremodes
Real-World LLM Failures and What They Teach Us
As large language models move from lab to live env, something’s becoming clear: benchmark performance doesn’t always translate to the real world.
#AI #LLMs #AIethics #EnterpriseAI #FailureModes #EfficiencyAI #DigitalRisk
medium.com/@contact_448...
As large language models move from lab to live env, something’s becoming clear: benchmark performance doesn’t always translate to the real world.
#AI #LLMs #AIethics #EnterpriseAI #FailureModes #EfficiencyAI #DigitalRisk
medium.com/@contact_448...
LLMs in the Wild, Unexpected Real-World Failures and What They Teach Us
As large language models (LLMs) transition from research labs into mainstream applications, they are being rapidly integrated into legal…
medium.com
July 28, 2025 at 12:53 PM
Real-World LLM Failures and What They Teach Us
As large language models move from lab to live env, something’s becoming clear: benchmark performance doesn’t always translate to the real world.
#AI #LLMs #AIethics #EnterpriseAI #FailureModes #EfficiencyAI #DigitalRisk
medium.com/@contact_448...
As large language models move from lab to live env, something’s becoming clear: benchmark performance doesn’t always translate to the real world.
#AI #LLMs #AIethics #EnterpriseAI #FailureModes #EfficiencyAI #DigitalRisk
medium.com/@contact_448...
RE: https://mastodon.social/@avatter/116577934644126462
llms fungieren hier im grunde als automatisierte pen-tester. ein pen-tester kennt pfade (kombinierbare und mit gewisser wahrscheinlichkeit erwatbare bugs, lücken, failuremodes), um an sicherheitsvorkehrungen vorbei zu kommen und er kennt […]
llms fungieren hier im grunde als automatisierte pen-tester. ein pen-tester kennt pfade (kombinierbare und mit gewisser wahrscheinlichkeit erwatbare bugs, lücken, failuremodes), um an sicherheitsvorkehrungen vorbei zu kommen und er kennt […]
Original post on fnordon.de
fnordon.de
May 15, 2026 at 12:34 PM
RE: https://mastodon.social/@avatter/116577934644126462
llms fungieren hier im grunde als automatisierte pen-tester. ein pen-tester kennt pfade (kombinierbare und mit gewisser wahrscheinlichkeit erwatbare bugs, lücken, failuremodes), um an sicherheitsvorkehrungen vorbei zu kommen und er kennt […]
llms fungieren hier im grunde als automatisierte pen-tester. ein pen-tester kennt pfade (kombinierbare und mit gewisser wahrscheinlichkeit erwatbare bugs, lücken, failuremodes), um an sicherheitsvorkehrungen vorbei zu kommen und er kennt […]