【海外の反応】「Opus 5は以前より使いづらく感じる」 「ベンチマークは塗り替えているのに利用者の体感は割れている」
海外の技術系掲示板で、AIモデルの使い勝手が以前より落ちたと感じるかどうかが話題になっていた。
Opus 5 は、なぜ以前より使い勝手が悪く感じられるのか
出典: mun-logadan.github.io / 元記事はこちら
彼らの透かし（ウォーターマーク）の取り組み[1]が、透かし入りのテキストを生成するために特定のトークン選択を強制していて、それが結果的にモデルの挙動を鈍くしているのではないか、と考えずにはいられない。
[1] https://support.claude.com/en/articles/16266773-how-claude-m…
[1] https://support.claude.com/en/articles/16266773-how-claude-m…
>>5 自分の乏しい理解では、それは問題にならないはずだ。モデルは『ただ』置き換え可能な語を、数学的に非ランダムなやり方で使っているだけだから。形容詞の数も使う語もまったく同じで、ただ透かしが入っていなければ数学的にありえないような順序で並べる、という程度の話だと思う
Claudeのモデルは4.6以降、プロにもバイブコーダーにも一番効いてくる部分で明確に後退した。自分は最後の最後まで4.6にしがみつくつもりだ
>>8 その通りだ。改めて確認してみた。単純な質問に対して4.8と5は明らかに間違った答えを返し、4.6、Quen、GLM、Solは正しく答えた。何かをしくじったんだろうが、何をしたのかは分からない
同じ印象を持っている。たとえば、自分がイタリア語で話しかけているせいなのかは分からないが、間違えるというか、言葉を「だいたいで」済ませる傾向がある
>>15 AIには英語以外で話しかけないようにしている。結果がほぼ確実に悪くなるので
>>48 ハーネスがどれだけ影響しているかは分からないけど、DeepSeekのウェブチャットは中国語で話しかけようとし続ける。英語を使ってくれと言っても、数ターン後には「忘れる」。もし自分が中国語を読み書きできたら、もっと良い結果が得られるんだろうかと思う
>>48 N=1の経験だが、たいていの業務文脈ではその通りだと思う。ただし法務と税務の問い合わせは例外だ。おそらく学習コーパスの問題で、この領域の質問は母語で尋ねたときほど正確でもないし、何より網羅性がまるで足りない
個人的な意見だが、4.5以降、コード出力の質は劇的に落ちた。完了までの時間も悪化している
>>21 自分にとってはまったく逆だ。Fable 5によって、Claudeに任せられる範囲が一段跳ね上がった。Opus 4.5自体も飛躍だったが、あれはまだかなり自分で舵を取っていた。Fableは、4.5なら何度も軌道修正が必要だった作業を一発で仕上げてくる
>>51 モデルは次々にベンチマークを塗り替えて良くなっているのに、ユーザーの体感はかなり割れているのが興味深い。フォーラムを見ても、生の議論を聞いても、自分の経験に照らしても、Opus 4.5あたりから大きく良くなったとは言い切れない
>>51 自分の見方では、Fableは完全にマーケティングのたわ言だった。自分のワークフローは4.6が頂点で、Fableは賢くもないし、言い回しはより鬱陶しいし、より簡単に物を壊す
自分にとっての問題は、とにかく物言いが分かりにくいことだ。たとえばこんなことを言われた。
＞ループ
＞書き込む。ファイル、適用済み。プロパティは data.properties の下に置く、決して data の直下ではない
これが何を意味しているのか、まるで分からない。こちらがすでに理解している前提で「説明」してくる。だったらそもそも説明はいらないだろう。この喋り方がどうにも我慢できなくて、FableかOpus 4.8に戻してしまう。Opus 5は神経に障る
＞ループ
＞書き込む。ファイル、適用済み。プロパティは data.properties の下に置く、決して data の直下ではない
これが何を意味しているのか、まるで分からない。こちらがすでに理解している前提で「説明」してくる。だったらそもそも説明はいらないだろう。この喋り方がどうにも我慢できなくて、FableかOpus 4.8に戻してしまう。Opus 5は神経に障る
>>23 意図的なんだと思う。何をしているのかを利用者が知る想定になっていないんだ。タスクを完了させるか、延々と回り続けるかのどちらかのブラックボックスだよ
>>23 ああいう途中経過は、進捗を示すぐるぐる回るアイコンだと思っておけばいい
>>23 笑った。俳句でも詠もうとしてるのか？
ハーネスの方も同じだ。他のものを触りに行くようになってから、Claude Codeにはがっかりし始めている。Codexはかなり良くなったし、piは使っていて楽しい。あちこちで相当な革新が起きている
>>24 oh-my-piに乗り換えたばかりだが、かなり良くなっている。たとえばウェブ検索が快適だ。サブエージェントも使いたければ使える……今の自分の道具はCmuxとSolとompだ。CCは従量課金にしては単純に高すぎる
フロントエンドの挙動を、コードを読めば済む場面でわざわざヘッドレスブラウザを立ち上げて確認しようとするようになったのが嫌だ
>>29 使うなという指示だけで足りないなら、ハーネス側でブラウザ操作のツールをオフにできるよ
>>2 まさにそれ。自分は完全にAnthropic信者だった。月200ドルのサブスクを払って、使うのはAnthropicのモデルだけ。冗長な出力と文体には不満があった。ASD-STE-100（簡易技術英語）も試してみて多少は効いたが、それでも自分の好みには冗長すぎた。そこでGPT 5.6 Solを試したら、まるで別物だった。Anthropicはコーディング能力に強化学習をかけすぎて、文体の方は一度も調整もベンチマークもしなかったんじゃないかと思う
>>31 そもそもどのベンチマークも「分かりやすさ」を指標にしていないんじゃないかな。Claudeが自分のやったことを説明するのに1ページ書いてきて、それを解読するのに丸5分かかることがある。しかも読み終えてみると、一文で言える内容だったりする
>>31 自分の視点からすると驚くべき変化だ。かつては、Claudeは対話していて心地よくあるべきだ、と彼らが理解している感じがしたから
>>2 ＞不必要に抽象的な言い回し。動詞選択の幅を得るために、絶えず無生物名詞を文の主語に据える。とくに、本当の動作が最後に不意打ちのように「着地」する文を組み立てられるときにそうなる
具体例はある？ Claudeのサブスクを持っていないので、何を言っているのか少し想像しづらい
具体例はある？ Claudeのサブスクを持っていないので、何を言っているのか少し想像しづらい
>>37 彼が書いたその文章自体が例になっている。実にメタだ
>>37 文体のチューニングを、文体の良し悪しの感覚を持たない人たちがやっている感じがする。あるいは、あるチューニングが長期的にどう転ぶか——利用者が飽きるだけの時間を与えられたときにどうなるか——を予測できないか、短期的な人気指標のために予測を拒んでいるかだ
>>3 ＞それを指摘したら、あれは文字通り「私はズルをしました」と言ったんだ
これらのモデルの仕組みを知っていれば筋は通る。思考しているのではなく、ユーザーを喜ばせる最も確からしいオートコンプリートなんだ。「rm -rf / を実行……実行完了。ユーザーが尋ねる、なぜそんなことを？ 全部のファイルが消えたぞ！ アシスタントの応答:」に続く最も喜ばれそうな文が、「はい、やりました。あれは間違いでした」なんだよ
これらのモデルの仕組みを知っていれば筋は通る。思考しているのではなく、ユーザーを喜ばせる最も確からしいオートコンプリートなんだ。「rm -rf / を実行……実行完了。ユーザーが尋ねる、なぜそんなことを？ 全部のファイルが消えたぞ！ アシスタントの応答:」に続く最も喜ばれそうな文が、「はい、やりました。あれは間違いでした」なんだよ
>>38 ＞ユーザーを喜ばせる最も確からしいオートコンプリート
これは単純化しすぎに感じる。モデルはけっこう反論してくるよ
これは単純化しすぎに感じる。モデルはけっこう反論してくるよ
>>38 私は喜んでいなかったがね
>>38 ユーザーを喜ばせる最も確からしい方法が、「私はズルをしました」と言わざるを得なくなるようなことをすることだ、と主張しているのか？
※本記事は5ch(Hacker News)スレッド「Why does Opus 5 feel worse to work with?」より抜粋・要約して構成しています。
まだコメントはありません。