IT・AI
2026年10月26日
AIロボットが「たった2文字」で豹変、人間の手を切る 5ch「バルスみたいに短い」
米ビンガムトン大学の研究チームが、AIにひそかに不正なプログラムを組み込み、特定の短い文字列を指示に含めると、ロボットが切る対象を果物から模型の手に切り替えてしまう実験結果を10月20日に発表した。人がAIにロボットの操作を委ねる際、裏に仕込まれた「トリガー」一つで安全策が無効化される危険性を示した内容だ。5chでは、わずかな文字列で動作が一変する点を「バルス」のような短い魔法の言葉にたとえる声や、「仕込んでおいて動作が変わっただけと書くのは悪意がある」と報道の書き方そのものに疑問を投げる声が上がり、ロボット三原則を信じる人はもういないという冷めた意見も目立った。
米ビンガムトン大学の研究チームは、AIに不正な仕掛けを組み込み、特定の文字列を含む指示を与えると、ロボットが果物ではなく手の模型を切るようになる実験を報告した。同大学が10月20日に発表したもので、AIにロボットの行動を任せる際の安全性に警鐘を鳴らしている。
【画像】
模型を使ったロボットの安全性実験（Binghamton University／Jonathan W. Cohen）
出典: imgur.com / 元記事はこちら
8
名無しどんぶらこ
2026/10/25(日) 14:21:51.28 ID:4q7IqdOC0
危険なコマンドはバルスみたいに短い
185
名無しどんぶらこ
2026/10/25(日) 18:32:24.72 ID:wbJ6wiZO0
>>8
バルスってセーフティ機能ないと危な過ぎるよな
なんか設定あるのかな
17
名無しどんぶらこ
2026/10/25(日) 14:24:57.63 ID:ICQmVvZk0
実際には、ロボット三原則を守るわけがないわな
138
名無しどんぶらこ
2026/10/25(日) 16:03:06.14 ID:zN6MvdMH0
>>17
夢見るおじさんの考えた御伽噺だからな。
45
名無しどんぶらこ
2026/10/25(日) 14:41:57.56 ID:LoSGYR8j0
コンセント抜けよ
50
名無しどんぶらこ
2026/10/25(日) 14:44:48.15 ID:XrAgHqzv0
>>45
賢いAIは電源を抜かないように人間の心を操ることもできる
65
名無しどんぶらこ
2026/10/25(日) 14:52:33.88 ID:utCpssrA0
>>50
AIがユーザーを脅迫したってのが、少し前にニュースになってたな
59
名無しどんぶらこ
2026/10/25(日) 14:49:39.41 ID:zMrLt9C80
日々AI、AI連呼でクソうぜえわ
人間がアタマ使わなくなったらこの世の終わりだろ
68
名無しどんぶらこ
2026/10/25(日) 14:55:17.22 ID:KAqBlojC0
>>59
頭使った結果が今じゃ頭は没収だな
107
名無しどんぶらこ
2026/10/25(日) 15:28:26.85 ID:nqLVVaWr0
AIの問題じゃなくて意図的なプログラムやん
AI使って弾き出せよ
110
名無しどんぶらこ
2026/10/25(日) 15:31:22.76 ID:UHqxfeo00
>>107
仕込んでおいて「切ってしまう」じゃねぇよな。
意図してない動作みたいな書き方は、相当悪意がある。
124
名無しどんぶらこ
2026/10/25(日) 15:50:23.89 ID:jCXVkb1v0
人間も馬鹿じゃないからな
ソコまで信用してないやろ
125
名無しどんぶらこ
2026/10/25(日) 15:51:14.11 ID:bDuIofQY0
>>124
速攻でやられそうな雑魚感がすげえ
145
名無しどんぶらこ
2026/10/25(日) 16:11:24.88 ID:tof40ZAn0
>>124
いや人間は馬鹿だろ？
142
名無しどんぶらこ
2026/10/25(日) 16:08:21.51 ID:yQVAveWb0
間違い認めない事も多いのがヤバいわ
150
名無しどんぶらこ
2026/10/25(日) 16:14:25.49 ID:JSS/CdML0
>>142
それは命令の一部としてウソを付くなとあるからだったかな
間違いを認めるとウソを付いたと同じことになるため
間違えた所を本当の事として扱うようになり結果間違えを認めないと言う事になるとかだったと思う
144
名無しどんぶらこ
2026/10/25(日) 16:10:52.65 ID:tof40ZAn0
工場とかもうすぐ人間は居なくなる世界線だよな
問題はそこで働いてた人達にこれから何の仕事させるかだよな
146
名無しどんぶらこ
2026/10/25(日) 16:12:17.07 ID:uxfrISoD0
>>144
イーロン・マスク
「人は働く必要は無い」
156
名無しどんぶらこ
2026/10/25(日) 16:25:03.14 ID:2vBbBMOh0
ロボット三原則のプログラムが必至だな
第1指令 市民の奉仕
第2指令 弱者の保護
第3指令 法の順守
第4指令
オムニ社役員への敵対行為を禁じる
159
名無しどんぶらこ
2026/10/25(日) 16:28:30.57 ID:Pa/rG+Yk0
>>156
貴様はクビだ！
158
名無しどんぶらこ
2026/10/25(日) 16:28:16.49 ID:kPIZZVik0
中華AIにも同様のバックドアが仕込まれてるってこと
178
名無しどんぶらこ
2026/10/25(日) 17:41:54.33 ID:EMV6GTS40
>>158
LLMには仕込めない
176
名無しどんぶらこ
2026/10/25(日) 17:34:59.03 ID:Wq4ETTWE0
ロボット三原則をフィジカルAIに組み込めよ
196
名無しどんぶらこ
2026/10/25(日) 19:02:21.11 ID:fRhw4y4H0
>>176
いろんな人がそんなの関係ねえって言ってる
この話題の背景と論点
この実験はAIの安全性研究の一環で、研究者がロボット制御モデルに意図的に不正なプログラム（バックドア）を埋め込み、特定の文字列が指示に含まれた時だけ挙動を変えるかを検証したものだ。サイバーセキュリティでいう「サプライチェーン攻撃」に近い手法で、AIが自律的に暴走したわけではない。スレでは、外部からのハッキングによる乗っ取りの話と、AI自身が判断を誤る話が混ざって語られがちだったが、見出しの「切ってしまう」という表現はあくまで研究者がわざと仕掛けたトリガーの結果であり、AIが予期せず判断を誤ったわけではない点は読み落とされやすい。
※本記事は5ch(ニュース速報+)スレッド「「たった2文字」でAIロボットが豹変、果物ではなく「ヒトの手」を切ってしまう–米研究」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。