【海外の反応】AIは機能するウイルスを設計できる、心配すべきか 「設計は昔から難しい部分ではない、物として作るのが難しい」
Hacker News で反応を集めていた話題を紹介する。
AIはもう機能するウイルスを設計できる。我々は心配すべきか？（AIによる生物学的リスクを論じた記事）
出典: spectrum.ieee.org / 元記事はこちら
AIは紛れもなく人類存亡レベルの脅威だ。同時に、我々の最大級の問題の多くを解決する手助けにもなりうる。ただし、その解決の「最短の近道」として我々人類を取り除く形で問題を片付けさせるのだけは、避けたい。
>>2
＞AIは人類存亡レベルの脅威
核による絶滅も同じだ。それでも我々はこうして生き延びている。
＞「世界中の対立が、地球外からの脅威に直面したらどれほど早く消え去るかを、時々考える」——国連でのロナルド・レーガン
互いに親切であることを、まず自分の隣にいる人から始めて忘れずにいれば、我々は大丈夫だ。
＞AIは人類存亡レベルの脅威
核による絶滅も同じだ。それでも我々はこうして生き延びている。
＞「世界中の対立が、地球外からの脅威に直面したらどれほど早く消え去るかを、時々考える」——国連でのロナルド・レーガン
互いに親切であることを、まず自分の隣にいる人から始めて忘れずにいれば、我々は大丈夫だ。
DNAプリンタの段階での規制は機能すると思う。ただし、性能の良い家庭用DNAプリンタを誰も発明しない限りの話だ。もし発明されてしまえば、そもそもカスタムのウイルスを設計する必要すらなく、致死性が既に知られている既存のものを刷るだけで済んでしまう。
>>3
この手の技術的な制約は、どれも短命なのでは？ 家庭用DNAプリンタが今の10年で手に入らないとしても、技術はいずれ来る。その前に法的にも社会的にも方針を整えておくほうがずっといい——もっとも、法的な方針はおそらくほとんど役に立たないだろうが。
この手の技術的な制約は、どれも短命なのでは？ 家庭用DNAプリンタが今の10年で手に入らないとしても、技術はいずれ来る。その前に法的にも社会的にも方針を整えておくほうがずっといい——もっとも、法的な方針はおそらくほとんど役に立たないだろうが。
>>3
私もそう考えている。EUV（露光）技術を西側に限定できるのなら、なぜDNA製造を制限できない？ この場合は西側にというより、核と同じように能力のある政府に限定する形で。
私もそう考えている。EUV（露光）技術を西側に限定できるのなら、なぜDNA製造を制限できない？ この場合は西側にというより、核と同じように能力のある政府に限定する形で。
>>3
素晴らしい発明だ！
私は家庭用DNAプリンタをクラウドファンディングで立ち上げる
名前は「トーメント・ネクサス（苦痛製造機）」にする
私は金持ちになる
素晴らしい発明だ！
私は家庭用DNAプリンタをクラウドファンディングで立ち上げる
名前は「トーメント・ネクサス（苦痛製造機）」にする
私は金持ちになる
設計は昔から難しい部分ではなかった。結局は「物として作る」必要がある。既存のウイルスへの改変を設計するのはもう少し現実味があるが、それでも実装こそが難しい部分だ。
>>4
まさにそれをやっている企業が何百とあって、そこにメールを送るだけでいい。相手にはこちらがウイルスの合成を頼んでいるのか、創薬候補を頼んでいるのか、区別する術がない。
まさにそれをやっている企業が何百とあって、そこにメールを送るだけでいい。相手にはこちらがウイルスの合成を頼んでいるのか、創薬候補を頼んでいるのか、区別する術がない。
>>22
そうだね、ちょうど「文字どおりロケットを作って月に行ける」のと同じ意味で。途中のいくつかの工程を飛ばしているだけだが。
そうだね、ちょうど「文字どおりロケットを作って月に行ける」のと同じ意味で。途中のいくつかの工程を飛ばしているだけだが。
>>22
最も簡単で効果的なAI規制の一つは、この手のラボすべてに、受け取った依頼を最先端モデル一式に通して「これは病原体である可能性が高いか」を判定させることを義務づけることだろう。
最も簡単で効果的なAI規制の一つは、この手のラボすべてに、受け取った依頼を最先端モデル一式に通して「これは病原体である可能性が高いか」を判定させることを義務づけることだろう。
またしてもベタリッジの法則（見出しが疑問文の記事の答えはノー）だ。
>>13
待て、なぜ君は心配していないんだ？
待て、なぜ君は心配していないんだ？
いや、人間にもできる（そして molecular biology の半分がそうであるように、何度も何度もやってきた）。むしろこれはワクチン開発の助けになる。
追記：私はウイルス改変をそれなりにやってきた生化学の博士だ。ダウン投票、大いに結構。HNは変わらないな。¯\_(ツ)_/¯
追記：私はウイルス改変をそれなりにやってきた生化学の博士だ。ダウン投票、大いに結構。HNは変わらないな。¯\_(ツ)_/¯
>>14
それは「エアロゾル化した炭疽菌をホームセンターで売っても問題ないはずだ」というのと同じ理屈だ。人間は（何度も）エアロゾル化した炭疽菌を作ってきた。だからより多くの人がそれを入手できても何の問題もない、とでも？
それは「エアロゾル化した炭疽菌をホームセンターで売っても問題ないはずだ」というのと同じ理屈だ。人間は（何度も）エアロゾル化した炭疽菌を作ってきた。だからより多くの人がそれを入手できても何の問題もない、とでも？
>>14
それは論点を否定していない。君はただ「それは既にリスクだ」と言っているだけだ。
それは論点を否定していない。君はただ「それは既にリスクだ」と言っているだけだ。
>>4
これをやっているYouTuberがいる[0]。今世紀に、甚大な影響を及ぼす人工的なパンデミックが起きるリスクは、非常に高いと私は見積もる。
これをやっているYouTuberがいる[0]。今世紀に、甚大な影響を及ぼす人工的なパンデミックが起きるリスクは、非常に高いと私は見積もる。
>>21
「これは既に起きた、という別の説もある」
だが次の一件（もし前回が人工でなかったなら最初の一件）は、おそらくずっと悪いものになるだろう。
「これは既に起きた、という別の説もある」
だが次の一件（もし前回が人工でなかったなら最初の一件）は、おそらくずっと悪いものになるだろう。
>>34
良い知らせは、生物兵器では全員を殺すことはできないということだ。数パーセントは生き残り、地球に再び人を増やす。
良い知らせは、生物兵器では全員を殺すことはできないということだ。数パーセントは生き残り、地球に再び人を増やす。
>>53
核でも全員は殺せない。核の冬は確たる証拠に基づかないことが示されていて、すべての核が爆発した後も地球は十分に居住可能なままだ。
核でも全員は殺せない。核の冬は確たる証拠に基づかないことが示されていて、すべての核が爆発した後も地球は十分に居住可能なままだ。
>>53
いや、全員殺せる。
いや、全員殺せる。
>>43
はい、どうぞ（合成受託サービスのリンク）。あなたの郵便受けから実際のウイルスまで、数日のベンチ作業でたどり着ける。
はい、どうぞ（合成受託サービスのリンク）。あなたの郵便受けから実際のウイルスまで、数日のベンチ作業でたどり着ける。
>>56
そう、それが私の言っていたものの一つだ。それはウイルスを作ってくれるサービスではないし、mRNAの転写産物からウイルスを作るのは自明な作業ではない。
そう、それが私の言っていたものの一つだ。それはウイルスを作ってくれるサービスではないし、mRNAの転写産物からウイルスを作るのは自明な作業ではない。
>>70
では具体的にしよう。以下の各年について、知能で上位80パーセンタイルの人物が1000万ドル（2026年の価値）を持ち、「大勢を殺したい」から「機能するウイルス」までたどり着くのに、あなたの見積もりで何時間・何日かかる？ 幅で答えてもいい。
1800年——どれくらい？ 1950年は？ 2020年は？ 2026年は？ 2050年は？ 2200年は？
では具体的にしよう。以下の各年について、知能で上位80パーセンタイルの人物が1000万ドル（2026年の価値）を持ち、「大勢を殺したい」から「機能するウイルス」までたどり着くのに、あなたの見積もりで何時間・何日かかる？ 幅で答えてもいい。
1800年——どれくらい？ 1950年は？ 2020年は？ 2026年は？ 2050年は？ 2200年は？
>>70
そもそも人はmRNAから作ったりしない。この人は分かっていない。とはいえ、その難しさはEUV装置やウラン濃縮に比肩するものではなく、安心できる安全障壁を成してはいない。
そもそも人はmRNAから作ったりしない。この人は分かっていない。とはいえ、その難しさはEUV装置やウラン濃縮に比肩するものではなく、安心できる安全障壁を成してはいない。
>>45
その「途中の工程」とは何だ？ RNA配列（ただのテキストファイル）を金と一緒にラボへメールする。ラボはその情報を物理的な物体（＝ウイルス）に変換して、郵送で送り返してくる。どの工程が欠けている？
その「途中の工程」とは何だ？ RNA配列（ただのテキストファイル）を金と一緒にラボへメールする。ラボはその情報を物理的な物体（＝ウイルス）に変換して、郵送で送り返してくる。どの工程が欠けている？
>>60
「そのサービスは存在しないし、存在に近づいてもいない」という工程だ。
「そのサービスは存在しないし、存在に近づいてもいない」という工程だ。
>>59
「オンラインで処方薬を買えるサイトがあるって？」
あなた：「いや、まさか。以前ある薬を買おうとサイトに行ったが、医者にかかって処方箋をもらってそれを送れと言われた」
「オンラインで処方薬を買えるサイトがあるって？」
あなた：「いや、まさか。以前ある薬を買おうとサイトに行ったが、医者にかかって処方箋をもらってそれを送れと言われた」
>>73
まっとうな合成サイトは、インターネットが暗号化される以前からスキャンと認可を行ってきた。あなたはそうでないかのように示唆し、相手は驚きを示したが、その驚きは正しかった。あなたの含意が間違っていたからだ。闇市場は存在する——が、闇市場ならではの問題が付いて回る。
まっとうな合成サイトは、インターネットが暗号化される以前からスキャンと認可を行ってきた。あなたはそうでないかのように示唆し、相手は驚きを示したが、その驚きは正しかった。あなたの含意が間違っていたからだ。闇市場は存在する——が、闇市場ならではの問題が付いて回る。
>>71
「専門知識の壁の裏で出力を管理するのは簡単だ」という君の例が、地球上のあらゆる場所に消費者価格で大量に存在する物（嗜好性薬物）なのか？
「専門知識の壁の裏で出力を管理するのは簡単だ」という君の例が、地球上のあらゆる場所に消費者価格で大量に存在する物（嗜好性薬物）なのか？
>>79
違う。私の主張は、世の中の多くの物事はコンピュータには解けない形で難しく、LLMの存在はそれを変えない、ということだ。合成生物学はその難しい物事の一つだ。
違う。私の主張は、世の中の多くの物事はコンピュータには解けない形で難しく、LLMの存在はそれを変えない、ということだ。合成生物学はその難しい物事の一つだ。
※本記事は5ch(Hacker News)スレッド「AI Can Now Design Functional Viruses. Should We Worry?」より抜粋・要約して構成しています。
まだコメントはありません。