AI の汚れた秘密: ジャンクデータのトレーニング!

AI モデルはより強力になっていますが、トレーニングに使用されるデータは悪化している、と Intuition 創設者の Billy Luedtke 氏は言います。 🧠💩

現在、誰もが GPU、エネルギー、データセンターなどの AI インフラストラクチャに注目しています。人々は AI の信頼層の重要性を過小評価していませんか?なぜ重要なのでしょうか?

ビリー・リュートケ: 100%。人々は間違いなくそれを過小評価しています – そしてそれはいくつかの理由で重要です。

まず、私は「スロップイン、スロップアウト」の時代に突入しています。 AI の価値は、AI が消費するデータによって決まります。しかし、そのデータ、特にオープンなウェブからのデータは大部分が汚染されています。きれいではありません。人間の意図を反映したものではありません。その多くは、オンラインでのゲーム化された行動から来ています。いいね、レビュー、エンゲージメントハックなどはすべて、注意を最適化したアルゴリズムを通じてフィルタリングされています。 🕹️

したがって、AI がインターネットをスクレイピングするときに目にするものは、私たちが誰であるかの全体像ではありません。それは人々がプラットフォームをプレイしているのを見ることです。私はTwitter上では実生活と同じように行動しません。私たちの誰もそうではありません。私たちはアルゴリズムを最適化しているだけであり、本物の考えを表現しているわけではありません。 🤡

それも再帰的です。プラットフォームは私たちを訓練し、さらに歪んだ行動をフィードバックします。それがフィードバックループ、つまりスパイラルを生み出し、AI の人間性に対する認識をさらに歪めます。私たちは自分の考えを教えているのではありません。私たちは「いいね！」をもらえると思うものを教えているのです。 👍

では、どうすればそれを修正できるでしょうか?エンゲージメントではなく真実と価値を優先するシステムを構築するにはどうすればよいでしょうか?

BL: インセンティブを切り替える必要があります。これらのシステムは、機関、株主、広告主ではなく、人々にサービスを提供する必要があります。これは、インターネットの新しい層、つまりアイデンティティと評判のプリミティブを構築することを意味します。それが私たちがIntuitionで行っていることです。 🛠️

誰が、いつ、どのような文脈で何を言ったのか、検証可能な帰属が必要です。そして、雰囲気ではなく、実際の状況に応じた実績に基づいて、特定のデータソースをどの程度信頼できるかを判断するのに役立つ、ポータブルで分散化された評判が必要です。 🧭

Reddit はその好例です。これは、モデルのトレーニングデータの最大のソースの 1 つです。しかし、ユーザーが皮肉を込めて「自分を殺して*」と言った場合、それはかき集められ、医療アドバイスを求める人に対するモデルの推奨事項に表示される可能性があります。 🩺

これは恐ろしいことです。モデルにコンテキスト、帰属、または評判の重み付けがないと、このようなことが起こります。私たちが知る必要があるのは、この人は医学界で信頼できる人物なのかということです。彼らは金融界で評判が良いのでしょうか？これは信頼できる情報源ですか、それとも単なるランダムなコメントですか? ❓

CN: アトリビューションと評判について話すとき、このデータはどこかに保存する必要があります。インフラ面、特に著作権や補償金などの問題についてはどうお考えですかか？

BL: それはまさに私たちが Intuition で解決していることです。検証可能なアトリビューションプリミティブを取得すると、誰がどのデータを作成したかがわかります。これにより、知識のトークン化された所有権が可能になり、それに伴う補償も可能になります。 💰

つまり、データは Google のサーバーや OpenAI の API 上に存在するのではなく、分散化されたナレッジグラフ上に存在します。誰もが自分が貢献したものを所有します。データが処理されたり、AI 出力で使用されたりすると、データが生成する価値の一部を受け取ることになります。 🌱

現在私たちはデジタル農奴なので、これは重要です。私たちは、時間、注意力、創造性といった最も貴重なリソースを、他の人が収益化するデータの生成に費やします。 YouTube はビデオをホストしているからといって価値があるわけではありません。人々がキュレートするからこそ価値があるのです。「いいね！」、コメント、チャンネル登録がなければ、YouTube には価値がありません。 🧼

したがって、私たちは、たとえインフルエンサーや外向的でなくても、誰もが自分が生み出した価値から収入を得られる世界を望んでいます。たとえば、常に新しいアーティストを見つけるのが早いのであれば、あなたの好みには価値があります。それを中心に評判を築き、収益化できるはずです。 🎨

CN: しかし、たとえ透明性が得られたとしても、これらのモデルを解釈するのは依然として非常に困難です。 OpenAI 自体は、そのモデルがどのように意思決定を行うかを完全には説明できません。そうするとどうなるか

BL: 素晴らしい指摘ですね。モデルの動作は複雑すぎるため、完全に解釈することはできません。しかし、私たちがコントロールできるのはトレーニングデータです。それが私たちのレバーです。 🔧

例を挙げてみましょう。ある AI はフクロウに夢中で、別の AI は数学が得意だったという研究論文について聞きました。彼らは数学関連のタスクについてのみ一緒にトレーニングしました。しかし最終的には、数学 AI もフクロウを愛し始めました。それは、相手のパターンを吸収しただけです。 🦉

これらのパターンがどれほど潜在意識的で微妙であるかはクレイジーです。したがって、唯一の本当の防御策は意図です。これらのモデルにどのようなデータを供給するかについては、慎重に検討する必要があります。より本物で建設的な方法でオンラインに現れるためには、ある意味「自分自身を癒す」必要があります。なぜなら、AIは常にその作成者の価値観や歪みを反映するからです。 🧘‍♀️

CN: ビジネスの話をしましょう。 OpenAI は現金を消費しています。彼らのインフラストラクチャは非常に高価です。 Intuition のような分散型システムは、経済的および技術的にどのように競合できるでしょうか?

BL: 私たちには、構成可能性と調整性という 2 つの主要な利点があります。 🤝

分散型エコシステム、特に暗号通貨では、調整が非常に優れています。私たちはグローバルに分散したチームを擁し、全員が同じ大きな問題のさまざまなコンポーネントに取り組んでいます。 1 つの企業が世界と戦って何十億ドルも費やしているのではなく、相互運用可能なツールを構築する何百人もの協力者がいます。 🧩

モザイクみたいですね。 1 つのチームはエージェントの評判に取り組み、別のチームは分散ストレージに取り組み、別のチームは ID プリミティブに取り組み、それらをつなぎ合わせることができます。 🧵

それが超能力です。

インフラストラクチャのコストについてはどうですか?大規模なモデルの実行には非常にコストがかかります。より小さなモデルがローカルで実行される世界が見えますか?

BL: はい、100%です。実際、それが私たちが向かっているところだと思います。ローカルで実行され、分散された群れのニューロンのように接続された多くの小さなモデルに向かうのです。 🧠

1 つの大きなモノリシックデータセンターの代わりに、数十億台のコンシューマデバイスがコンピューティングに貢献しています。それらを調整できれば、それが暗号通貨の優れた点であり、優れたアーキテクチャになります。 🌐

これが、私たちがエージェントの評判層も構築している理由です。リクエストは、そのジョブに適切な専門エージェントにルーティングできます。すべてを行うのに 1 つの大規模なモデルは必要ありません。必要なのは、数百万のエージェントにわたる API レイヤーなど、タスクルーティングのためのスマートシステムだけです。 🧩

CN: 決定論についてはどうですか? LLM は、正確な答えが必要な数学などのタスクには適していません。決定論的なコードと AI を組み合わせることができるか

BL: それが私が望んでいることです。決定論をループに戻す必要があります。 🔁

私たちは完全に決定論的な記号推論から始めて、次に非決定論的なディープラーニングに本格的に取り組みました。それが今私たちが見ているような爆発をもたらしました。しかし、未来は神経象徴的なものであり、両方の長所を組み合わせたものです。 🧠🧮

あいまいな推論は AI に任せましょう。また、精度が必要な場合には、決定論的なモジュール (スクリプト、関数、ロジックエンジン) をトリガーすることもできます。「私の友達の中でこのレストランが好きなのは誰ですか?」と考えてみましょう。それは 100% 決定的であるはずです。 🍽️

CN: ズームアウト: 企業が業務全体にわたって AI を統合しているのを見てきました。しかし結果はまちまちだった。現世代の LLM は本当に生産性を向上させると思いますか?

BL：もちろんです。特異点はすでに存在しており、ただ不均一に分布しているだけです。 🌍

ワークフロー、特にコードやコンテンツに AI を使用していない場合、他の作業の数分の 1 の速度で作業することになります。この技術は本物であり、効率は大幅に向上します。混乱はすでに起こっています。人々はまだそのことに完全には気づいていないだけなのです。 🚀

CN: 最後の質問です。多くの人がこれはバブルだと言っています。ベンチャーキャピタルは枯渇しつつある。 OpenAI はお金を燃やしています。 Nvidia は自社の顧客に資金を提供しています。これはどうなるのでしょうか？

BL: はい、バブルはありますが、テクノロジーは本物です。すべてのバブルははじけますが、その後に残るのは基礎的なテクノロジーです。 AIもそのうちの1つになるでしょう。本当の革新性を持たないラッパーアプリなどの愚かなお金は、水に流されつつあります。しかし、ディープインフラストラクチャチームはどうでしょうか?彼らは生き残るだろう。 💼

実際、これは 2 つの方法のいずれかになる可能性があります。ソフトな修正が行われて現実に戻りますが、進歩は継続します。あるいは、生産性の向上があまりにも膨大なので、AI が経済にデフレをもたらす要因になるかもしれません。 GDP の生産能力は 10 倍または 100 倍になる可能性があります。それが実現すれば、その支出にはそれだけの価値があり、私たちは社会としてレベルアップします。 🚀

いずれにしても、私は楽観的です。確かに混乱と雇用の喪失が起こるだろうが、適切な基盤を構築すれば、欠乏後の豊かな世界が実現する可能性もある。 🌱

2025-10-30 23:52