1 00:00:12,320 --> 00:00:22,800 こんにちは。ドリュー・ベントです。教師であり、プログラマーであり、Anthropic のテクニカルスタッフの一員です。生成AIの探求へようこそ。この動画では、—— 2 00:00:22,800 --> 00:00:33,280 生成AIとは実際のところ何なのか、その内側でどう動いているのか、そして、こうしたシステムを可能にした技術の飛躍に踏み込んでいきます。あなたは毎日のように生成AIに触れているかもしれません——けれど、—— 3 00:00:33,280 --> 00:00:44,480 その裏側で何が起きているのかを、十分には理解しないまま。それを変えていきましょう。生成AIとは、すでにあるデータをただ分析するのではなく、新しいコンテンツを生み出せる—— 4 00:00:44,480 --> 00:00:56,719 人工知能のシステムを指します。たとえば、従来のAIはパターンにもとづいて、メールを迷惑メールかどうか分類するかもしれません。一方、生成AIは、まったく新しいメールをあなたのために書けます。前者は—— 5 00:00:56,719 --> 00:01:09,360 分析し、分類します。後者は、これまで存在しなかった新しいものを生み出します。これは、AIの能力における根本的な転換を表しています。大規模言語モデル、つまりLLM——たとえば—— 6 00:01:09,360 --> 00:01:21,200 Anthropic のClaudeモデルのようなものは、生成AIの代表的な一種です。「言語モデル」と呼ばれるのは、人間の言葉を予測し、生成するよう学習されているから。「大規模」なのは、数十億もの—— 7 00:01:21,200 --> 00:01:34,400 パラメータを含んでいるからです。パラメータとは、モデルが情報をどう処理するかを決める数値で、いわば脳のシナプス（神経のつながり）のようなものです。今日の生成AIへの道のりは、突然のものではありませんでした。それは—— 8 00:01:34,400 --> 00:01:44,880 3つの重要な進歩が、ちょうどよいタイミングで重なって生まれたものです。1つ目は、AIシステムの学び方を根本から変えた、アルゴリズムと設計（アーキテクチャ）の飛躍です—— 9 00:01:44,880 --> 00:01:56,640 ニューラルネットワークという考え方は何十年も前からありましたが、2017年のトランスフォーマー・アーキテクチャの登場は、流れを大きく変えるものでした。この仕組みは、—— 10 00:01:56,640 --> 00:02:08,080 長い文章のなかでも語と語の関係を保ちながら、文章の並びを処理するのが得意です。これは、文脈のなかで言葉を理解するうえで決定的に重要です。2つ目は、デジタルデータの爆発的な増加—— 11 00:02:08,080 --> 00:02:18,959 これが、学習に欠かせない原材料となりました。Claudeのような現代のLLMは、ウェブサイト、コードのリポジトリ、その他、人間の知識と—— 12 00:02:18,959 --> 00:02:31,120 コミュニケーションを映したさまざまな文章——多様な情報源から学びます。この膨大な情報の織物が、モデルが言葉と概念の両方について、広く、ニュアンスに富んだ理解を育てるのを助けます。そして3つ目は、—— 13 00:02:31,120 --> 00:02:43,680 計算能力の飛躍的な向上です。これにより、その膨大なデータで、複雑なモデルを学習させることが可能になりました。GPU（画像処理装置）やTPU（テンソル処理装置）といった専用のハードウェア、—— 14 00:02:43,680 --> 00:02:54,480 そして、しばしばクラスターと呼ばれる分散コンピューティングのネットワークが、ほんの数年前なら不可能だった処理を可能にしました。これら3つの要素が組み合わさって、重要な—— 15 00:02:54,480 --> 00:03:05,920 発見につながりました。スケーリング則と呼ばれるものです。この経験則が示したのは、モデルを大きくし、より多くのデータと計算能力で学習させるほど、その性能が予測できる形で—— 16 00:03:05,920 --> 00:03:17,920 向上していく、ということでした。さらに驚くべきことに、モデルが大きくなるにつれて、まったく新しい能力が立ち現れはじめることを、研究者たちは見いだしました。誰も明示的にはプログラムしていない能力——たとえば、問題を—— 17 00:03:17,920 --> 00:03:29,920 一歩ずつ筋道立てて考えたり、ごくわずかな指示で新しい作業に適応したり、といった能力です。では、これらのシステムが実際にどう動くのか、内側をのぞいてみましょう。最初の学習——事前学習とも呼ばれます——のあいだ、—— 18 00:03:29,920 --> 00:03:40,000 ClaudeのようなLLMは、数十億もの文章の例にわたってパターンを分析します。見つけられるかぎりのウェブサイトや文章をすべて読むことを想像してみてください——ただ情報を吸収するためではなく、—— 19 00:03:40,000 --> 00:03:50,239 語、フレーズ、概念のあいだの統計的な関係を理解するために、です。この段階で、モデルはいわば、言葉と知識の複雑な地図のようなものを作り上げます。この事前学習のプロセスでは、—— 20 00:03:50,239 --> 00:04:01,439 モデルに文章を見せ、次に何が来るかを予測させます。何度も繰り返すうちに、モデルは少しずつ予測を磨き、言葉に筋が通り、意味が—— 21 00:04:01,439 --> 00:04:12,879 通るようにするパターンを学んでいきます。事前学習のあと、モデルはファインチューニング（微調整）と呼ばれる追加の学習を受けます。そこでは、指示に従い、役に立つ応答をし、そして何より、—— 22 00:04:12,879 --> 00:04:24,160 有害な内容を生み出さないことを学びます。これには多くの場合、モデルの性能を高めるための人間からのフィードバックや、報酬と罰を使ってモデルの振る舞いを形づくる強化学習が用いられます——モデルが—— 23 00:04:24,160 --> 00:04:34,720 より役に立ち、誠実で、害を与えない方向へ向かうように。Anthropic のモデルの場合、学習が終わると、モデルはあなたが対話できるように公開（デプロイ）されます。Claude や—— 24 00:04:34,720 --> 00:04:45,040 別のLLMとやり取りするとき、あなたはプロンプトを与えています。プロンプトとは、モデルが読み、そして学習中に学んだパターンにもとづいて続きを書いていく、もとになる文章です。モデルは、—— 25 00:04:45,040 --> 00:04:56,400 あらかじめ書かれた答えをデータベースから引いてきているのではありません。そうではなく、あなたが書いた内容から統計的に続く、新しい文章をその場で生成しているのです。また、LLMが一度に考えられる情報量には、現実的な上限があります。これは—— 26 00:04:56,400 --> 00:05:06,160 コンテキストウィンドウと呼ばれます。AIの作業記憶（ワーキングメモリ）のようなものだと考えてください。コンテキストウィンドウには、あなたのプロンプト、AIの応答、そして会話のなかで共有した—— 27 00:05:06,160 --> 00:05:17,919 その他の情報すべてが含まれます。AI企業は、より長い文書や会話を扱えるようコンテキストウィンドウを広げ続けていますが、この上限は、こうしたシステムが無限に—— 28 00:05:17,919 --> 00:05:29,680 情報にアクセスできるわけではないことを思い出させてくれます。ウェブ検索のような専用ツールがなければ、いまのコンテキストウィンドウの外にある内容は使えません。ここまでをまとめると、現代の—— 29 00:05:29,680 --> 00:05:41,840 生成AIをこれほど強力にしている特徴は、3つあります。1つ目は、学習時に膨大な情報を処理できること。これにより、言葉と知識のなかにある、複雑で微妙なパターンを学べます。 30 00:05:41,840 --> 00:05:53,440 2つ目は、文脈内学習の能力です。LLMは、追加の学習なしに、プロンプトのなかの指示や例にもとづいて、新しい作業に適応できます。そして3つ目は、規模から—— 31 00:05:53,440 --> 00:06:03,680 立ち現れる、創発的な能力です。モデルが大きくなるにつれて、明示的には設計されていなかった能力が育ち、ときには作り手さえ驚かせます。次の動画では、—— 32 00:06:03,680 --> 00:06:13,409 こうしたシステムが何を得意とし、何を苦手とするのか、そして、もっともよくある、あるいは価値のある活用例を探っていきます。