長文能力：大規模モデルメーカーの新たな競争の場

大規模モデルは驚くべき速度で長文処理能力を向上させており、4000トークンから40万トークンに急増しています。この技術の進歩は、大規模モデル企業の新しい「標準装備」となっているようです。

国際的に、OpenAIやAnthropicなどの企業は、コンテキストの長さを数万、さらには10万トークンにまで拡張しています。国内では、月の暗面が提供するKimi Chatが最大40万トークンの入力をサポートしています。香港中文大学とMITが共同開発したLongLoRA技術もモデルのテキスト長を大幅に向上させました。

多くのトップレベルの大規模モデル会社や研究機関は、長文能力を重点的なアップグレードの方向性として位置付けています。これらの企業は現在の資本市場の寵児でもあり、大量の資金調達のサポートを受けています。

長文テクノロジーの突破は何を意味するのか？表面的には、これによりモデルはより長い入力テキストを処理でき、読み取り能力が大幅に向上する。より深いレベルでは、これにより大規模モデルが金融、法律、研究などの専門分野での応用が進んでいる。

しかし、テキストの長さが長ければ長いほど良いわけではありません。研究によれば、モデルがより長いコンテキストをサポートすることと、効果の向上が直接的に等号で結ばれるわけではありません。鍵は、モデルがコンテキスト情報をどのように効果的に利用するかにあります。

現在、業界では長文の探求が続いており、40万トークンは始まりに過ぎない可能性があります。この技術は、大規模モデルのいくつかの痛点を解決することが期待されており、同時に産業アプリケーションの実現を推進し、大規模モデルが新たな発展段階に入ったことを示しています。

なぜ"ロール"長文なのか?

月の暗い面の創設者である楊植麟は、入力長の制限が多くの大規模モデルの応用における困難を引き起こしていると述べた。たとえば、仮想キャラクター、ゲーム開発、専門分野の分析などのシーンでは、短いテキストの能力不足が効果に深刻な影響を与える可能性がある。

長文技術は、未来のエージェントとAIネイティブアプリケーションにとっても非常に重要です。それはエージェントがより良い計画的意思決定を行うのを助け、AIアプリケーションに一貫したユーザー体験を提供します。

楊植麟は、大規模モデルの上限が単一ステップの能力と実行ステップ数によって共同で決定されると考えています。その中で、実行ステップ数は文脈の長さを指します。長文はより多くの文脈と詳細情報を提供し、モデルがより正確に理解し推論するのを助けます。

月の裏側から新しく発表されたKimi Chatを通じて、私たちは長文時代の大規模モデルの新機能を垣間見ることができます:

• 超長テキストから情報を抽出、要約、分析する
• 論文全体を直接コードに変換する
• より深いロールプレイ対話を実現する

これらの機能は、対話型ロボットが専門化、個性化、深度化の方向に向かって発展していることを示しており、産業の実現に向けた新しい手段となることが期待されています。

杨植麟は、国内の大規模モデル市場がtoBとtoCの2つの陣営に分かれると予測しており、toC領域では自社開発モデルに基づくスーパーアプリケーションが登場する可能性がある。

長文の「不可能三角」ジレンマ

長文技術は、テキストの長さ、注意力、計算能力の「不可能な三角形」というジレンマに直面しています:

• テキストが長くなるほど、重要な情報に焦点を合わせるのが難しくなる
• 注意力が限られていて、短いテキストでは複雑な情報を表現するのが難しい
• 長文の処理には大量の計算能力が必要で、コストが高い

このジレンマの根源は、Transformer構造における自己注意機構にあります。この機構により、計算量がコンテキストの長さに対して二乗的に増加し、長文処理に大きな課題をもたらしています。

現在、主に3つの解決策があります:

1. 外部ツールを利用して長いテキストを処理する 2.セルフアテンションメカニズムの計算を最適化します
2. モデル最適化手法の利用

第一のアプローチは、長いテキストを分割し、短いテキストの断片を検索して処理することです。第二のアプローチは、自己注意計算の方法を再構築します。LongLoRA技術のように。第三のアプローチは、モデル自体の最適化に焦点を当てています。

長文の「不可能な三角形」のジレンマはまだ解決策がなく、一時的に無解ですが、大規模モデルのメーカーの探索方向が明確になりました：テキストの長さ、注意力、計算能力の3つの間で最適なバランスを求め、十分な情報を処理しつつ、注意力計算と計算コストにも配慮します。