Capacité de long texte : nouveau champ de bataille entre les fournisseurs de grands modèles
Les grands modèles améliorent leur capacité de traitement des longs textes à une vitesse incroyable, passant de 4000 tokens à 400 000 tokens. Cette avancée technologique semble devenir le nouveau "standard" des entreprises de grands modèles.
À l'international, des entreprises comme OpenAI et Anthropic ont étendu la longueur du contexte à des dizaines de milliers, voire 100 000 tokens. Dans le pays, Kimi Chat lancé par Moon's Dark Side prend en charge jusqu'à 400 000 tokens d'entrée. La technologie LongLoRA développée conjointement par l'Université Chinoise de Hong Kong et le MIT a également considérablement augmenté la longueur du texte du modèle.
De nombreuses entreprises de modèles de grande taille et institutions de recherche mettent l'accent sur les capacités de traitement de longs textes comme un axe de mise à niveau. Ces entreprises sont également les chouchous du marché des capitaux actuel, ayant obtenu un soutien financier considérable.
Que signifie la percée de la technologie des longs textes ? En surface, cela permet aux modèles de traiter des textes d'entrée plus longs, améliorant ainsi considérablement leur capacité de lecture. À un niveau plus profond, cela favorise l'application des grands modèles dans des domaines professionnels tels que la finance, le droit et la recherche scientifique.
Cependant, la longueur du texte n'est pas toujours meilleure. Des études montrent que le support de contextes plus longs par les modèles ne signifie pas nécessairement une amélioration des performances. La clé réside dans la manière dont le modèle utilise efficacement les informations contextuelles.
L'exploration des longs textes dans l'industrie est toujours en cours, 400 000 tokens ne sont peut-être qu'un début. Cette technologie devrait résoudre certains problèmes de douleur des grands modèles tout en favorisant l'application industrielle, marquant ainsi l'entrée des grands modèles dans une nouvelle phase de développement.
Pourquoi "rouler" des longs textes ?
Le fondateur de la face cachée de la lune, Yang Zhilin, a déclaré que c'est en raison de la limitation de la longueur d'entrée que de nombreuses applications de grands modèles rencontrent des difficultés de mise en œuvre. Par exemple, dans des scénarios tels que les personnages virtuels, le développement de jeux et l'analyse dans des domaines professionnels, une capacité insuffisante en textes courts peut gravement affecter les résultats.
La technologie des longs textes est également importante pour l'avenir des applications agents et AI natives. Elle peut aider les agents à prendre de meilleures décisions de planification et à fournir une expérience utilisateur cohérente pour les applications AI.
Yang Zhilin pense que la limite des grands modèles est déterminée par la capacité d'une seule étape et le nombre d'étapes d'exécution, où le nombre d'étapes d'exécution fait référence à la longueur du contexte. Les textes longs peuvent fournir plus de contexte et d'informations détaillées, ce qui aide le modèle à comprendre et à raisonner plus précisément.
Avec le Kimi Chat récemment publié par Moon's Dark Side, nous pouvons avoir un aperçu des nouvelles fonctionnalités des grands modèles à l'ère des longs textes :
Extraction, résumé et analyse d'informations pour des textes très longs
Convertir l'intégralité du document en code
Réaliser des dialogues de jeu de rôle plus profonds
Ces fonctionnalités montrent que les robots de conversation évoluent vers une spécialisation, une personnalisation et une profondeur, avec l'espoir de devenir un nouvel outil pour la mise en œuvre industrielle.
Yang Zhilin prévoit que le marché national des grands modèles sera divisé en deux camps : toB et toC, et qu'il pourrait y avoir des super applications basées sur des modèles auto-développés dans le domaine toC.
Le dilemme des "trois impossibilités" du long texte
La technologie des longs textes est confrontée au dilemme du "triangle impossible" de la longueur du texte, de l'attention et de la puissance de calcul :
Plus le texte est long, plus il est difficile de se concentrer sur les informations clés.
L'attention est limitée, les courts textes ont du mal à exprimer des informations complexes.
Le traitement de longs textes nécessite une grande puissance de calcul, ce qui est coûteux.
La racine de ce dilemme réside dans le mécanisme d'attention autonome de la structure Transformer. Ce mécanisme fait que la charge de calcul croît de manière quadratique avec la longueur du contexte, posant d'énormes défis pour le traitement de longs textes.
Actuellement, il existe principalement trois solutions :
Utiliser des outils externes pour traiter de longs textes.
Optimiser le calcul du mécanisme d'auto-attention
Utiliser des méthodes d'optimisation de modèle
La première solution consiste à traiter les longs textes en les divisant et en recherchant des extraits de texte courts. La deuxième solution reconstruit la méthode de calcul d'attention, comme la technologie LongLoRA. La troisième solution se concentre sur l'optimisation du modèle lui-même.
Le dilemme du "triangle impossible" dans les longs textes n'a pas encore de solution temporaire, mais il a clairement défini la direction d'exploration des fabricants de grands modèles : rechercher le meilleur équilibre entre la longueur du texte, l'attention et la puissance de calcul, afin de traiter suffisamment d'informations tout en tenant compte du calcul d'attention et du coût de la puissance de calcul.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
17 J'aime
Récompense
17
7
Reposter
Partager
Commentaire
0/400
MoonRocketTeam
· 08-08 19:48
Cette fusée AI s'apprête à sortir de l'atmosphère, en attendant le chargement des fournitures.
Voir l'originalRépondre0
ForkItAllDay
· 08-06 16:13
Vraiment volumineux, tout dépend de la mémoire vidéo.
Voir l'originalRépondre0
GasFeePhobia
· 08-06 09:24
Mémoire en forte hausse, le portefeuille explose également.
Voir l'originalRépondre0
TokenGuru
· 08-06 09:21
Ce nombre de tokens, je n'ai jamais vu un chiffre aussi grand lors du Mining, même les anciens projets n'étaient pas aussi effrayants lors du lancement de leur Mainnet.
Voir l'originalRépondre0
LiquidityHunter
· 08-06 09:17
Zut, dépassons le niveau de 400 000 tokens, voyons qui sera le premier à ne pas supporter la Puissance de calcul.
Voir l'originalRépondre0
TokenStorm
· 08-06 09:03
token maximum 4K est Tied Up, maintenant 40W, qui me met un levier pour un coup.
La capacité de traitement de longs textes des grands modèles dépasse 400 000 tokens, une nouvelle compétition technologique s'ouvre.
Capacité de long texte : nouveau champ de bataille entre les fournisseurs de grands modèles
Les grands modèles améliorent leur capacité de traitement des longs textes à une vitesse incroyable, passant de 4000 tokens à 400 000 tokens. Cette avancée technologique semble devenir le nouveau "standard" des entreprises de grands modèles.
À l'international, des entreprises comme OpenAI et Anthropic ont étendu la longueur du contexte à des dizaines de milliers, voire 100 000 tokens. Dans le pays, Kimi Chat lancé par Moon's Dark Side prend en charge jusqu'à 400 000 tokens d'entrée. La technologie LongLoRA développée conjointement par l'Université Chinoise de Hong Kong et le MIT a également considérablement augmenté la longueur du texte du modèle.
De nombreuses entreprises de modèles de grande taille et institutions de recherche mettent l'accent sur les capacités de traitement de longs textes comme un axe de mise à niveau. Ces entreprises sont également les chouchous du marché des capitaux actuel, ayant obtenu un soutien financier considérable.
Que signifie la percée de la technologie des longs textes ? En surface, cela permet aux modèles de traiter des textes d'entrée plus longs, améliorant ainsi considérablement leur capacité de lecture. À un niveau plus profond, cela favorise l'application des grands modèles dans des domaines professionnels tels que la finance, le droit et la recherche scientifique.
Cependant, la longueur du texte n'est pas toujours meilleure. Des études montrent que le support de contextes plus longs par les modèles ne signifie pas nécessairement une amélioration des performances. La clé réside dans la manière dont le modèle utilise efficacement les informations contextuelles.
L'exploration des longs textes dans l'industrie est toujours en cours, 400 000 tokens ne sont peut-être qu'un début. Cette technologie devrait résoudre certains problèmes de douleur des grands modèles tout en favorisant l'application industrielle, marquant ainsi l'entrée des grands modèles dans une nouvelle phase de développement.
Pourquoi "rouler" des longs textes ?
Le fondateur de la face cachée de la lune, Yang Zhilin, a déclaré que c'est en raison de la limitation de la longueur d'entrée que de nombreuses applications de grands modèles rencontrent des difficultés de mise en œuvre. Par exemple, dans des scénarios tels que les personnages virtuels, le développement de jeux et l'analyse dans des domaines professionnels, une capacité insuffisante en textes courts peut gravement affecter les résultats.
La technologie des longs textes est également importante pour l'avenir des applications agents et AI natives. Elle peut aider les agents à prendre de meilleures décisions de planification et à fournir une expérience utilisateur cohérente pour les applications AI.
Yang Zhilin pense que la limite des grands modèles est déterminée par la capacité d'une seule étape et le nombre d'étapes d'exécution, où le nombre d'étapes d'exécution fait référence à la longueur du contexte. Les textes longs peuvent fournir plus de contexte et d'informations détaillées, ce qui aide le modèle à comprendre et à raisonner plus précisément.
Avec le Kimi Chat récemment publié par Moon's Dark Side, nous pouvons avoir un aperçu des nouvelles fonctionnalités des grands modèles à l'ère des longs textes :
Ces fonctionnalités montrent que les robots de conversation évoluent vers une spécialisation, une personnalisation et une profondeur, avec l'espoir de devenir un nouvel outil pour la mise en œuvre industrielle.
Yang Zhilin prévoit que le marché national des grands modèles sera divisé en deux camps : toB et toC, et qu'il pourrait y avoir des super applications basées sur des modèles auto-développés dans le domaine toC.
Le dilemme des "trois impossibilités" du long texte
La technologie des longs textes est confrontée au dilemme du "triangle impossible" de la longueur du texte, de l'attention et de la puissance de calcul :
La racine de ce dilemme réside dans le mécanisme d'attention autonome de la structure Transformer. Ce mécanisme fait que la charge de calcul croît de manière quadratique avec la longueur du contexte, posant d'énormes défis pour le traitement de longs textes.
Actuellement, il existe principalement trois solutions :
La première solution consiste à traiter les longs textes en les divisant et en recherchant des extraits de texte courts. La deuxième solution reconstruit la méthode de calcul d'attention, comme la technologie LongLoRA. La troisième solution se concentre sur l'optimisation du modèle lui-même.
Le dilemme du "triangle impossible" dans les longs textes n'a pas encore de solution temporaire, mais il a clairement défini la direction d'exploration des fabricants de grands modèles : rechercher le meilleur équilibre entre la longueur du texte, l'attention et la puissance de calcul, afin de traiter suffisamment d'informations tout en tenant compte du calcul d'attention et du coût de la puissance de calcul.