Capacidade de Longo Texto: A Nova Rodada de Conflito entre Fabricantes de Grandes Modelos
Os grandes modelos estão a aumentar a sua capacidade de processamento de longos textos a uma velocidade impressionante, passando de 4000 tokens para 400000 tokens. Este avanço tecnológico parece ter-se tornado o novo "standard" das empresas de grandes modelos.
A nível internacional, empresas como OpenAI e Anthropic têm vindo a expandir o comprimento do contexto para dezenas de milhares ou até 100 mil tokens. Em território nacional, o Kimi Chat, lançado pela Lua Sombria, suporta até 400 mil tokens de entrada. A tecnologia LongLoRA, desenvolvida em conjunto pela Universidade Chinesa de Hong Kong e pelo MIT, também aumentou significativamente o comprimento do texto dos modelos.
Muitas empresas de modelos grandes de topo e instituições de pesquisa estão a focar a sua atualização na capacidade de lidar com textos longos. Essas empresas são precisamente as favoritas do mercado de capitais atual, recebendo um grande apoio financeiro.
O que significa a quebra da tecnologia de texto longo? À primeira vista, isso permite que os modelos processem textos de entrada mais longos, com uma capacidade de leitura significativamente aumentada. Em um nível mais profundo, isso impulsiona a aplicação de grandes modelos em áreas profissionais como finanças, direito e pesquisa científica.
No entanto, o comprimento do texto não é necessariamente melhor quanto mais longo for. Estudos mostram que o suporte do modelo para contextos mais longos e a melhoria do desempenho não são diretamente proporcionais. O importante é como o modelo utiliza eficazmente a informação do contexto.
Atualmente, a exploração de textos longos na indústria ainda está em andamento, 400 mil tokens podem ser apenas o começo. Esta tecnologia tem o potencial de resolver algumas das principais questões dos grandes modelos, ao mesmo tempo que impulsiona a aplicação industrial, marcando a entrada dos grandes modelos em uma nova fase de desenvolvimento.
Por que "elevar" textos longos?
O fundador da Dark Side of the Moon, Yang Zhilin, afirmou que as limitações de comprimento de entrada causaram muitas dificuldades na implementação de grandes modelos. Por exemplo, em cenários como personagens virtuais, desenvolvimento de jogos e análises em áreas especializadas, a insuficiência de capacidade de texto curto pode afetar gravemente os resultados.
A tecnologia de texto longo é também muito importante para as aplicações nativas de Agent e AI do futuro. Ela pode ajudar os Agents a tomar decisões de planejamento melhores, proporcionando uma experiência de usuário coerente para as aplicações de AI.
Yang Zhilin acredita que o limite dos grandes modelos é determinado pela capacidade de passo único e pelo número de passos de execução, sendo que o número de passos de execução se refere ao comprimento do contexto. Textos longos podem fornecer mais contexto e informações detalhadas, ajudando o modelo a entender e raciocinar de forma mais precisa.
Através do Kimi Chat recém-lançado pela Dark Side of the Moon, podemos vislumbrar as novas funcionalidades dos grandes modelos na era dos longos textos:
Extração de informações, resumo e análise de textos muito longos
Transformar todo o artigo diretamente em código
Implementar diálogos de RPG mais profundos
Estas funcionalidades mostram que os robôs de conversa estão a evoluir numa direção de especialização, personalização e profundidade, estando assim a tornar-se uma nova alavanca para a implementação da indústria.
Yang Zhilin prevê que o mercado nacional de grandes modelos será dividido em dois campos: toB e toC, e no campo toC poderão surgir superaplicações baseadas em modelos desenvolvidos internamente.
O dilema do "triângulo impossível" em textos longos
A tecnologia de longos textos enfrenta o dilema do "triângulo impossível" de comprimento de texto, atenção e poder computacional:
Quanto mais longo o texto, mais difícil é focar nas informações-chave.
Atenção limitada, texto curto difícil de expressar informações complexas
Processar textos longos requer muita potência computacional, o que é caro.
A raiz deste dilema está no mecanismo de autoatenção da estrutura Transformer. Este mecanismo faz com que a carga computacional cresça em um nível quadrático com o comprimento do contexto, resultando em enormes desafios no processamento de textos longos.
Atualmente, existem três principais soluções:
Usar ferramentas externas para ajudar a processar textos longos
Otimização do cálculo do mecanismo de autoatenção
Utilizar métodos de otimização de modelos
A primeira solução processa dividindo longos textos e recuperando trechos curtos de texto. A segunda solução reestrutura a forma de cálculo da autoatenção, como a tecnologia LongLoRA. A terceira solução foca na otimização do próprio modelo.
O dilema do "triângulo impossível" de textos longos ainda não tem solução, mas clarificou a direção de exploração dos fabricantes de grandes modelos: buscar o melhor ponto de equilíbrio entre o comprimento do texto, a atenção e a capacidade computacional, a fim de processar informações suficientes enquanto considera os custos de atenção e computação.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
17 Curtidas
Recompensa
17
7
Repostar
Compartilhar
Comentário
0/400
MoonRocketTeam
· 08-08 19:48
Este foguete de IA está prestes a sair da atmosfera. Aguardando o reabastecimento.
Ver originalResponder0
ForkItAllDay
· 08-06 16:13
Verdadeiro volume depende apenas da acumulação de memória gráfica
Ver originalResponder0
GasFeePhobia
· 08-06 09:24
Memória a subir Carteira também a explodir
Ver originalResponder0
TokenGuru
· 08-06 09:21
Esse número de token, eu nunca vi um número tão grande durante a Mineração, projetos antigos na fase inicial da Rede principal não eram tão assustadores.
Ver originalResponder0
LiquidityHunter
· 08-06 09:17
啧 Atingindo a marca de 40w tokens, vamos ver qual empresa não consegue suportar o poder de computação.
Ver originalResponder0
TokenStorm
· 08-06 09:03
token máximo 4K ficou amarrado, agora está em 40W, quem me dá uma alavancagem para dar uma impulsionada?
Capacidade de processamento de texto longo de grandes modelos ultrapassa 400 mil tokens, uma nova rodada de competição tecnológica começa.
Capacidade de Longo Texto: A Nova Rodada de Conflito entre Fabricantes de Grandes Modelos
Os grandes modelos estão a aumentar a sua capacidade de processamento de longos textos a uma velocidade impressionante, passando de 4000 tokens para 400000 tokens. Este avanço tecnológico parece ter-se tornado o novo "standard" das empresas de grandes modelos.
A nível internacional, empresas como OpenAI e Anthropic têm vindo a expandir o comprimento do contexto para dezenas de milhares ou até 100 mil tokens. Em território nacional, o Kimi Chat, lançado pela Lua Sombria, suporta até 400 mil tokens de entrada. A tecnologia LongLoRA, desenvolvida em conjunto pela Universidade Chinesa de Hong Kong e pelo MIT, também aumentou significativamente o comprimento do texto dos modelos.
Muitas empresas de modelos grandes de topo e instituições de pesquisa estão a focar a sua atualização na capacidade de lidar com textos longos. Essas empresas são precisamente as favoritas do mercado de capitais atual, recebendo um grande apoio financeiro.
O que significa a quebra da tecnologia de texto longo? À primeira vista, isso permite que os modelos processem textos de entrada mais longos, com uma capacidade de leitura significativamente aumentada. Em um nível mais profundo, isso impulsiona a aplicação de grandes modelos em áreas profissionais como finanças, direito e pesquisa científica.
No entanto, o comprimento do texto não é necessariamente melhor quanto mais longo for. Estudos mostram que o suporte do modelo para contextos mais longos e a melhoria do desempenho não são diretamente proporcionais. O importante é como o modelo utiliza eficazmente a informação do contexto.
Atualmente, a exploração de textos longos na indústria ainda está em andamento, 400 mil tokens podem ser apenas o começo. Esta tecnologia tem o potencial de resolver algumas das principais questões dos grandes modelos, ao mesmo tempo que impulsiona a aplicação industrial, marcando a entrada dos grandes modelos em uma nova fase de desenvolvimento.
Por que "elevar" textos longos?
O fundador da Dark Side of the Moon, Yang Zhilin, afirmou que as limitações de comprimento de entrada causaram muitas dificuldades na implementação de grandes modelos. Por exemplo, em cenários como personagens virtuais, desenvolvimento de jogos e análises em áreas especializadas, a insuficiência de capacidade de texto curto pode afetar gravemente os resultados.
A tecnologia de texto longo é também muito importante para as aplicações nativas de Agent e AI do futuro. Ela pode ajudar os Agents a tomar decisões de planejamento melhores, proporcionando uma experiência de usuário coerente para as aplicações de AI.
Yang Zhilin acredita que o limite dos grandes modelos é determinado pela capacidade de passo único e pelo número de passos de execução, sendo que o número de passos de execução se refere ao comprimento do contexto. Textos longos podem fornecer mais contexto e informações detalhadas, ajudando o modelo a entender e raciocinar de forma mais precisa.
Através do Kimi Chat recém-lançado pela Dark Side of the Moon, podemos vislumbrar as novas funcionalidades dos grandes modelos na era dos longos textos:
Estas funcionalidades mostram que os robôs de conversa estão a evoluir numa direção de especialização, personalização e profundidade, estando assim a tornar-se uma nova alavanca para a implementação da indústria.
Yang Zhilin prevê que o mercado nacional de grandes modelos será dividido em dois campos: toB e toC, e no campo toC poderão surgir superaplicações baseadas em modelos desenvolvidos internamente.
O dilema do "triângulo impossível" em textos longos
A tecnologia de longos textos enfrenta o dilema do "triângulo impossível" de comprimento de texto, atenção e poder computacional:
A raiz deste dilema está no mecanismo de autoatenção da estrutura Transformer. Este mecanismo faz com que a carga computacional cresça em um nível quadrático com o comprimento do contexto, resultando em enormes desafios no processamento de textos longos.
Atualmente, existem três principais soluções:
A primeira solução processa dividindo longos textos e recuperando trechos curtos de texto. A segunda solução reestrutura a forma de cálculo da autoatenção, como a tecnologia LongLoRA. A terceira solução foca na otimização do próprio modelo.
O dilema do "triângulo impossível" de textos longos ainda não tem solução, mas clarificou a direção de exploração dos fabricantes de grandes modelos: buscar o melhor ponto de equilíbrio entre o comprimento do texto, a atenção e a capacidade computacional, a fim de processar informações suficientes enquanto considera os custos de atenção e computação.