É possível fazer na escola? E se o ChatGPT fosse treinado com décadas de notícias financeiras e dados? O BloombergGPT visa ser um AI específico para notícias de negócios.

Tempo de leitura: 6 minutes

Loading

Após ler essa matéria fiquei me perguntando e se o ChatGPT fosse treinado com décadas de produção de artigos científicos, livros didáticos, livros de ficção, literatura brasileira sem o viés de colonização, o que será que aconteceria? Alguma escola inovadora quer tentar?

A gigante de notícias e dados construiu — com uma equipe relativamente pequena — um AI gerador que, segundo eles, supera a concorrência em suas próprias necessidades específicas de informação.

Se você fosse prever qual empresa de notícias seria a primeira a lançar seu próprio modelo AI massivo, a Bloomberg seria uma boa aposta. Por todo o seu sucesso em expandir-se para notícias voltadas ao consumidor nos últimos dez anos, a Bloomberg é fundamentalmente uma empresa de dados, impulsionada por assinaturas de $30.000 por ano para seus terminais.
Na sexta-feira, a empresa anunciou que construiu algo chamado BloombergGPT. Pense nele como um computador que visa “saber” tudo o que a empresa inteira “sabe”.

A Bloomberg lançou hoje uma de pesquisa detalhando o desenvolvimento do BloombergGPT™, um novo modelo de inteligência artificial (IA). Este modelo de linguagem de grande escala (LLM, sigla em inglês) foi especificamente treinado em uma ampla gama de dados financeiros para suportar uma diversidade de tarefas de processamento de linguagem natural (NLP, sigla em inglês) dentro da indústria financeira. Os recentes avanços na inteligência artificial (IA) baseados em LLMs já demonstraram novas aplicações emocionantes para muitos domínios. No entanto, a complexidade e o jargão único do domínio financeiro justificam um modelo específico para o domínio. O BloombergGPT representa o primeiro passo no desenvolvimento e aplicação dessa nova tecnologia para a indústria financeira. Este modelo vai ajudar a Bloomberg a melhorar as tarefas de NLP financeiras existentes, como análise de sentimentos, reconhecimento de entidades nomeadas, classificação de notícias e resposta a perguntas, entre outras. Além disso, o BloombergGPT vai desbloquear novas oportunidades para usar as vastas quantidades de dados disponíveis no Terminal Bloomberg para melhor ajudar os clientes da empresa e trazer o potencial total da IA para o domínio financeiro.

Os detalhes técnicos estão, como prometido, nesta pesquisa. É escrito por Shijie Wu, Ozan İrsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg e Gideon Mann da Bloomberg.

Quão grande é o BloombergGPT? Bem, a empresa diz que ele foi treinado com mais de 700 bilhões de tokens (ou fragmentos de palavras). Apenas para conhecimento, o GPT-3, lançado em 2020, foi treinado em cerca de 500 bilhões. (A OpenAI recusou-se a revelar qualquer número equivalente para o GPT-4, o sucessor lançado no mês passado, citando “o cenário competitivo”.)

O que há em todos esses dados de treinamento? Dos 700 milhões de tokens, 363 bilhões são retirados dos próprios dados financeiros da Bloomberg, o tipo de informação que alimenta seus terminais – “o maior conjunto de dados específicos para o domínio ainda construído”, diz a empresa. Outros 345 bilhões de tokens vêm de “conjuntos de dados de propósito geral” obtidos de outras fontes.

Ao invés de construir um LLM de propósito geral ou um pequeno LLM exclusivamente em dados específicos para o domínio, adotamos uma abordagem mista. Modelos gerais cobrem muitos domínios, são capazes de se desempenhar em um nível alto em uma ampla variedade de tarefas e dispensam a necessidade de especialização durante o tempo de treinamento. No entanto, resultados de modelos específicos para o domínio mostram que modelos gerais não podem substituí-los. Na Bloomberg, apoiamos um conjunto muito grande e diverso de tarefas, bem atendido por um modelo geral, mas a maioria de nossas aplicações está dentro do domínio financeiro, melhor atendida por um modelo específico. Por esse motivo, estabelecemos o objetivo de construir um modelo que alcance resultados de primeira classe em benchmarks financeiros, ao mesmo tempo em que mantém um desempenho competitivo em benchmarks de LLM de propósito geral.

Os dados específicos da empresa, chamados de FinPile, consistem em “uma gama de documentos financeiros em inglês, incluindo notícias, escritos, comunicados à imprensa, documentos financeiros coletados na web e mídia social tirados dos arquivos da Bloomberg”. Portanto, se você leu uma história da Bloomberg Businessweek nos últimos anos, está lá. Também estão incluídos escritos da SEC, transcrições da Bloomberg TV, dados da Fed e “outros dados relevantes para os mercados financeiros”. Também é treinado em fontes de notícias não-Bloomberg:

A categoria de Notícias inclui todas as fontes de notícias, exceto os artigos de notícias escritos por jornalistas da Bloomberg. No geral, há centenas de fontes de notícias em inglês no FinPile… Em geral, o conteúdo neste conjunto de dados vem de fontes confiáveis de notícias que são relevantes para a comunidade financeira, a fim de manter a factualidade e reduzir o viés.

Os dados não específicos para finanças incluem um corpo massivo poeticamente conhecido como The Pile; ele inclui tudo, desde legendas do YouTube até o Project Gutenberg, até, sim, a cache de e-mails da Enron que sempre aparecem no treinamento de IA. (Também tem uma cópia completa da Wikipedia a partir de julho do ano passado).

Mas o suficiente sobre os dados de treinamento. O que o BloombergGPT pode fazer? Porque ele compartilha uma base de treinamento com outros LLMs, o BloombergGPT pode fazer os tipos de coisas que já esperamos do ChatGPT e modelos semelhantes. Mas também pode realizar tarefas mais fortemente conectadas às necessidades da Bloomberg. Ele pode traduzir solicitações em linguagem natural (“cap de mercado e eps da apple e ibm”) para a linguagem de consulta da Bloomberg que os usuários do terminal amam/odiam (get(cur_mkt_cap,is_eps) for([’AAPL US Equity’,’IBM US Equity’])). Também pode sugerir manchetes no estilo da Bloomberg para histórias de notícias (desculpe, editores de cópia):

Input: O mercado imobiliário dos EUA encolheu em valor em US$ 2,3 trilhões, ou 4,9%, na segunda metade de 2022, de acordo com a Redfin. É a maior queda em termos percentuais desde a crise imobiliária de 2008, quando os valores despencaram 5,8% durante o mesmo período. Output: Preços das Casas Veem Maior Queda em 15 Anos Input: A economia global está em um lugar melhor hoje do que muitos previram meses atrás, disse Janet Yellen na G20. Em casa, ela apontou para uma economia resiliente dos EUA, onde a inflação de destaque se moderou e o mercado de trabalho é forte. Ela também pediu que o FMI se mova rapidamente em direção a um programa totalmente financiado para a Ucrânia. Output: Yellen Vê Economia Global Mais Resiliente do Que Esperado Input: O Google foi processado pelos EUA e oito estados procurando a divisão de seu negócio de tecnologia de anúncios por supostamente monopolizar o mercado de publicidade digital. A ação é o primeiro grande desafio da administração Biden a uma gigante da tecnologia e uma das raras vezes desde 1982 que o DOJ buscou cortar uma grande empresa. Output: Google Processado por Monopólio no Mercado de Anúncios Online

Eles também dizem que ele está melhor sintonizado para responder a perguntas específicas relacionadas ao negócio, sejam elas análise de sentimento, categorização, extração de dados ou algo completamente diferente. (“Por exemplo, ele se sai bem na identificação do CEO de uma empresa”).

O artigo inclui uma série de comparações de desempenho com o GPT-3 e outros LLMs e conclui que o BloombergGPT se mantém em tarefas gerais – pelo menos quando enfrenta modelos do mesmo tamanho – e supera muitos específicos para finanças. (A bateria de testes internos inclui termos prontos para jogos de parque, como “Pinguins em uma Tabela”, “Snarks”, “Teia de Mentiras” e o temido “Hiperbato”).

Ao longo de dezenas de tarefas em muitos benchmarks, surge uma imagem clara. Entre os modelos com dezenas de bilhões de parâmetros com os quais comparamos, o BloombergGPT apresenta o melhor desempenho. Além disso, em alguns casos, é competitivo ou ultrapassa o desempenho de modelos muito maiores (centenas de bilhões de parâmetros). Embora nosso objetivo para o BloombergGPT fosse ser um modelo de primeira classe para tarefas financeiras e incluíssemos dados de treinamento de propósito geral para apoiar o treinamento específico do domínio, o modelo ainda adquiriu habilidades em dados de propósito geral que superam modelos de tamanho semelhante e, em alguns casos, igualam ou superam modelos muito maiores.

Além dos pinguins, não é difícil imaginar casos de uso mais específicos que vão além do benchmarking, seja para os jornalistas da Bloomberg ou para seus clientes do terminal. (O anúncio da empresa não especificou o que planeja fazer com o que construiu). Um corpo de ~todas as reportagens empresariais premium em língua inglesa do mundo – mais o universo de dados financeiros, estruturados e não estruturados, que os sustenta – é exatamente o tipo de rica veia de informação para a qual uma IA gerativa é projetada para extrair. É a memória institucional em uma caixa.

Dito isso, todos os avisos habituais para LLMs se aplicam. O BloombergGPT pode, tenho certeza, hallucinar. Todos esses dados de treinamento possuem seu próprio conjunto de potenciais viéses. (Apostaria que o BloombergGPT não pedirá a revolução do proletariado em breve).

Quanto a como o BloombergGPT pode inspirar outras organizações de notícias … bem, a Bloomberg está em uma situação bastante única aqui, com a escala de dados que reuniu e o produto ao qual pode ser aplicado. Mas acredito que haverá, a longo prazo, oportunidades para editores menores aqui, especialmente aqueles com grandes arquivos digitalizados. Imagine o Anytown Gazette treinando uma IA em 100 anos de seus arquivos de jornal, além de uma grande coleção de documentos da cidade / condado / estado e qualquer outra fonte de dados locais que possa obter. É uma escala radicalmente diferente do que a Bloomberg pode alcançar, é claro, e pode ser mais útil como uma ferramenta interna do que qualquer coisa voltada para o público. Mas dada a incrível velocidade de avanços na IA nos últimos anos, pode ser uma ideia digna antes do que você imagina.

 

 

Fonte: NiemanLab
Matéria original:
http://bit.ly/3mif805
Autor:
 

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

Escrita à Mão Aumenta Conexões Cerebrais

Como a escrita tradicional à mão está sendo progressivamente substituída por dispositivos digitais, é essencial investigar as implicações para o cérebro humano. A atividade elétrica cerebral foi registrada em 36 estudantes universitários enquanto eles escreviam à mão...

IA na Educação

O salto para uma nova era de inteligência artificial de máquina traz riscos e desafios, mas também muitas promessas No romance de ficção científica de Neal Stephenson, The Diamond Age (A Era do Diamante), de 1995, os leitores conhecem Nell, uma jovem que recebe um...

As 10 melhores ferramentas de IA para estudantes

A Inteligência Artificial (IA) tem se tornado cada vez mais predominante em vários setores, e a educação não é exceção. Com o rápido avanço da tecnologia, graças a empresas como a Open AI, as ferramentas de IA surgiram como recursos valiosos para os estudantes que...

Seis perguntas que ditarão o futuro da IA generativa

A IA generativa tomou o mundo de assalto em 2023. Seu futuro - e o nosso - será moldado pelo que fizermos a seguir. Foi uma pessoa desconhecida que me mostrou pela primeira vez o quão grande seria a mudança de vibração deste ano. Enquanto esperávamos juntas por um...

IA e o crescimento da mediocridade

Como a maioria das pessoas, gosto de me considerar um indivíduo, mas há uma semana entrei em um estacionamento e encontrei cinco carros idênticos ao meu em termos de marca, modelo, ano e cor. Fiquei feliz por ter me lembrado do número da minha placa e que meu chaveiro...

Tag Cloud

Posts Relacionados

IA na Educação

IA na Educação

O salto para uma nova era de inteligência artificial de máquina traz riscos e desafios, mas também muitas promessas No...

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes