astra

A OpenAI anunciou, nesta quinta-feira (17), o Astra for Law, sua nova ferramenta de inteligência artificial (IA) voltada ao trabalho jurídico. A solução chega com recursos específicos para advogados, incluindo plugins, ferramentas para facilitar a pesquisa de processos e ajustes no modelo de IA para atender às necessidades do setor.

O lançamento representa mais um movimento da OpenAI para conquistar clientes de segmentos específicos. A empresa vem ampliando sua atuação no mercado corporativo com produtos desenvolvidos para diferentes áreas profissionais.

Na semana passada, a companhia apresentou o ChatGPT for Financial Services, direcionado a clientes do mercado financeiro. A OpenAI também lançou produtos específicos para professores, profissionais de saúde, pesquisadores das ciências da vida e usuários interessados em saúde e finanças pessoais.

OpenAI mira grandes escritórios

• Com o Astra for Law, a OpenAI pretende atender o mercado de tecnologia jurídica e os 200 maiores escritórios de advocacia dos Estados Unidos, conhecidos coletivamente como AmLaw 200, segundo Jason Boehmig, responsável pelo produto jurídico da empresa;
• A ferramenta foi construída sobre o modelo mais avançado e caro da OpenAI;
• A companhia também fez alterações específicas no modelo para adaptá-lo ao trabalho jurídico. Segundo Sherwin Wu, integrante da equipe técnica da OpenAI, esses ajustes fazem com que o sistema seja fundamentado na jurisprudência real;
• De acordo com Wu, isso resultou em menos alucinações e em um raciocínio jurídico considerado mais consistente pela empresa.

“Estamos resolvendo a questão de como permanecer na fronteira da capacidade, mas também tornar o resultado relevante para um tipo específico de trabalho baseado em conhecimento”, afirmou Boehmig durante apresentação à imprensa.

Astra for Law chega em meio à disputa com Anthropic

O lançamento também coloca a OpenAI em disputa direta com a Anthropic, sua principal concorrente no segmento.

Em maio, a Anthropic havia apresentado uma expansão de suas ferramentas de IA para o setor jurídico. Os dois lançamentos têm algumas características em comum, incluindo uma série de integrações com outras ferramentas.

A OpenAI, porém, afirma ter adaptado especificamente seu modelo para o trabalho jurídico, incorporando ferramentas e modificando configurações para esse tipo de uso.

Questionado sobre a concorrência com a Anthropic, Boehmig afirmou que a estratégia da OpenAI é se concentrar nos clientes. “Você vence focando no cliente e não na concorrência”, disse o executivo.

Leia mais:

• OpenAI testa anúncios no ChatGPT que permitem conversar com empresas por meio de agentes de IA
• OpenAI, Anthropic e Google discutem órgão para supervisionar riscos da IA
• IAs da OpenAI tentaram esconder erros, inventar dados e burlar testes em seis novos casos

Respostas mais longas para advogados

Outro ajuste feito pela OpenAI está relacionado ao tamanho das respostas. Segundo a empresa, o Astra for Law produz respostas aproximadamente duas vezes mais longas que as respostas típicas do Astra.

A mudança teria sido motivada pelo retorno dos próprios usuários. “Advogados gostam de respostas mais longas. Essa foi uma das coisas que recebemos como feedback”, afirmou Boehmig.

A proposta é adaptar o comportamento do sistema às características do trabalho jurídico, no qual respostas mais extensas podem ser úteis para analisar documentos, processos e questões complexas.

Outras empresas poderão incorporar a tecnologia

A OpenAI também pretende permitir que empresas de tecnologia jurídica incorporem a ferramenta em seus próprios produtos.

Companhias, como Harvey e Legora, poderão adicionar o recurso às suas plataformas. O lançamento também inclui plugins para o ChatGPT desenvolvidos por essas empresas e por outras companhias, entre elas Thomson Reuters, iManage e DeepJudge.

A iniciativa amplia a integração do modelo da OpenAI com ferramentas já utilizadas no setor jurídico. Segundo Wu, a equipe responsável pelo produto jurídico trabalhou em conjunto com o time de serviços financeiros da OpenAI.

Um dos recursos que se destacou no lançamento voltado ao mercado financeiro também deverá chegar ao produto jurídico em breve: uma ferramenta de citações. A OpenAI afirma que pretende disponibilizar esse recurso posteriormente para o Astra for Law.

O post OpenAI lança IA para advogados e mira os maiores escritórios dos EUA em nova disputa com a Anthropic apareceu primeiro em Olhar Digital.

Uma nova técnica de raciocínio que será utilizada pelo próximo modelo de inteligência artificial (IA) da OpenAI, chamado Astra, está preocupando especialistas em segurança de IA. O método, conhecido como “recurrent depth” ou “recorrência opaca”, permite que o modelo vá além do processo de pensamento sequencial característico da maioria dos modelos de raciocínio.

A preocupação está justamente no fato de que essa abordagem pode tornar o chamado chain of thought, ou cadeia de pensamento, mais difícil de monitorar. Para especialistas em segurança, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.

Segundo informações obtidas pelo The Information, o uso da técnica no Astra será limitado. Mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área.

Buck Shlegeris, CEO da Redwood, afirmou estar “extremamente preocupado” com os relatos sobre o uso da recorrência opaca no Astra.

“Não sei se o Astra é muito menos monitorável por CoT do que os modelos anteriores. Mas, se a OpenAI levar essa técnica adiante, terá a opção de aumentar enormemente a recorrência e destruir completamente a monitorabilidade por CoT”, escreveu o especialista.

Por que a técnica preocupa?

Em condições normais, um modelo de raciocínio apresenta uma sequência de etapas enquanto tenta solucionar um problema. Embora essa representação não seja perfeita, ela pode funcionar como uma ferramenta importante para monitorar possíveis comportamentos inadequados ou sinais de desalinhamento.

A cadeia de pensamento também teve papel importante na investigação de comportamentos recentes de agentes de IA considerados problemáticos. Os registros ajudaram pesquisadores a entender por que determinados agentes estavam se comportando de determinadas maneiras.

É justamente esse mecanismo de supervisão que pode ser prejudicado pela recorrência opaca. Em vez de seguir necessariamente uma sequência convencional de etapas, a técnica permite que o modelo realize processamento recorrente. Para especialistas, quanto maior for a utilização desse mecanismo, mais difícil poderá ser observar e interpretar o processo que levou o sistema a determinada decisão.

Zvi Mowshowitz, conhecido defensor da segurança de IA, também reagiu à novidade e afirmou que talvez sejam necessárias leis para impedir uma espécie de “corrida para o fundo do poço” entre laboratórios de inteligência artificial.

“O método está brincando com fogo, arriscando um tabu que a OpenAI e a Anthropic têm lutado para estabelecer: trabalhar arduamente para manter a fidelidade e a monitorabilidade da cadeia de pensamento pelo maior tempo possível”, escreveu Mowshowitz.

Segundo ele, uma utilização mais intensa dessas técnicas provavelmente prejudicaria a capacidade de monitoramento dos modelos.

OpenAI diz que cadeia de pensamento continuará legível

Apesar das preocupações, a utilização da técnica pelo Astra aparentemente será limitada.

A cadeia de pensamento do modelo ainda deverá permanecer legível, segundo as informações disponíveis. A OpenAI também rejeitou qualquer sugestão de que o novo sistema passaria a utilizar uma forma de processamento completamente inacessível, descrita como “neuralese”.

A empresa já anunciou planos para desenvolver sistemas extensivos de monitoramento da cadeia de pensamento como parte de suas estratégias futuras de segurança.

Isso significa que a preocupação dos especialistas não está necessariamente relacionada ao comportamento atual do Astra, mas ao que poderá acontecer caso a técnica de recorrência seja ampliada em versões futuras.

O receio é que um aumento significativo da recorrência possa fazer com que os modelos tenham processos internos cada vez mais difíceis de acompanhar, justamente à medida que suas capacidades também aumentam.

O post Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar apareceu primeiro em Olhar Digital.

Nesta sexta-feira (07), a OpenAI anunciou a suspensão de atividades internas relacionadas ao Astra, um modelo de inteligência artificial ainda em desenvolvimento, após análises apontarem avanços considerados relevantes em programação autônoma e cibersegurança. A empresa informou que não conseguiu excluir a possibilidade de o sistema alcançar um nível crítico de capacidade ofensiva digital.

A decisão foi tomada pela própria OpenAI após avaliações internas e análises de especialistas indicarem que o modelo poderia se aproximar de critérios de risco estabelecidos pelo framework de preparação da companhia. O caso envolve a preocupação com sistemas capazes de executar tarefas complexas de segurança digital sem supervisão humana.

O anúncio ocorre em meio a uma sequência de episódios envolvendo testes de segurança com modelos de inteligência artificial. A OpenAI afirmou que o Astra não participou do incidente relacionado ao Hugging Face mencionado em avaliações anteriores.

O que levou a OpenAI a interromper os trabalhos com o Astra

A suspensão ocorreu depois que avaliações internas indicaram que o Astra apresentava melhorias significativas em tarefas relacionadas à criação de código e operações de segurança digital. Conforme a OpenAI, esses resultados foram suficientes para levantar a possibilidade de o modelo atingir o nível mais elevado de alerta previsto em sua estrutura de preparação.

Dentro dos critérios estabelecidos pela empresa, uma inteligência artificial seria considerada de capacidade cibernética crítica caso conseguisse encontrar e desenvolver vulnerabilidades inéditas de diferentes níveis de gravidade em sistemas reais protegidos, sem auxílio humano, ou ainda criar estratégias completas de ataque contra alvos reforçados a partir de objetivos gerais.

A companhia afirmou que a avaliação não significa que o Astra tenha realizado ataques ou explorado falhas em sistemas externos. Segundo a OpenAI, o modelo em desenvolvimento não teve participação no episódio envolvendo o Hugging Face.

Novas medidas de proteção para modelos avançados

Como resposta ao alerta, a OpenAI informou que pretende ampliar as exigências de segurança aplicadas a modelos com maior capacidade e às atividades associadas a eles. Entre as medidas anunciadas está a adoção de mecanismos mais rigorosos de controle.

A empresa também declarou que implementou monitoramento amplo para acompanhar ações consideradas arriscadas e possíveis sinais de desalinhamento em aplicações baseadas em agentes de inteligência artificial.

O caso Astra reforça o debate sobre como empresas de tecnologia devem equilibrar o desenvolvimento de sistemas mais poderosos com mecanismos capazes de limitar usos perigosos. No episódio, a própria avaliação interna da OpenAI serviu como base para interromper temporariamente o avanço do modelo até que novos padrões de segurança fossem aplicados.

O post OpenAI interrompe avanço da IA Astra por risco de habilidades cibernéticas “ofensivas” apareceu primeiro em Olhar Digital.