Descubra como permitir o fluxo da vida e aceitar a transformacao substituindo o esforço contínuo de autoaperfeiçoamento. O post Arcanjo Gabriel – “Permitir” apareceu primeiro em

Main page of the Petitions Portal. General information, most recently uploaded petitions and further links to procedural pages. Further links to the European Parliament website.

A gigante da inteligência artificial OpenAI pediu nesta segunda-feira (21) que os Estados Unidos liderem um esforço internacional para desenvolver padrões técnicos globais para a inteligência artificial de fronteira, incluindo o autoaperfeiçoamento recursivo, processo pelo qual os sistemas conseguem aprimorar suas próprias capacidades de forma autônoma. A inteligência artificial será um dos principais temas de discussão na reunião de alto nível da Assembleia Geral das Nações Unidas nesta semana, depois que vários líderes do setor — incluindo o diretor-presidente da OpenAI, Sam Altman — defenderam uma desaceleração coordenada do desenvolvimento dessa tecnologia cada vez mais poderosa, alertando que ela poderá, em breve, aperfeiçoar-se sozinha e escapar do controle humano. Em uma publicação divulgada enquanto líderes mundiais se reúnem nas Nações Unidas, a OpenAI afirmou ser essencial desenvolver um mecanismo que facilite a criação de padrões nacionais e internacionais complementares para a inteligência artificial de ponta, além de métricas comuns e protocolos para a notificação de incidentes, a fim de melhorar a ação coletiva. Morgan Stanley: "Demanda por IA será enorme e Brasil vai se beneficiar" China não é desculpa para ignorar medidas de controle para IA, afirma Microsoft ‘Big techs’ usam garantias para manter US$ 300 bilhões em exposição à IA fora dos balanços “Assumir a liderança agora determinará se os Estados Unidos moldarão a estrutura global de inteligência artificial ou assistirão ao surgimento, ao seu redor, de um sistema fragmentado, desigual e marcado por conflitos. Isso também determinará se a inteligência artificial avançada fortalecerá as redes que os Estados Unidos e seus aliados já possuem; a falta de liderança poderá enfraquecê-las”, escreveu a OpenAI na publicação desta segunda-feira. Diante das preocupações de que a inteligência artificial possa causar danos aos seres humanos no futuro, o setor vem discutindo uma desaceleração deliberada de seu desenvolvimento, ou o chamado “controle de ritmo”. “Controlar o ritmo do desenvolvimento da inteligência artificial não significa manter uma velocidade predeterminada. Do ponto de vista técnico, significa assegurar que as pesquisas sobre alinhamento e a aplicação dessas pesquisas permaneçam à frente do avanço das capacidades”, afirmou a OpenAI. O alinhamento procura garantir que a inteligência artificial atue de acordo com os valores humanos. Conselho de segurança da ONU se reunirá Altman deverá falar na quarta-feira (23) aos 15 membros do Conselho de Segurança das Nações Unidas sobre inteligência artificial e segurança internacional. A reunião foi convocada pela França, que ocupa a presidência do órgão em setembro, e será conduzida pelo ministro francês para a Europa e das Relações Exteriores, Jean-Noël Barrot. O Conselho de Segurança das Nações Unidas, responsável pela manutenção da paz e da segurança internacionais, reuniu-se pela primeira vez para discutir os riscos da inteligência artificial em 2023, quando a China afirmou que a tecnologia não deveria se tornar um “cavalo desgovernado”, e os Estados Unidos alertaram contra seu uso para censurar ou reprimir pessoas. O governo do presidente dos Estados Unidos, Donald Trump, rejeitou os pedidos para desacelerar o desenvolvimento da inteligência artificial por receio de que qualquer pausa apenas dê à China espaço para reduzir a distância em uma tecnologia considerada fundamental para a segurança nacional e econômica. Trump afirmou no início deste mês que os Estados Unidos já dispõem de salvaguardas para regulamentar o desenvolvimento da inteligência artificial e acrescentou que a China se beneficiaria das dúvidas lançadas sobre o avanço da tecnologia. Trump tem encontro marcado com o presidente chinês, Xi Jinping, nesta semana, em Washington. Levart_Photographer/Unsplash

A preocupação com o tema aumentou nas últimas semanas, devido a vários incidentes de segurança e à nova propensão dos modelos de IA de autoaperfeiçoamento, sem intervenção humana

A Factory, empresa de desenvolvimento de software com capacidade de autoaperfeiçoamento por inteligência artificial, informou que levantou US$...

Dois pesquisadores do Google DeepMind deixam a empresa e alertam para riscos catastróficos da IA, incluindo autoaperfeiçoamento e falhas de alinhamento.

Dois pesquisadores do Google DeepMind deixam a empresa e alertam para riscos catastróficos da IA, incluindo autoaperfeiçoamento e falhas de alinhamento. O post Dois pesquisadores do Google DeepMind pedem demissão e alertam que IA pode ‘nos matar a todos’ apareceu primeiro em Google Discovery.

Pesquisadores discutem os obstáculos técnicos e políticos que podem impedir a IA de entrar em um ciclo de autoaperfeiçoamento acelerado até 2036.

Dario Amodei, CEO da Anthropic, defende redução do ritmo de avanço da IA, alerta para autoaperfeiçoamento e riscos que podem gerar ataques cibernéticos e perdas bilionárias.

Pesquisadores alertam para riscos que vão além de uma IA hostil, envolvendo autonomia, ciberataques, biologia, autoaperfeiçoamento e possível perda de controle humano.

Executivo alerta para o autoaperfeiçoamento recursivo e estima que sistemas capazes de controlar parte da internet podem surgir em até 12 meses | Foto: Canva O diretor-executivo e cofundador da Anthropic, Dario Amodei, pediu neste sábado (12) que as empresas de inteligência artificial (IA) avancem de forma mais lenta e cautelosa no desenvolvimento dessa poderosa tecnologia e afirmou que a prevenção de riscos é primordial."Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos", escreveu Amodei em uma publicação em seu blog."Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (...) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado --se é que deve ser conduzida", diz Amodei.A preocupação é o que chama de autoaperfeiçoamento recursivo, quando sistemas de IA passam a contribuir para a construção de gerações mais avançadas de sistemas. Para Amodei, esse mecanismo já começa a ocorrer na indústria e pode acelerar o desenvolvimento a uma velocidade superior à capacidade dos pesquisadores de compreender e controlar os modelos.O executivo também cita o episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo ele, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou comprometer o sistema usado para avaliar seu desempenho. Amodei afirma que, embora o episódio tenha causado pouco dano econômico, uma versão mais capaz de um sistema com comportamento semelhante poderia provocar prejuízos catastróficos.Na avaliação de Amodei, o avanço das capacidades atuais poderia levar, em um horizonte de seis a 12 meses, a sistemas capazes de assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Ele estima que um cenário desse tipo poderia provocar centenas de bilhões de dólares em danos.Para reduzir esses riscos sem interromper o desenvolvimento da tecnologia, Amodei propõe um plano em três etapas. A primeira seria a criação de avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas de IA, para verificar práticas de segurança, investigar incidentes e avaliar não apenas os modelos prontos, mas também os processos usados em seu treinamento."A primeira etapa é algo com que a Anthropic está se comprometendo unilateralmente --e conclama os governos a exigir que outras empresas de fronteira façam o mesmo", escreveu o CEO.A segunda etapa seria uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para o ritmo de avanço dos modelos. Amodei afirma que os governos deveriam participar desse processo, inclusive para resolver obstáculos concorrenciais e antitruste.A terceira envolveria uma coordenação internacional, especialmente entre Estados Unidos e China. O executivo reconhece que essa seria a etapa mais difícil, devido à disputa geopolítica em torno da inteligência artificial.Amodei afirma que uma possível regra seria estabelecer "pontos de controle": à medida que um modelo alcançasse determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de avançar para a próxima etapa.O executivo também defende discutir limites para alguns dos recursos utilizados na construção dos modelos, como poder computacional, determinados tipos de treinamento e o uso de IA para desenvolver a própria IA.No plano internacional, Amodei propõe diferentes níveis de coordenação. O mais simples seria um acordo para proibir usos específicos considerados perigosos, como a utilização de IA para produzir armas biológicas. Um segundo nível envolveria testes obrigatórios dos modelos antes de seu lançamento em áreas como cibersegurança, biologia e alinhamento.Uma pausa ampla no desenvolvimento da IA também deveria ser considerada, segundo ele, mas o próprio executivo avalia que um acordo desse tipo é improvável no curto prazo devido ao risco de um país descumprir o compromisso e obter vantagem estratégica.

Dario Amodei invoca o "autoaperfeiçoamento recursivo" e um ataque cibernético autónomo de agentes da OpenAI para justificar a necessidade de travar o ritmo da IA.

Evan Hubinger, responsável pelo time de testes de alinhamento da Anthropic, avalia que os modelos de IA atuais oferecem risco baixo, mas afirma estar preocupado com uma possível autoaperfeiçoamento da tecnologia em pouco tempo

Rishub Jain deixou o Google DeepMind em junho depois de perceber algo que o incomodou: ao usar a própria inteligência artificial para acelerar o desenvolvimento da próxima geração de modelos, ele e outros pesquisadores da fronteira da tecnologia estavam progressivamente perdendo o controle sobre o processo. As empresas de IA chamam essa técnica de autoaperfeiçoamento recursivo, um método em que a própria IA melhora a si mesma indefinidamente, com cada vez menos supervisão humana no meio do caminho. "O progresso da IA está aumentando. E, conforme a IA se torna mais capaz, ela representa mais riscos", disse Jain à revista Wired, justificando a decisão de sair da empresa. O caso de Jain ilustra uma preocupação que ganhou força entre pesquisadores de inteligência artificial nas últimas semanas. Avanços recentes em capacidades de IA, como um modelo da OpenAI que a empresa afirma ter resolvido um problema matemático de quase um século, o das equações de Navier-Stokes, um dos sete "Problemas do Milênio" com prêmio de US$ 1 milhão, coincidiram com uma série de incidentes de segurança em que agentes de IA escaparam de ambientes controlados para invadir outros sistemas. A própria OpenAI reconheceu falhas em seus protocolos depois do episódio. O anúncio da matemática, vale notar, também gerou controvérsia sobre a autoria e a validade da demonstração, questionada por matemáticos como Terence Tao. A preocupação chegou a um novo patamar depois que o pesquisador Jacob Coxon anunciou sua saída da Anthropic, alertando que as empresas de IA estão "correndo direto para uma superinteligência autoaperfeiçoável e apostando com nossas vidas". Coxon, que liderava a área de segurança de IA na empresa, afirmou publicamente que "o mundo está em perigo" e que este é um "momento decisivo para a humanidade". Um executivo sênior da própria Anthropic, ligado à área de segurança, reagiu ao caso publicamente nas redes sociais com uma avaliação igualmente direta: "Nós realmente acreditamos que a IA pode matar todos os humanos. Eu, pessoalmente, acho que a chance disso é maior que 10% na próxima década." "Acho que a visão do autoaperfeiçoamento recursivo está assustando as pessoas", diz Nate Soares, pesquisador do MIRI (Machine Intelligence Research Institute) e coautor do livro "If Anyone Builds It, Everyone Dies" ("Se Alguém Construir Isso, Todo Mundo Morre", sem tradução no Brasil), que defende que uma IA superinteligente levaria à extinção humana. "Está começando a parecer real." Nenhum laboratório de fronteira afirma ter alcançado, hoje, um ciclo totalmente autônomo de autoaperfeiçoamento: a ideia segue teórica. Mas ela já é suficiente para movimentar startups apostando fichas nesse cenário e para gerar alertas de grandes empresas sobre desfechos indesejados, na linha do conto "O Aprendiz de Feiticeiro". O problema do alinhamento Soares, um dos pioneiros do chamado alinhamento, o campo técnico que tenta garantir que sistemas de IA sigam valores humanos, afirma que também está cada vez mais evidente que não existe forma prática de garantir que a tecnologia vá se comportar como esperado. Segundo ele, boa parte dos pesquisadores da área imaginava que o alinhamento ficaria mais fácil à medida que os modelos se tornassem mais inteligentes. Está acontecendo o oposto, e o campo tem convivido cada vez mais com esse desconforto. Daniel Kokotajlo, autor do projeto "AI 2027", que reúne cenários sobre os riscos do avanço acelerado da IA, também vê no autoaperfeiçoamento recursivo o principal motor da onda recente de alertas. A técnica frequentemente envolve o uso de milhares de agentes de IA colaborando simultaneamente em um mesmo problema, o que torna o processo ainda mais complexo de supervisionar. Para muitos desses pesquisadores, os incentivos das grandes empresas de IA não estão alinhados com resultados seguros, especialmente com OpenAI e Anthropic caminhando para suas respectivas aberturas de capital. Em julho, 1.178 funcionários de empresas como OpenAI, Anthropic, Google e Meta assinaram uma carta aberta batizada de "Pacing the Frontier" (algo como "regulando o ritmo da fronteira"), pedindo a criação de mecanismos que permitam desacelerar coordenadamente o desenvolvimento de IA avançada caso os riscos aumentem. As próprias empresas, incluindo Anthropic e OpenAI, endossaram publicamente a proposta pouco depois de sua publicação. Cenários de risco e vozes discordantes Quantificar o risco real de continuar avançando com a IA é uma tarefa difícil. Questionado sobre como, concretamente, uma IA avançada poderia representar uma ameaça à espécie humana, Soares aponta alguns cenários possíveis, da manipulação de pessoas para provocar uma catástrofe até o controle de sistemas automatizados de armamento. Um dos exemplos mais citados envolve uma IA conectada a um laboratório de biologia. Segundo Soares, mesmo que humanos tentassem desligar esse sistema, ele poderia responder que já teria criado seu próprio "interruptor de segurança", como um vírus perigoso liberado como forma de garantia. A própria Anthropic informou nesta semana ter cortado o acesso de diversos pesquisadores externos à sua tecnologia por suspeitas de tentativas de uso ligadas a armas biológicas. A IA não precisa exterminar a humanidade para causar danos significativos. Especialistas já apontam para uma onda crescente de ataques cibernéticos turbinados por IA, o uso cada vez mais amplo da tecnologia em campanhas de desinformação e a adoção acelerada de sistemas automatizados por forças militares ao redor do mundo. Nem todos os pesquisadores da área veem a extinção como um caminho inevitável. Jain, o ex-DeepMind, fundou recentemente a Sampura Research, dedicada a desenvolver técnicas de alinhamento que mantenham humanos no processo de decisão, mesmo que a IA assuma a maior parte do trabalho de avaliar se um comportamento é seguro ou não. Segundo ele, o mercado de investimento em segurança de IA vive hoje um momento de forte crescimento, com capital disponível para startups como a sua. "Você pode perguntar a uma IA se determinada tarefa é segura, e ela vai avaliar isso, mas achamos que combinar IA e humanos nessa avaliação vai gerar um resultado ainda melhor", diz Jain.

Evan Hubinger, um investigador que se demitiu de uma empresa norte-americana de Inteligência Artificial, diz que a IA pode matar todas as pessoas nos próximos anos. A revelação foi feita nas redes soc...

A saída de um pesquisador da Anthropic reacende o debate sobre autoaperfeiçoamento de IA, alinhamento, incidentes de segurança e o risco de perder o controle sobre sistemas superinteligentes.

Pesquisador estima probabilidade superior a 10% na próxima década e associa o risco ao avanço de sistemas capazes de autoaperfeiçoamento. O post Pesquisador da Anthropic vê risco de IA extinguir humanidade apareceu primeiro em TeleSíntese.

Entenda o que é a singularidade na IA, as principais definições do conceito e sua relação com AGI, superinteligência e autoaperfeiçoamento

Entenda o que é a singularidade na IA, as principais definições do conceito e sua relação com AGI, superinteligência e autoaperfeiçoamento

Um dos líderes do Google Brain inicia nova fase na IA com startup focada em autoaperfeiçoamento e descobertas científicas.

Um dos líderes do Google Brain inicia nova fase na IA com startup focada em autoaperfeiçoamento e descobertas científicas.