A IA cria um dilema para as empresas: se ainda não a implementar, poderá perder ganhos de produtividade e outros benefícios potenciais; Mas se você fizer isso errado, poderá expor sua empresa e seus clientes a riscos absolutos. É aqui que entra uma nova onda de startups de “segurança de IA”, com a premissa de que estas ameaças, como o jailbreak e a injeção rápida, não podem ser ignoradas.
Como uma startup israelense QUALQUER e concorrentes baseados nos EUA. camada oculta e Proteja a IASpin-off da universidade britânica guarda mental é um desses. “IA ainda é software, então todos os riscos cibernéticos dos quais você provavelmente já ouviu falar também se aplicam à IA”, disse seu CEO e CTO, Professor Peter Garraghan (foto acima). Mas “se olharmos para a natureza opaca e o comportamento intrinsecamente aleatório das redes e sistemas neurais”, acrescentou, isto também justifica uma nova abordagem.
No caso do Mindgard, essa abordagem consiste em testes dinâmicos de segurança de aplicativos para IA (DAST-AI), visando vulnerabilidades que só podem ser detectadas em tempo de execução. Isso envolve red teaming contínuo e automatizado, uma forma de simular ataques com base na biblioteca de ameaças da Mindgard. Por exemplo, você pode testar a robustez dos classificadores de imagens. contra insumos adversos.
Nessa frente e além, a tecnologia da Mindgard baseia-se na experiência de Garraghan como professor e pesquisador focado na segurança da IA. O campo está evoluindo rapidamente: o ChatGPT não existia quando ele entrou, mas ele sentiu que a PNL e os modelos de imagem poderiam enfrentar novas ameaças, disse ele ao TechCrunch.
Desde então, o que parecia ser uma visão do futuro se tornou realidade dentro de um setor em rápido crescimento, mas os LLMs continuam a mudar, assim como as ameaças. Garraghan acredita que seus vínculos atuais com a Lancaster University podem ajudar a empresa a se manter atualizada: Mindgard será automaticamente proprietária da propriedade intelectual do trabalho de 18 pesquisadores adicionais com doutorado nos próximos anos. “Não há nenhuma empresa no mundo que consiga um acordo como este.”
Embora tenha ligações com a pesquisa, Mindgard já é em grande parte um produto comercial e, mais precisamente, uma plataforma SaaS, com o cofundador Steve Street no comando como COO e CRO. (Um dos primeiros cofundadores, Neeraj Suri, que participou da pesquisa, não está mais na empresa.)
As empresas são clientes naturais da Mindgard, assim como os tradicionais red teamers e pen testers, mas a empresa também trabalha com startups de IA que precisam mostrar a seus clientes que evitam riscos de IA, disse Garraghan.
Como muitos desses potenciais clientes estão sediados nos EUA, a empresa adicionou um toque americano à sua tabela de capitalização. Depois de levantar um Rodada de sementes de £ 3 milhões Em 2023, a Mindgard está anunciando agora uma nova rodada de US$ 8 milhões liderada pela .406 Ventures, com sede em Boston, com a participação da Atlantic Bridge, WillowTree Investments e dos investidores existentes IQ Capital e Lakestar.
O financiamento ajudará a “construir a equipe, o desenvolvimento de produtos, a pesquisa e o desenvolvimento e tudo o mais que você esperaria de uma startup”, mas também se expandirá para os EUA. Seu recentemente nomeado vice-presidente de marketing, ex-CMO da Next DLP, Fergal Glynn, está baseado em Boston. No entanto, a empresa também planeja manter P&D e engenharia em Londres.
Com uma equipe de 15 pessoas, a equipe da Mindgard é relativamente pequena e continuará assim, com planos de crescer para entre 20 e 25 pessoas até o final do próximo ano. Isso ocorre porque a segurança da IA “ainda nem está no auge”. Mas quando a IA começar a ser implantada em todos os lugares e as ameaças à segurança seguirem o exemplo, a Mindgard estará pronta. Garraghan diz: “Criamos esta empresa para fazer um bem positivo para o mundo, e o bem positivo aqui é que as pessoas podem confiar e usar a IA com segurança”.
