A Cisco anunciou no feriado de 1º de maio, uma nova ferramenta de código aberto para ajudar organizações a enfrentar riscos de segurança, conformidade e responsabilidade legal associados ao uso de modelos de IA de terceiros. O Model Provenance Kit, disponível no repositório oficial, gera uma “impressão digital” de cada modelo e pode operar em dois modos: comparação direta entre dois modelos ou varredura para encontrar a linhagem mais próxima em um banco de dados da Cisco.
Riscos regulatórios e de cadeia de suprimentos
Segundo a Cisco, empresas frequentemente utilizam modelos obtidos de repositórios como o HuggingFace, mas não rastreiam as alterações feitas neles. A empresa destacou que declarações dos desenvolvedores sobre a origem, vulnerabilidades e vieses de treinamento raramente são verificadas. Conforme explicou a Cisco, se não forem monitoradas, essas vulnerabilidades podem se propagar para chatbots internos, aplicações autônomas ou ferramentas voltadas ao cliente.
A empresa afirmou ainda sem a procedência adequada, as organizações não conseguem rastrear um incidente até sua causa raiz nem determinar quais outros modelos em sua pilha foram afetados. Isso também dificulta a resposta e a remediação em caso de incidente com um modelo de IA, além de gerar riscos de licenciamento e de integridade da cadeia de suprimentos.
Como funciona a ferramenta
O kit, baseado em Python e com interface de linha de comando (CLI), gera a impressão digital a partir de sinais de metadados, similaridade do tokenizador e sinais de identidade em nível de peso (como geometria de incorporação, camadas de normalização, perfis de energia e comparações diretas de pesos). A Cisco também publicou um conjunto de dados com impressões digitais de modelos de base no Hugging Face, conforme detalhou o anúncio.
A empresa declarou que, como os modelos são continuamente ajustados, destilados, mesclados e reembalados, responder à pergunta “qual é a origem deste modelo?” exige abordagens mais refinadas. A empresa considera o lançamento do kit um passo em direção a uma abordagem baseada em evidências para a proveniência de modelos.
FONTE: CISO ADVISOR
