Além do Desempenho: Um Estudo da Confiabilidade de Detectores de Deepfakes

2025-09-01

Anais do XXV Simpósio Brasileiro de Cibersegurança (SBSeg 2025)

AI Summary

This work addresses the limitations of current deepfake detection methods, which predominantly rely on classification accuracy while neglecting a comprehensive assessment of reliability. To bridge this gap, the study proposes the first multidimensional evaluation framework that systematically assesses state-of-the-art detectors across four critical dimensions: transferability, robustness, interpretability, and computational efficiency. Through extensive cross-dataset transfer experiments, adversarial perturbation tests, interpretability analyses, and efficiency benchmarks, the authors reveal both significant advances and key shortcomings in the reliability of existing approaches. By moving beyond the conventional single-metric evaluation paradigm, this framework not only provides a more holistic understanding of detector performance but also establishes a new direction for future research in trustworthy deepfake detection.

Technology Category

• Computer Vision: Adversarial Attacks & Robustness
• Machine Learning: Transfer, Domain Adaptation, Multi-Task Learning
• Natural Language Processing: Fact-Checking / Misinformation Detection (NLP Focus)

Application Category

• Search and Retrieval-Augmented AI: Web evaluation methodologies and metrics
• Web Mining and Content Analysis: Web data provenance, reliability, and authenticity
• Security and Privacy: Large-scale security measurements

Abstract

Deepfakes são mídias sintéticas geradas por inteligência artificial, com aplicações positivas na educação e na criatividade, mas também com impactos negativos graves, como fraudes, desinformação e violações de privacidade. Apesar dos avanços em técnicas de detecção, ainda há escassez de métodos de avaliação abrangentes que considerem aspectos além do desempenho em classificação. Este trabalho propõe um framework de avaliação da confiabilidade baseado em quatro pilares: transferibilidade, robustez, interpretabilidade e eficiência computacional. A análise de cinco métodos do estado da arte revelou avanços significativos, mas também limitações críticas.

Problem

• deepfakes
• reliability
• evaluation
• detection
• trustworthiness

Innovation

• reliability assessment
• deepfake detection
• transferability
• robustness
• interpretability