표현 공간의 구조가
AI 보안을 결정한다.The structure of representation space
decides AI security.

인식 시스템은 "이 두 이미지가 얼마나 닮았나"를 점수로 돌려줍니다. 기존 공격은 대부분 모델의 gradient를 따라 픽셀을 조금씩 바꾸거나, 점수를 보고 다음 질문을 고르는 adaptive 방식으로 수만 번을 묻습니다. 우리 공격은 경사하강법을 전혀 쓰지 않습니다. 질문을 전부 미리 정해 두는 non-adaptive 방식으로, 사진 몇 장과 한 번의 일괄 질의만으로 점수의 구조에서 곧바로 대상의 얼굴을 복원하거나, 노이즈 없는 자연스러운 사칭 이미지를 만들어 냅니다. Amazon Rekognition, Tencent 같은 상용 API에서도 성공했습니다. A recognizer returns a score for "how similar are these two images?". Most prior attacks either follow the model's gradient, nudging pixels step by step, or are adaptive: tens of thousands of queries, each chosen after seeing the last score. Our attacks use no gradient descent at all. They are non-adaptive, fixing every query up front, and with a handful of images and a single batch query they reconstruct a target's face straight from the structure of the scores, or generate a perturbation-free impersonation image. They succeed against commercial APIs such as Amazon Rekognition and Tencent.

핵심은 표현 공간의 구조입니다. 구면 위에는 identity와 관련된 속성이 변하는 저차원 방향들이 있고, 이 구조를 알면 gradient 없이도 놀랄 만큼 적은 정보로 충분합니다. 같은 틀은 얼굴을 넘어 화자 인식, 손바닥 인식, 금융 본인확인 시스템으로 확장되고, 생체 템플릿 보호 기법 자체를 되돌리는 안전성 분석(BMVC 2023)으로도 이어집니다. The key is the structure of the representation space: low-dimensional directions along which identity varies. Once that structure is known, surprisingly little information suffices, and no gradients are needed. The same framework carries over to speaker recognition, palmprints, and the identity-verification stacks used in finance, and to reversing biometric template protection schemes themselves (BMVC 2023).

비밀번호는 정확히 일치하지만 생체 정보는 잴 때마다 조금씩 다릅니다. 생체 인증의 장점은 사용자가 비밀을 들고 다니지 않아도 된다는 것이므로, 비밀키 없이 오차가 있는 데이터를 인증하면서 원본을 숨겨야 합니다. 표준 암호학이 바로 적용되지 않는 이유입니다. Passwords match exactly; biometrics differ on every measurement. The whole point of a biometric is that the user carries no secret, so we must authenticate noisy data without a secret key while keeping the source private. Standard cryptography does not apply directly.

1:1 verification에서는 실수 오류정정부호와 해시를 결합해 매칭은 되지만 되돌릴 수는 없는 템플릿을 만듭니다(IronMask, SilverMask). 1:N identification에서는 서버가 긴 비밀키를 가질 수 있으므로 동형암호를 씁니다. 문제는 속도인데, IDFace는 효율적 인코딩과 거의 등거리인 변환으로 수백만 명 규모의 암호화 검색을 실용 범위로 끌어왔습니다. 그리고 "어떤 변환이 정말 되돌릴 수 없는가"를 따지는 분석(TDSC 2025)이 두 방향을 가로지릅니다. 동형암호와 격자 기반 암호는 정수론과 대수학 위에 서 있어서, 이 갈래에서는 수학이 가장 직접적으로 쓰입니다. For 1:1 verification we combine real-valued error-correcting codes with hashing to get templates that match but cannot be inverted (IronMask, SilverMask). For 1:N identification the server may hold a long-lived key, so homomorphic encryption becomes viable; IDFace makes million-scale encrypted search practical via an efficient encoding and an almost-isometric transform. Cutting across both is the question of which transforms are actually irreversible (TDSC 2025). Homomorphic and lattice-based cryptography rest on number theory and algebra, so this is where the math is used most directly.

오늘의 공격을 막는 모델은 내일의 공격에 무너질 수 있습니다. Certified robustness는 이 군비 경쟁을 비켜갑니다. "반지름 r 안의 어떤 섭동도 판단을 뒤집을 수 없다"를 수학적으로 보장합니다. 그런데 표준 도구인 randomized smoothing은 분류 문제를 가정하고, 인식은 분류가 아니라 거리 공간 위의 문제입니다. 우리는 이 간극을 분석하고 인식 문제에 맞는 보증 방법을 만듭니다. A model that resists today's attacks may fall to tomorrow's. Certified robustness sidesteps the arms race with a guarantee: no perturbation within radius r can flip the decision. But the standard tool, randomized smoothing, assumes classification, and recognition lives on a metric space. We analyze the gap and build certification that fits the recognition setting.

CLIP과 그 위에 지어진 vision-language 모델, 그리고 딥페이크 탐지기는 인식기와 같은 표현 공간 구조를 씁니다. 그래서 같은 약점을 물려받습니다. 우리는 픽셀 하나 건드리지 않고 프롬프트만 바꿔 이미지를 다듬어 탐지기의 결정 경계를 넘기는 방법을 보였고, 이제 그 반대편, 즉 이런 최악의 데이터를 학습에 써서 더 튼튼한 탐지기를 만드는 닫힌 고리를 만들고 있습니다. CLIP, the vision-language models built on it, and deepfake detectors share the recognizer's representation structure, and inherit its weaknesses. We showed that prompt-only refinement, without touching a pixel, drifts images across a detector's decision boundary. Now we work the other side: use such worst-case data to train detectors that are demonstrably harder to fool.

AI는 얼굴도, 문서도, 질문도 전부 고차원 벡터로 바꾸고 cosine similarity로 비교합니다. 그래서 "원본을 드러내지 않고 두 벡터가 얼마나 닮았는지 계산하기"라는 하나의 원시 연산이 놀랄 만큼 많은 문제를 덮습니다. 암호화된 생체 매칭, RAG를 위한 privacy-preserving retrieval, 두 기관이 서로의 데이터를 공개하지 않고 겹치는 항목만 찾는 fuzzy private set intersection이 모두 여기에 속합니다. AI turns faces, documents, and questions alike into high-dimensional vectors and compares them by cosine similarity. So a single primitive, "compute how similar two vectors are without revealing either", covers a surprising range of problems: encrypted biometric matching, privacy-preserving retrieval for RAG, and fuzzy private set intersection, where two parties find their overlapping items without disclosing their data.

우리는 이 연산을 동형암호와 다자간 계산으로 실용적인 속도에 올리는 방법을 연구합니다. 벡터가 오차를 품고 있어 정확한 일치가 아니라 "충분히 가까움"을 판정해야 한다는 점이 고전적인 암호 프로토콜과 다른 지점이고, 정수론과 격자 위의 암호가 여기서 도구가 됩니다. 후속 연구가 진행 중입니다. We work on making that primitive fast enough to deploy, using homomorphic encryption and multi-party computation. What sets it apart from classical protocols is that the vectors carry noise, so the question is "close enough?" rather than exact equality; number theory and lattice-based cryptography are the tools. Follow-up work is in progress.