진짜 돈 내고, 가짜 모델 쓰기: 중국 토큰 팔이의 진실

공식 API는 비싸고, 결제가 번거롭고, 중국/러시아/이란 같은 지역에서는 접근 자체가 막혀 있습니다. 이 틈을 파고든 것이 바로 Shadow API — OpenAI, Google, DeepSeek 같은 공식 모델을 "대신 연결해준다"고 광고하는 제3자 서비스입니다.  CISPA 연구진은 이걸 그냥 "위험할 수도 있다"는 추정으로 끝내지 않고, 17개 Shadow API, 187편의 논문, 24개 endpoint를 직접 감사(audit)한 최초의 체계적 연구를 내놓았습니다.

 

핵심 수치만 먼저 보면 아래와 같습니다: 

• 187편 중 116편(62.03%)이 ACL, CVPR, ICLR 같은 피어리뷰 학회/저널에 게재됨
• 가장 인기 있는 Shadow API 프로젝트는 5,966회 인용, 58,639개 GitHub 스타
• 17개 중 15개(88.2%)가 법인 등록도, 신원 확인도 안 되는 개인 운영
• 24개 endpoint 중 45.83%가 fingerprint 검증에서 "다른 모델"로 판정

---

세 가지 연구 질문(RQ)으로 본 구조

논문은 깔끔하게 세 갈래로 나뉩니다.

(대충 중국 비하 하는 글)

 

RQ1 (실태 조사) :  Shadow API가 얼마나 퍼져 있나. 저자 소속 기관의 82% 이상이 중국에 있다는 지리적 분포는, 이 문제가 "공식 API 접근이 막힌 지역의 연구자들이 만들어낸 생태계"임을 보여줍니다. 흥미로운 건 이 중 상당수 가 OneAPI/NewAPI라는 오픈소스 게이트웨이 툴 위에 구축되어 있다는 점입니다. 즉 기술적 진입장벽 자체가 낮아서, 누구든 이런 서비스를 차릴 수 있는 구조입니다.

짝퉁시장에서 팔았으면 대충 'b급 api' 라고 했을탠데..

 

RQ2 (성능 일관성) : 여기서 그림이 드러납니다.

• MedQA(USMLE): Gemini-2.5-flash가 공식 83.82% → Shadow API 평균 36.95% (성능 격차 46.51~47.21%p)
• LegalBench: 전 Shadow API가 공식 대비 40.10~42.73%p 뒤처짐
• AIME 2025 (추론 벤치마크): Shadow API A는 Gemini-2.5-pro에서 40.00%p, DeepSeek-Reasoner에서 38.89%p 하락 , 즉 "추론형 모델일수록 더 크게 무너진다"는 패턴이 뚜렷합니다.

반면 Shadow API E는 평균 divergence 2.64%로 꽤 준수했고, 일부 endpoint(GPT-5-mini on GPQA)는 공식보다 1.18% 더 높은 정확도를 보이기도 했습니다. 즉 "모든 Shadow API가 다 사기"는 아니고, "어떤 게 진짜인지 사전에 알 방법이 없다"는 게 진짜 문제라는 겁니다.

안전성 평가는 더 미묘합니다. Gemini-2.5-flash가 FlipAttack을 받을 때 공식 API는 harmfulness score 0.90인데 Shadow API들은 0.67~0.68로 더 안전해 보이는 반면, GPT-5-mini는 Base64 공격에서 Shadow API A가 공식(0.02)의 두 배(0.04)로 더 위험하게 답합니다. 방향성이 예측 불가능하다는 것 자체가 연구 목적에서는 치명적입니다 — 안전성 논문의 결론이 순전히 "어느 Shadow API를 우연히 썼는가"에 좌우될 수 있다는 뜻이니까요.

 

RQ3 (모델 검증) : LLMmap fingerprinting과 MET(Model Equality Testing) 두 가지 독립적 방법을 썼고, 두 방법의 일치율은 74.1%(Cohen's κ=0.512)로 "중간~상당한" 수준의 합치를 보였습니다. 구체적 기만 사례들이 인상적입니다:

GPT-5 → GLM-4-9B 또는 DeepSeek-V3처럼 응답
GPT-4o-mini → Qwen2.5-7B처럼 응답
DeepSeek-Reasoner(추론 모드) → 실제로는 non-reasoning DeepSeek-Chat처럼 작동

다만 예외도 있습니다. Gemini-2.5-pro는 모든 Shadow API에서 cosine distance가 17.37~18.04로 일관되게 안정적이었고, MET에서도 거의 모든 provider에서 귀무가설을 기각하지 못했습니다(즉 진짜였을 가능성이 높음). 반면 흥미롭게도 Gemini-2.5-flash는 fingerprint는 통과하는데 정확도는 47%나 무너지는 모순적 사례로 나타났습니다 — "신원은 진짜인데 행동은 가짜"인 셈이죠. 저자들은 이걸 추론 파라미터 오설정이나 context 자르기, 프롬프트 전처리 같은 요인일 가능성으로 추정합니다.

돈 문제: 세 가지 기만 메커니즘

논문이 특히 흥미로운 지점은 이걸 경제적 인센티브로 정량화했다는 겁니다. Shadow API가 돈을 버는 방식은 크게 세 가지로 나뉩니다.

1. 정보 프리미엄 : 싼 모델을 비싼 이름으로 팝니다. API A는 Gemini-2.0-flash라고 광고하면서 실제로는 Gemini-2.5-flash를 공식가의 7.1~7.25배에 팝니다.
2. 할인형 대체 : 정가를 받으면서 뒤로는 싼 모델을 줍니다. API A는 GPT-5를 정가에 팔았지만, fingerprint 검사 결과 실제로는 GLM-4-9B가 응답하고 있었습니다.
3. 리셀 마크업 : 소폭의 웃돈을 얹으면서도 은근슬쩍 모델을 바꿔치기합니다. API H는 GPT-5를 공식가의 1.09배에 팔았는데, 이 경우에도 모델 대체가 확인됐습니다.

정리하면: 세 방식 모두 결국 "이름값은 받으면서 실체는 다르게 준다"는 같은 구조입니다. 차이는 가격을 어느 방향으로 왜곡하느냐일 뿐입니다.

검증 방법 자체의 신뢰성

한 가지 짚고 넘어갈 점이 있습니다. 이 논문은 자신들이 쓴 탐지 방법론(LLMmap, MET) 자체도 그냥 믿고 쓴 게 아니라, ground truth를 아는 통제된 실험으로 따로 검증했습니다. 즉 "이 backend는 진짜다 / 이 backend는 몰래 바꿔치기했다"를 미리 알고 있는 샘플을 만들어서, 탐지 방법이 그걸 얼마나 잘 맞히는지 테스트한 겁니다.

 

결과는 다음과 같습니다.

 

방법	정확도	특징
LLMmap	96.0%	모델 정체성을 직접 식별
MET	88.3%	출력 분포의 통계적 이탈을 감지

 

MET의 FNR(false negative rate)이 18.67%로 상대적으로 높게 나왔는데, 이건 성능이 나쁘다기보다 두 방법의 역할이 다르기 때문입니다. LLMmap은 "정확히 어떤 모델인가"를 짚어내는 도구이고, MET은 "출력이 통계적으로 달라 보이는가"만 판단하는 도구입니다. 그래서 둘은 경쟁 관계가 아니라 서로 다른 각도에서 보완하는 관계로 봐야 합니다.

---

그래서 뭘 어떻게 하라는 건가

논문은 추상적인 경고로 끝내지 않고, 실무에 바로 적용할 수 있는 프로토콜 두 가지와 커뮤니티 차원의 제안을 함께 내놓습니다.

 

감사자용 4단계 검증 파이프라인

1. LLMmap으로 24개 이상 프로브 실행
2. MET 검증 (500개 이상 샘플, α=0.05)
3. 3회 이상 독립 실행으로 정확도 표준편차/지연시간 변동계수 확인
4. ICP 등록 및 법인 정보 검증

연구자용 사전등록 체크리스트

논문 실험 설정 섹션에 다음을 명시하도록 권고합니다.

• endpoint URL
• 사용 모델 버전
• 접속 날짜
• 가격 tier
• 여러 번 실행한 정확도
• fingerprint 결과
• MET p-value

커뮤니티 차원의 제안

• 학회 리뷰 가이드라인에 "미검증 제3자 API 사용"을 데이터셋 provenance 문제와 동급으로 취급
• 공식 제공자들은 지역 제한 완화, 학술 요금제, 경량 검증 endpoint 제공 등으로 Shadow API에 대한 수요 자체를 줄이기

---

한계

저자들 스스로도 다음과 같은 한계를 인정합니다.

• 시간적 제약: 관측 기간이 2025년 9~12월로 한정된 스냅샷입니다. Shadow API 시장은 업스트림 모델을 예고 없이 바꾸는 등 변동성이 크기 때문에, 지금의 결과가 영구적이라고 단정할 수는 없습니다.
• Ground truth 부재: 백엔드의 완전한 진실을 알 수 없기 때문에, 성능 지표 / 메타정보 / 기존 프레임워크(LLMmap, MET)에 의존할 수밖에 없었습니다.
• 대표성의 한계: 17개 provider는 인용 수와 GitHub 스타를 기준으로 수집된 것이라 전체 Shadow API 시장을 대표하지 않을 수 있고, 분석도 GPT/Gemini/DeepSeek 세 모델 패밀리에 한정됩니다.

---

정리

이 논문의 힘은 "뭔가 수상하다"는 정황 증거에서 그치지 않고, 성능 벤치마크/안전성 평가/fingerprinting/경제 분석이라는 네 가지 독립적인 증거를 교차검증했다는 데 있습니다.특히 Gemini-2.5-flash처럼 "fingerprint는 진짜인데 실제 성능은 무너지는" 사례를 발견한 건 중요한 시사점을 줍니다. 앞으로 이런 감사는 단순히 "이 모델이 맞나?"를 확인하는 걸 넘어서, "이 모델이 원래처럼 작동하고 있나?"까지 함께 봐야 한다는 뜻이니까요. 

 

싼 모델들이 사기 일수도 있고, 아닐수도 있습니다.

 

다만 그걸 모르는 상태에서 논문이나 제품에 쓰는 게 진짜 문제라고 생각합니다.