본문 바로가기
NanumSpace

신뢰와 규제

임상시험 AI의 신뢰를
설계로 만들어 갑니다

나눔스페이스의 AI는 초안을 빠르게 만들지만 판단과 책임을 대신하지 않습니다. 산출물의 책임은 AI 사용 여부와 관계없이 승인한 담당자와 회사에 있으며, AI는 승인 주체가 되지 않습니다.

설계 원칙

규제 원칙을 Agent 설계에 담는 방식

나눔스페이스는 FDA·EMA Good AI Practice와 ICH E6(R3)가 공통으로 요구하는 방향을 기준으로 삼았습니다.

FDA·EMA Good AI Practice승인

사람 중심의 책임

모든 Agent에는 사람이 승인하는 지점이 있습니다. AI는 승인 주체가 아니며, 책임은 승인한 담당자와 회사에 있습니다.

ICH E6(R3)

위험 기반 품질관리

나눔스페이스는 사람이 결과를 확인할 수 있는 업무만 자동화합니다. 시험대상자 자료 처리, 결과 해석, DB Lock은 처음부터 자동화 대상에서 제외했습니다.

FDA·EMA Good AI Practice

데이터 거버넌스

AI에는 업무에 필요한 발췌본만 입력하고, 시험대상자 자료와 눈가림 정보, 실제 결과는 입력하지 않습니다. 원자료 접근은 자동 차단 장치로 막고, 기밀 자료는 사내 LLM 환경에서 분리해 처리합니다.

ICH E6(R3) · GCP

데이터 무결성과 추적성

추적변경과 회차별 결정 기록, 프로그램 머리말의 작성자·입력·출력 정보, AI 인용문의 원문 대조 결과를 남겨 모든 판단의 근거를 추적할 수 있습니다.

통계 프로그래밍 관행

독립적인 검증

서로를 볼 수 없도록 분리된 두 Agent가 Spec을 따로 작성하고, 실데이터 이중 프로그래밍은 사내 담당자 2인이 수행합니다.

FDA·EMA · PHUSE WP-124

수명주기와 변경관리

모델 버전을 고정하고, 모델을 교체할 때는 같은 입력의 회귀 세트로 다시 확인하는 절차를 마련해 가고 있습니다. 검증의 대상은 모델이 아니라 업무 흐름입니다.

데이터 보호

시험대상자 데이터는 안전하게 지킵니다

나눔스페이스는 AI에 입력하는 자료의 범위를 분명하게 정해 두었습니다.

넣는 것

  • Protocol 발췌본 (시험 설계, 방문 일정, 평가 항목)
  • Blank CRF
  • Data Dictionary
  • SAP 중 분석과 관련된 부분
  • TFL Shell

넣지 않는 것

  • 시험대상자 자료 (가명정보 포함)
  • 눈가림과 무작위배정 정보
  • 실제 분석 결과
  • 의뢰자명과 시험약 코드
원자료 접근은 자동 차단 장치로 막는 코드 생성 전용 구조를 Listing에 먼저 적용했고, 현재 Table과 Figure로 넓히고 있습니다. Medical Coding은 EDC에 입력된 용어를 다루므로 입력 범위를 별도로 관리합니다.

통제 체계

AI의 판단에만 기대지 않는 세 겹의 통제

나눔스페이스는 지침으로 AI가 따를 기준을 정하고, 판정은 스크립트에 맡기며, 넘지 말아야 할 선은 자동 차단 장치로 막습니다.

01

지침과 템플릿

AI가 읽고 따르는 기준입니다. 과제별, 설계별, 공통 기본의 순서로 적용되어 과제의 특성을 존중하면서 일관성을 지킵니다.

02

정해진 스크립트

대조와 판정은 정해진 스크립트가 처리합니다. 확정된 Spec과 규칙, 템플릿 버전이 같으면 항상 같은 코드가 만들어집니다.

03

자동 차단 장치

AI의 판단과 무관하게 자동으로 작동합니다. 독립 점검 Agent를 서로 격리하고, 원자료 접근과 승인 없는 템플릿 수정을 막습니다. 개발 용어로는 Hook이라고 부릅니다.

용어의 구분

AI의 점검과 사람의 QC를 구분합니다

나눔스페이스는 점검, QC, 검증이라는 세 용어를 나누어 사용합니다. 용어를 구분하면 사람의 QC가 사라지지 않으며, 검증의 대상은 모델이 아니라 모델을 둘러싼 업무 흐름이 됩니다.

점검
Agent

Agent가 스스로 결과를 확인합니다.

QC
검토자

검토자가 산출물을 직접 확인합니다.

검증
업무 흐름

도구와 업무 흐름이 의도대로 작동함을 입증합니다.

기록과 추적

모든 결정의 근거를 기록합니다

나눔스페이스는 누가 언제 무엇을 근거로 결정했는지 추적할 수 있도록 기록을 남깁니다.

  • 01SAP을 수정하면 Word 추적변경으로 기록합니다.
  • 02ADaM Spec의 결정과 변경 내용을 회차별로 기록합니다.
  • 03TFL 프로그램 머리말에 작성자, 작성일, 입력, 출력을 기재합니다.
  • 04AI가 인용한 문장이 원문에 실제로 있는지 자동으로 대조합니다.
  • 05Protocol이 바뀌면 변경 비교표를 만들고 바뀌지 않은 항목도 다시 확인합니다.

사내 LLM

기밀 자료는
사내 LLM으로 안전하게

나눔스페이스는 자료 등급에 따라 모델을 나누어 사용합니다. 공개 자료는 고성능 클라우드 모델로, 기밀 자료는 인터넷에 노출되지 않은 사내 서버의 LLM으로 처리합니다.

사내 LLM이 해결하는 것

  • 자료가 국외로 이전될 우려를 줄입니다.
  • 외부에서 학습에 쓰일 우려를 줄입니다.
  • 공급자의 정책이 바뀌어도 영향을 받지 않습니다.

여전히 필요한 관리

  • 업무 품질의 검증은 계속 필요합니다.
  • 변경관리의 책임은 회사에 있습니다.
  • 패치, 장애 대응, 백업을 직접 운영해야 합니다.
나눔스페이스는 모델 교체를 변경관리로 다룹니다. 같은 입력의 회귀 세트로 확인하고 모델 버전을 고정하며 정지 규칙을 다시 점검합니다. 사내 LLM은 기존 결과와 비교해 확인한 뒤 실제 업무에 적용했습니다.

규제 동향

최종 규정은 아직 확정되지 않았지만, 방향은 분명합니다

나눔스페이스는 국내외 가이드가 공통으로 제시하는 사람 중심, 위험 기반, 수명주기 관리의 원칙에 맞춰 운영합니다.

  1. 2025.01

    ICH E6(R3) GCP

    위험 기반 품질관리와 데이터 무결성을 강조합니다.

  2. 2025.01

    FDA AI 신뢰성 평가 가이던스 (초안)

    문서 초안 작성처럼 운영 효율을 위한 용도에서도 GCP와 데이터 무결성의 책임은 그대로입니다.

  3. 2025.11

    ICH M11 구조화 프로토콜

    Protocol 자동화가 앞으로 따라갈 표준입니다.

  4. 2026.01

    FDA·EMA Good AI Practice 10원칙

    사용 목적, 위험 기반 접근, 사람 중심, 데이터 거버넌스, 수명주기 관리를 제시합니다.

  5. 2026.09

    PHUSE WP-124

    검증의 대상은 모델이 아니라 모델을 둘러싼 업무 흐름이라고 설명합니다.

  6. 2026.12 예정

    식약처 「AI 활용 의약품 개발 시 고려사항」

    국내 가이드가 공개될 예정입니다.

현재

지금 지키고 있는 기준

  • 업무마다 AI를 적용할 범위를 분명하게 정의합니다.
  • 사람의 승인과 QC를 모든 산출물에 유지합니다.
  • 버전과 변경 이력을 빠짐없이 관리합니다.
  • 과제를 시작하기 전에 AI 적용 범위를 의뢰사와 협의합니다.

앞으로

앞으로 강화할 영역

  • 위험 등급에 따라 검증 절차를 체계화합니다.
  • AI와 사람의 업무 성과를 객관적으로 비교하는 체계를 갖춥니다.
  • 모델을 교체할 때의 재검증 절차를 정비합니다.

나눔스페이스는 지금의 기준을 지키면서 신뢰 체계를 더 단단하게 넓혀 가겠습니다.

더 신뢰할 수 있는 임상 데이터,
나눔스페이스와 함께 만듭니다

나눔스페이스는 과제를 시작하기 전에 어떤 업무에 AI를 쓰고 어떤 자료를 입력할지 의뢰사와 먼저 협의합니다.