1. 시스템 검증 (Validation) 이란 무엇인가?
FDA는 소프트웨어 검증(validation)을 다음과 같이 정의한다.
“소프트웨어 사양이 사용자의 요구 사항과 의도된 사양에 부합하고 소프트웨어를 통해 구현된 특정 요구 사항이 일관되게 충족 될 수 있다는 객관적인 증거의 검사 및 제공을 통한 확인”
– 소프트웨어 검증의 일반 원칙: 업계 및 DA 직원을 위한 최종 지침.
각 정의를 분석한 내용은 아래와 같다.
“검사를 통한 확인(Confirmation by examination”) – 정의된 사용자 요구와 의도된 용도가 있어야 한다. 사용자는 환자, 병원에 있는 사람, 실험실 기술자, QA 엔지니어, 제조 담당자가 될 수 있다. 소프트웨어를 검사하여 요구 사항에 정의된 대로 작동하지는 그리고 의도한 용도에 적합한지 확인한다.
“객관적인 증거 제공(Provision of objective evidence)” – 정의된 소프트웨어 요구 사항이 있어야 한다. 모든 검증 활동과 테스트 결과를 문서화해야 한다.
“사용자 요구 사항 및 용도(User needs and intended uses)” – 소프트웨어를 검사하여 사용자 요구 사항과 정의된 요구 사항을 충족하는지 확인한다. 여기에는 설계 검토, 코드 검토, 테스트 등이 포함될 수 있다. 사용자가 소프트웨어로 수행해야 하는 작업과 소프트웨어 사용 방법을 정의한다.
“소프트웨어를 통한 구현된 특정 요구 사항(Particular requirements implemented through software)” – 요구 사항이 단일 상황에서 만이 아니라 일관되게 충족될 수 있는지 확인한다. 여기에는 여러 데이터 세트의 스트레스 테스트, 여러 위치의 많은 사용자를 대상으로 한 성능 테스트, 여러 브라우저 또는 웹 앱으로 테스트, 여러 장치(및 모바일 앱)에서 테스트 등이 포함될 수 있다. 의도한 기능을 사용하기 위해 소프트웨어가 작동해야 하는 방법을 정의한다.
“일관되게 이행 됨(Consistently fulfilled)” – 이 확인에 대한 객관적인 증거가 있어야 한다(검사 용). 모든 검증 활동과 테스트 결과를 문서화한다. 시험은 소프트웨어가 예상되는 모든 상황에서 작동하는지 확인해야 한다.
2. 클래식 “V DIAGRAM”을 사용하여 컴퓨터 시스템 유효성(COMPUTER SYSTEM VALIDATION)를 수행하는 방법
고전적인 “V Diagram”은 GAMP Guides를 통해 ISPE와 같은 산업 조직에 의해 대중화되었다.
검증(Validation) 활동은 왼쪽 상단(Planning)에서 시작하여 V자형에서 System Build까지 진행한 다음 다시 오른쪽 상단으로 돌아가 Reporting에서 끝나는 다이어그램을 따른다. Planning부터 시작하여 각 부분을 살펴보자.
검증 계획(Validation Plan)
검증 계획은 검증할 항목과 사용할 접근 방식을 정의한다. 또한 가장 중요한 인수 기준과 함께 역할과 책임을 정의한다.
사용자 요구사항 사양서(User Requirements Specifications)
사용자 요구사항 사양은 소프트웨어에서 사용자에게 필요한 사항과 소프트웨어 사용 방법을 설명한다. 또한, 규정, 안전 요구사항, 운영 요구사항 등과 같은 중요한 제약 사항도 포함된다.
예를 들어, 다음은 실습 시스템에 필요할 수 있는 몇 가지 사용자 요구사항 목록이다.
- 시스템은 데이터 수집 방법/기술에 대한 데이터 관리자의 교육을 추적해야 한다.
- 시스템은 실험실에서 전달되는 데이터 샘플을 추적해야 한다.
- 시스템은 가용성 및 교육에 따라 데이터 샘플을 분석할 데이터 관리자를 자동으로 할당해야 한다.
- 시스템은 샘플 테스트 통과/실패 결과를 전자 시스템으로 보내야 한다.
- 시스템은 21 CFR Part 11을 준수해야 한다.
기능 사양서(Functional Specifications)
기능 사양 문서는 소프트웨어가 어떻게 작동하고 사용자 요구를 충적해야 하는지 설명한다. 문서에는 특정 화면 및 보고서가 어떻게 표시되어야 하는지에 대한 설명이나 캡처해야 하는 데이터가 포함될 수 있다.
기능 요구사항에는 규정 요구사항을 준수하는 방법과 함께 논리 및 계산도 포함될 수 있다. 예를 들어, 21 CFR Part 11 규정 준수 요구 사항은 암호 또는 감사 추적이 작동하는 방식을 자세히 설명할 수 있어야 한다.
설계 사양서(Design Specifications)
설계 사양 문서는 소프트웨어 또는 시스템의 모든 기술적 요소를 포함하는 문서이다. 여기에는 아래의 내용이 포함된다.
- 데이터베이스 디자인 – 파일 구조, 필드 정의, 데이터 흐름 다이어그램, 엔티티 관계 다이어그램.
- 로직/프로세스 설계 – 로직 및 계산을 위한 의사 코드.
- 보안 설계 – 바이러스 보호, 해커 보호.
- 인터페이스 디자인 – 한 시스템에서 다른 시스템으로 이동할 데이터 방법과 빈도, 실패 처리.
- 아키텍처 설계 – 필수 하드웨어, 운영 체제, 어플리케이션 버전, 미들웨어 등.
- 네트워크 요구사항
- 특정 주변 장치 – 스캐너, 프린터 등.
시스템 구축(System Build)
시스템 구축 단계에서는 소프트웨어를 개발하거나 구매한 다음 이전 사양 문서로 구성한다. 이 단계에는 단위 테스트 및 통합 테스트가 포함된다.
설치 적격성 테스트(Installation Qualification Tests)
설치 자격 테스트는 소프트웨어 또는 시스템이 설계 사양에 따라 설치 및 설정되었는지 확인한다. 일반적으로 소프트웨어는 테스트 또는 유효성 검사에서 처음 설치된다. 그러나, 제조와 같은 상황에서는 예외가 있을 수 있다.
운영 적격성 테스트(Operational Qualification Tests)
운영 적격성 테스트는 종종 기능 테스트 또는 시스템 테스트라고 한다. 운영 적격성 테스트는 기능 사양에 정의된 모든 기능이 작성되어야 하고 올바르게 작동하는지, 버그가 없는지 확인한다. 운영 적격성 테스트에는 설정(configuration)과 같이 설치 적격성 테스트 중에 테스트되지 않은 설계 요소가 지정된 대로 작동하는지 확인하는 것도 포함될 수 있다.
성능 적격성 테스트(Performance Qualification Tests)
성능 적격성 테스트는 소프트웨어가 사용자 요구사항을 충족하고 사용자 요구사항에 정의된 대로 의도한 용도에 적합함을 확인한다. 테스트는 사용 사례, SOP, 사용자 정의 시나리오 등을 따를 수 있다. 보고서 또는 스프레드 시트와 같은 간단한 소프트웨어의 경우 운영 적격성 및 성능 적격성 테스트는 간혹 결합하여 수행한다.
보고(Reporting)
검증 방법의 마지막 단계는 검증 요약 또는 시스템 인증이라고 하는 검증 보고서를 작성하는 것이다. 이 보고서는 검증 계획에 지정된 모든 활동이 완료되었음을 확인한다. 검증 보고서는 테스트 결과를 요약하고 모든 승인 기준이 충족되었으며, 소프트웨어를 배포할 준비가 되었는지 확인하는 단계이다.
3. 기타 컴퓨터 시스템 검증 용어
소프트웨어 확인 (Software Verification)
FDA 는 다음과 같이 명시한다.
“소프트웨어 확인(Verification)은 소프트웨어가 개발되는 동안 소프트웨어 및 지원 문서의 일관성, 완전성 및 정확성을 찾고 소프트웨어가 검증(validated)되었다는 후속 결론에 대한 지원을 제공한다.”
확인(Verification)은 검증 프로세스 내의 작업을 확인하고 검토한다. 여기에는 사양 검토 및 승인된(URS, FS, Design), 공식 설계 검토, 코드 연습, 테스트(IQ,OQ,PQ), 추적 매트릭스(FS 및 Design에서 처리된 모든 URS 확인, 테스트 된 모든 사양 확인), 검증 보고서(모든 검증 활동 완료, 수락 기준 충족 확인)가 포함된다.
적격성 (Qualification)
적격성(Qualification)은 IEEE에 의해 다음과 같이 정의된다.
소프트웨어가 지정된 요구사항을 충족함을 입증하기 위한 공식 테스트.
적격성(Qualification)은 URS, FS 또는 Design 문서의 요구사항에 대한 공식 테스트이다. 검증 프로세스의 IQ, OQ, PQ 단계에서 이러한 테스트를 수행한다.
4. 국제의약품규제조화위원회 임상 시험 관리기준 (ICH-GCP)
ICH E6 GCP 가이드라인은 1996년에 제정되어 현재까지 임상시험의 설계, 수행, 기록, 보고를 위한 윤리적이고 과학적인 국제 표준으로 사용되고 있습니다. 우리나라는 이를 고시화하여 2001년부터 시행하였으며, 2011년에는 의약품 등의 안전에 관한 규칙(총리령) [별표 4] 의약품 임상시험 관리기준(이하 “KGCP”라 한다.)으로 정하여 임상시험을 엄격히 관리하고 있습니다.
③ ICH E6(R2) 5.5.3(a) “ADDENDUM” – 내용 명확화
KGCP 8. 의뢰자
바. 자료의 처리
1) 임상시험자료를 전자적으로 처리하거나 원거리전산시스템을 이용하려는 의뢰자는 다음 사항을 준수하여야 한다.
가) 임상시험자료를 전자적으로 처리하기 위한 시스템 및 원거리전산시스템의 완전성, 정확성, 신뢰성 및 일관성이 의뢰자가 설정한 요구사항에 맞는지 확인하고, 해당 확인사항을 기록하여야 한다.
▷ 의뢰자는 해당 시스템의 사용 목적(Intended use of the system), 해당 시스템이 시험대상자의 보호 및 임상시험 결과의 신뢰성에 미치는 잠재적인 영향을 고려하여 위험요소 평가(risk assessment)를 실시하고 이를 근거로 해당 시스템의 밸리데이션(validation)을 수행하여야 한다.
④ ICH E6(R2) 5.5.3(b) “ADDENDUM” – 내용 명확화
KGCP 8. 의뢰자
바. 자료의 처리
1) 임상시험자료를 전자적으로 처리하거나 원거리전산시스템을 이용하려는 의뢰자는 다음 사항을 준수하여야 한다.
나) 임상시험 자료를 전자적으로 처리하기 위한 시스템 및 원거리전산 시스템의 사용방법 등을 의뢰자 표준작업지침서에 정하여야 한다.
▷ 표준작업지침서(SOPs)에는 시스템의 셋업(setup), 설치(installation) 및 사용(use)을 포함하여야 한다. 표준작업지침서는 시스템 밸리데이션(system validation), 기능 검사(functionality testing), 데이터 수집 및 처리(data collection and handling), 시스템 유지 관리(system maintenance), 시스템 보안 대책(system security measures), 변경관리(change control), 데이터 백업(data backup), 복구(recovery), 비상대책(contingency planning) 및 해체(decommissioning) 등의 내용이 포함되어야 한다. 컴퓨터화 시스템(computerized system) 사용과 관련하여 의뢰자, 시험자 및 기타 다른 외부 기관의 책임범위는 명확하여야 하며 사용자는 해당 시스템의 사용과 관련하여 적절한 교육을 받아야 한다.
⑤ ICH E6(R2) 5.5.3(a) “ADDENDUM” – 내용 명확화
KGCP 8. 의뢰자
바. 자료의 처리
▷ 데이터를 기술(description)하는 상황정보(context), 내용(content) 및 구조(structure)를 포함하여 데이터의 완전성(integrity)이 보증되어야 한다. 특히 소프트웨어 업그레이드(upgrade)나 데이터 이송(migration)과 같은 컴퓨터화 시스템(computerized system)의 변경(change) 시 중요하다.
1~3번의 내용은 검증(Validation)에 대한 개요 및 용어에 대한 정의를 설명하였으며, 4번의 내용은 국내 임상 시험관리기준에 대한 내용으로 구성하였다.
imtrial은 국내 임상시험관리기준에 명시된 내용을 충족시키기 위해서 연구소 내의 표준운영지침서(SOPs)를 개발하였다. 검증(Validation)에 대한 세부 절차 및 내용은 표준운영지침서를 지원하는 산출물(Supporting Documents)들로 구성되어 있다. 또한 21 CFR Part 11에서 직접 규정한 규제 요건을 만족할 뿐만 아니라, 임상데이터 표준화 및 분석을 위한 탁월한 서비스를 제공할 예정이다.
