본고에서는 스마트 공장 및 제조 분야의 안전성과 보안성을 기반으로, 

산업제어시스템 보안과 관련한 최근 국제 표준화 동향을 살펴보고, 

이를 토대로 한 사이버 보안 인증 흐름과 현장 적용 사례 및 실증 결과 

그리고 시사점을 중점적으로 살펴본다.

 

3. 스마트 제조와 사이버 보안

1) AI 자율제조와 사이버 보안

AI 자율제조와 사이버 보안은 다음과 같다.

① AI 자율제조(Autonomous manufacturing)

•AI 자율제조는 AI 기술을 활용하여 제조 현장 내 로봇·기계·시스템이 작업자의 최소한의 개입 하에 자율적으로 협업하며 생산을 수행하는 미래형 첨단 제조 기술을 의미

•자율제조에서는 AI 기술의 적용을 위한 제조 데이터의 연계 및 활용이 핵심

•관련된 기술 요소들 : 제조 AI, 스마트 설비 관리, 지능형 공정 제어, 디지털 트윈 등

•AI 자율제조의 핵심 기술 요소

 - 생산의 주체가 되는 로봇·기계·시스템이 현재 제조 상황을 인지하고 판단 후 적절한 동작(제어)을 할 수 있도록 AI 기술을 활용하는 것이며, 이를 위해서는 온디바이스(On-Device) AI와 같이 생산을 수행하는 다양한 기계·장비 등에 AI 내재화를 통한 사고 능력의 부여가 핵심

 - 제조 현장 내 전체 제조 상황을 인지하고, 로봇·기계·시스템이 자율적으로 판단·제어할 수 있도록 지원하는 제조 데이터의 수집·관리 및 연계 기술로, 생산 목표 달성을 위해 적절한 공정 운영 계획을 수립하고 제조 기능을 구성·재구성하는 것을 관리하는 기술도 필요

 - 로봇·기계·시스템이 효율적으로 생산활동을 수행할 수 있도록 지원하기 위한 데이터·AI 기반의 제조 지원 기술로, AI를 활용한 품질 검사, 설비 예지보전(Predictive Maintenance), 지능형 설계 지원 기술 등 제조 공정 및 전 과정의 지능화를 지원하는 기술을 포함

② AI 자율제조(Autonomous Manufacturing) 보안 

  [참고] Critical AI Security Guidelines v1.2 (SANS_Draft), 2025.7.1.

•제조 AI 보안 기술은 최근 급부상하고 있음에도 별도로 체계화된 기술이 부족한 상황이다. 

이에 따라 최근 대두되고 있는 AI 보안 기술을 활용하는 것이 필요

•SANS와 OWASP에서 공동으로 2025년 7월 1일 발간한(실행 가능한) 권고 사항 중심으로 개발된 AI 보안 가이드 초안 활용 

 ※SANS(SysAdmin Audit Network Security) : 1989년 협력 연구 및 교육 기관으로 설립된 사이버 보안 교육 및 자격증 제공 기관 

 ※OWASP(Open Worldwide Application Security Project) : 소프트웨어 보안 강화를 위해 노력하는 비영리 재단으로 코드, 문서, 표준을 포함한 커뮤니티 주도의 오픈소스 프로젝트

•여러 SANS 전문가와 업계 전문가들이 생성형 AI의 핵심 범주를 심층적으로 분석해 6가지 유형을 중심으로 소개하고 있다.

a. 접근 제어(Access Controls)

 - 효과적인 접근 제어는 AI 모델, 관련 인프라 그리고 무엇보다 중요한 데이터 보호의 핵심

 - 무단 접근 및 모델 변조를 방지하기 위해 강력한 인증, 권한 부여 및 모니터링 메커니즘 구현 필수

 - 최소 권한 원칙 및 책임성을 갖춘 강력한 접근 제어

 - 저장 중인 모델 파일 암호화, 런타임 난독화, 신뢰할 수 있는 실행 환경(TEE, Trusted Execution Environments) 사용

 - 읽기 및 쓰기 작업 모두에 대해 최소 권한 접근 모델 시행

 - 안전한 업로드 파이프라인, 변경 사항에 대한 로깅 및 감사, 무단 수정을 탐지하기 위한 검증 메커니즘 구현

 - 추가 참조 : OWASP AI’s resource on runtime model theft,https://owaspai.org/goto/runtimemodeltheft/

b. 데이터 보호(Data Protection)

 - 훈련 데이터 보호는 AI 모델의 무결성과 신뢰성을 유지하는 데 매우 중요

 - 적절한 보호 장치가 없으면 공격자가 훈련 데이터를 조작하여 취약점 유발

 - 민감한 데이터를 보호하고, 무단 수정을 방지하며, 데이터 사용에 대한 엄격한 거버넌스 시행

c. 배포 전략(Deployment Strategies)

 - AI 시스템을 안전하게 배포하고, 개발 환경 내 보안 통제를 통합

 - 대규모 언어 모델(LLM)을 로컬에 호스팅하면 데이터에 대한 통제력을 높일 수 있지만, 효과적인 운영 및 관리를 위해 충분한 처리 능력이 필요하다는 단점

 - 로컬 호스팅 모델은 최첨단 모델에 비해 추론 성능이 떨어질 수 있음

 - AI 워크로드가 주요 클라우드 서비스 제공업체에서 운영 중이라면, 해당 업체의 LLM 호스팅 서비스를 활용

 - AI 솔루션을 어디에, 어떻게 호스팅할지 고려할 때는 계약서에 법적 요구사항을 신중히 검토하고 명시

 - 로컬 전용 LLM 통합 기능이 제공될 경우, 위험 노출을 완화하기 위해 로컬 전용 LLM 통합 기능을 갖춘 IDE 검토

 - 특히 행위자형 AI 시스템에서 범위가 적절히 설정되지 않은 함수 호출 사용에 세심한 주의와 핵심 함수에 대한 접근을 제한하고 사용을 모니터링

 - 개발자들은 사용 사례에 지나치게 집중하는 경향이 있으며, 위협 모델링과 악용 사례 분석에는 특히 취약

 - 가져온 모든 모델이나 사내 모델을 사용할 때, 구축된 모든 솔루션을 수동으로 레드팀 테스트 수행

 - 추가 참조 : OWASP’s AI Supply Chain guidance, part of their larger AI Exchange, https://owaspai.org/goto/supplychainmanage/

d. 추론 보안(Inference Security)

 - 적대적 조작 및 무단 상호작용으로부터 모델을 보호하는 데 중점

 - 모델이 예상대로 동작하고 유해하거나 오해의 소지가 있는 출력을 생성하지 않도록 보장하기 위한 가드레일 구현, 입출력 검증 및 이상 탐지 수행

 - 가드레일은 모델이 특정 주제에 어떻게 응답하거나 응답을 피해야 하는지 지시하는 규칙으로, 프롬프트나 응답에서 명시적 값을 검색하여 수동으로 생성하거나 LLM 호스팅 제공업체가 내장

 - AI가 절대 공개하거나 수행해서는 안 되는 정보나 행동이 있다면 모델이 해당 정보에 접근하지 못하도록 하고, 그러한 행동으로 이어질 수 있는 권한을 부여하지 않는 것이 현명한 방법

 - 프롬프트 주입은 가장 흔한 대규모 언어 모델(LLM) 애플리케이션 공격 경로로, 다층적 보호 및 탐지 접근법 필요

 - 모든 프롬프트는 추론 전에 사전 처리되어야 하며, 모든 모델 출력은 응답 전에 사후 처리

 - 질문-응답 강화(RAG)를 사용하는 경우, 프롬프트가 보강된 후 추가적인 LLM 입력 필터링 및 검증 수행

 - 입력 검증과 필터링이 중요하듯, 출력을 적절히 처리하고 평가하는 것 또한 중요

 - 다중 사용자 환경이나 프롬프트가 여러 출처에서 구성되는 애플리케이션에서는 입력 분리(Input segregation)가 매우 중요

 - 사용자가 제공한 입력을 시스템 생성 컨텍스트로부터 태깅하거나 격리함으로써, 조직은 간접적인 프롬프트 주입(Prompt injection) 위험 감소

 - LLM 애플리케이션은 허용 가능한 범위 내에서 최대한 제한된 기능 제공

 - 에이전트 설계 시에는 에이전트가 임무를 수행하기 위해 접근해야 하는 기능과 도구(코드 인터프리터, 웹 검색, 기타 외부 API 등)를 명시적으로 정의하고 제한

 - 에이전트에 여러 도구를 할당하는 것을 피하고 최소 권한 원칙을 적용

 - 다국어 및 다문자 모델이 새로운 취약점을 유발하고 공격 표면을 확대할 수 있다는 점이 입증되었음

 - 주요 언어와 다른 언어로 된 프롬프트를 활용할 때 다국어 탈옥(Jailbreak) 문제 발생 가능하고, 이는 탈옥을 유발하거나 취약한 대규모 언어 모델(LLM)을 의도적으로 공격하도록 지시하는 결과 초래

 - 인코딩된 프롬프트/응답 데이터는 보안, 안전성 및 정렬 조치들을 우회 가능

 - LLM 애플리케이션의 사용 사례 및 배포 환경에 따라 적절한 인증 및 접근 제어를 구현

 - 외부 노출 애플리케이션의 경우 프론트엔드가 LLM 백엔드에 인증해야 하므로, 이러한 호출에는 감사 및 접근 로그 기록 활성화

 - 내부 LLM 애플리케이션이나 민감한 데이터를 포함하는 애플리케이션은 인증 및 접근 제어를 적용하여 사용

 - 기업 환경에서는 기본적으로 감사 기능을 활성화

 - LLM 애플리케이션과 상호작용하고 모델이 추론을 수행할 수 있는 권한은 비즈니스 사용 사례에 따라 제한

 - 절대적으로 필요한 경우가 아닌 한 LLM API 또는 프론트엔드에 대한 인증되지 않거나 모니터링되지 않은 접근을 불허

 - 프롬프트 주입 방지 및 탐지 방법은 주로 입력 내용에 초점

 - 콘텐츠 검증, 모니터링 및 필터링은 상호작용 자체에 초점을 둔 사용 및 행동 모니터링으로 보완

 - LLM API 키는 애플리케이션에 키를 하드코딩하지 않는 등, 강력하고 안전한 소프트웨어 개발 정책 하에 적절히 관리

 - API 사용을 관찰하여 오용 여부를 확인하는 것은 매우 중요

e. 모니터링(Monitoring)

 - 효과적인 모니터링은 AI 보안을 지속적으로 유지하는 데 필수적

 - AI 모델과 시스템은 성능 저하, 적대적 공격, 무단 접근, 로깅, 이상 탐지, 드리프트 모니터링을 구현함으로써 AI 애플리케이션이 신뢰성을 유지하고 의도된 동작과 일치하도록 보장

f. 관리, 위험, 규정 준수(GRC, Governance Risk Compliance)

 - AI 관련 위험을 완화하기 위한 필수 거버넌스 구조, 업계 표준 및 법적 요구사항과 모범 사례 관리

 - AI 위험 관리, 모델 레지스트리, AI 부품 명세서(AIBOM), 규제 준수 사항의 중요성 논의

 - LLM 애플리케이션/모델을 정기적으로 테스트하고 조정

 - 해당 애플리케이션이 사용하는 기반 모델은 정기적으로 테스트하여 애플리케이션의 정렬 상태를 확인하고, 예상 및 원하는대로 동작하는지 보장

 - 배포된 모델과 애플리케이션에 대한 정기적인 평가도 반드시 수행

 - 벡터 데이터베이스, API, 연결된 시스템을 포함한 AI 인프라에 대한 정기적인 침투 테스트 수행

 - AI 사용 정책을 수립하여 사용자가 안전하고 보안이 확보된 플랫폼을 이용할 수 있도록 안내하는 동시에 회사 데이터 보호

 - 소프트웨어 부품 목록(SBOM)을 모델로 삼아 AI BOM을 생성하고 유지·관리함으로써 데이터셋 및 모델 출처와 관련된 고려 사항을 포함한 AI 공급망의 주요 요소에 대한 가시성 증대

 - 모델 레지스트리는 개발부터 배포까지 ML 모델의 수명 주기를 추적하고 관리하는 중앙 집중식 저장소로, 보안 및 거버넌스 이점 제공

 - 레지스트리는 모델 버전, 종속성 및 훈련 데이터를 추적하여 완전한 추적성을 보장하고, 필요시 롤백을 가능하게 지원

 - 무단 수정 또는 배포를 방지하는 접근 제어

 - 시간 경과에 따른 성능 추적과 적대적 조작 감지를 위한 모니터링 및 드리프트 감지 기능을 포함

 - 재현성과 일관성을 보장하고, 모델이 올바른 구성과 종속성을 갖춘 상태로 배포되도록 함으로써 취약점을 유발할 수 있는 무단 변경을 방지

 - 모델 아티팩트 및 관련 메타데이터의 안전한 저장, 무단 저장을 방지

 - CI/CD 통합을 통해 모델 배포 과정에서 자동화된 점검 및 검증 수행

 - SANS AI Security Controls, NIST AI Risk Management Framework, MITRE ATLAS™, OWASP Top 10 for LLM과 같은 다른 AI/LLM 보안 프레임워크나 지침을 추적하고 준수하는 것이 유익

khhan@coresec.co.kr