2023 하계 Co-week - Generative AI/GAN

 

강연 이름 : 2023 하계 Co-week

날짜 : 2023년 7월 5일

강연 주제 : 빅데이터 기반 이미지 생성 AI 기술 'GAN'

강연자 : 강지우 숙명여자대학교 인공지능공학부 교수

1. 기계 학습
2. GAN의 개념
3. GAM의 활용
4. GAN의 기술 동향

---

1. 기계학습 (Machine Learning)

- 지도 학습 : 라벨 정보(=정답)가 존재하는 상황에서 직접적인 정답을 통해 학습하는 방법
- 비지도 학습 : 라벨 정보가 존재하지 않는 상황에서 경험을 통해 얻은 데이터를 기반으로 통계적으로 학습하는 방법
- 강화학습 : 라벨 정보가 존재하지 않는 상황에서 행동에 따른 '보상'을 기준으로 최대 보상을 받는 방법을 학습하는 방법

 

2. GAN의 개념

1) Generative model(생성 모델)

Generative model = '주어진 data set'의 확률분포와 근사한 'Model 생성 data set'의 확률분포를 찾는 것Generative modeling(생성적 모델링) = '주어진 data set'의 확률 분포 예측

 

- 데이터의 생성 메커니즘, 모집단의 확률 분포를 예측하여 > 해당 분포를 따르는 새로운 데이터를 생성한다.
- 확률 분포 예측을 통해 학습 데이터에는 없지만 학습 데이터의 분포를 따르는 새로운 데이터 표본을 생성한다.
- 확률 분포 값이 0 이라는 것 = 주어진 학습 data에서 찾기 힘든 데이터

 

 

 

2) GAN (Generative Adversial Network, 생성적 대립 네크워크)

비지도 학습 기반 생성 모델 / 생성자와 판별자의 상호학습

 

•  생성자 Generator

- 실제와 가능한 유사한 이미지를 생성하는 것을 학습한다.

- 판별자를 더 잘 속이는 방향으로, 즉 자신이 생성한 가짜 이미지에 대해 판별자의 출력이 1에 가깝게 만들어지도록 학습된다.

 

• 판별자 Discriminator

- 생성자가 만든 이미지를 fake(가짜), 실제 학습 data의 이미지를 real(진짜)로 두고, 주어진 이미지가 real인지 fake인지 판별하는 것을 학습한다.

- 판별자의 출력값은 주어진 이미지가 진짜일 확률(0~1)이다. 따라서 진짜 data에 대해 1에 가까운 값을 출력하도록, 가짜 data에 대해 0에 가까운 값을 출력하도록 학습된다.

- 학습 후 실제 활용에서는 생성자만 사용한다.

 

 

 

3. GAN의 활용

• 이미지 / 영상 합성 : 위치마다 필요한 이미지 labeling(라벨링)해주면 해당 label에 맞는 이미지로 합성해준다.
• 이미지 refiner : 컴퓨터가 생성한 이미지를 더 실제와 가깝게 만들어주는 프로그램. 확률 분포를 활용해 실제와 가까운 특성을 더 강화하는 방향으로 처리한다.
• 이미지 완성 : 이미지에서 보이는 않는 부분에 대해 확률 분포 기반의 확률적 특성을 활용해 이미지를 완성해준다.
• 이미지 특성 변환 (CycleGAN): 주어진 이미지를 다른 컨셉으로 변화 Ex.사진 스타일 변경 프로그램(image transfer), 주간 운전 영상 > 야간 운전 영상, 일반 갈색 말 영상 > 얼룩말 영상
• 영상 예측 : 주어진 영상에 대하여 다음 상황에 대한 화면을 예측

 

 

4. GAN 기술 동향

현재 GAN의 기술 산업은 NVIDIA의 주도로 시작되었다.

 

1) PGGAN (Progressive GAN)

- 사람의 얼굴 이미지 생성 모델

- 저해상도 네크워크 레이어를 하나씩 추가하는 방식으로 높은 해상도의 모델로 점진적으로 학습한다.

 

2) StyleGAN, 2019

- PGGAN의 문제점 : 어떤 잠재변수로 인해 변화했는지 추적하는 것이 어렵다.

- PGGAN에 비해 잠재변수의 변화를 조절할 수 있게 되었다. 주어진 Latent 코드에 대해 각 GAN 층에 따라 사람의 스타일(얼굴 위치, 머리카락, 눈, 코, 입, 자세, 색상 조합 등)을 조절할 수 있다.

 

 

3) 이후 발전

- StyleGAN2, 2020 : 기존 기술 정교화

- StyleGAN3, 2021 : 움직여도 더 자연스러운 모델로 정교화

- 3D-aware GAN, 2022 : 3차원 이미지 생성 모델

- Editable StyleGAN, 2022 : 편집이 쉬운 이미지로 생성