1. Overview

1. 테스트 배경

(a) 배경

Video to 3D 결과물 중 실패 케이스가 많았다. 사용자들이 촬영 가이드를 잘 따르지 않았기 때문이라는 가정을 했다. 전용 촬영앱을 만들면 실시간으로 가이드를 노출시키기 쉬워진다. 그래서 일반 동영상 촬영보다 촬영앱으로 찍으면 결과물이 더 안정적으로 잘 나올 수 있다는 것을 실험을 통해 증명하고자 했다.

(b) 테스트 진행 목적

 [일반 동영상 촬영 VS 촬영 전용앱]

촬영 가이드가 사용자들에게 얼마나 잘 전달 되는지를 비교한다. 이어서 그 결과물에 어떤 유의미한 영향을 미치는지 최종 평가한다. 그리하여 촬영앱을 지속적으로 개발하는 것이 타당한지를 입증한다.

(c) 목표

어떻게하면 사용자가 촬영 가이드를 잘 따라서 좋은 결과물까지 만들어낼 수 있는지 방법을 모색한다.

2. 진행 방법

테스트 기간 : 2023.05.09 ~ 2023.05.31

1) 촬영앱 테스트 참여자 집계

테스트 기간 동안 촬영앱을 사용한 전체 사용자 수 : 360명

2) 결과물 비교 대상 선정 방식

촬영앱과 일반 동영상 촬영 결과물들 중 일부를 60개씩 랜덤으로 선정했다.

실제 사용자들이 생성한 모델 결과 데이터들 중 총 120개의 샘플을 무작위로 선별하여 비교 평가를 진행했습니다.

3) 결과물 비교를 위한 절대 평가 기준

1. 모델링 최종 결과물 퀄리티 평가

2. 촬영 가이드 수행 평가 (촬영 조건 및 환경 충족 여부)

4) Survey 데이터 추가 수집

참여자 대비 후기 제출 비율 29.4%

(응답자 수 15명)

2. Test Results

모델 퀄리티 평가 기준

⭕️ 정상 기준 : 19점 만점 중 6점 이상

❌ 비정상 기준 : 결과물이 세부 평가가 불가능할 정도로 망가져서 나온 경우 ‘비정상’ 처리 (5점 이하)

평가 담당 : 3D Contents Team

⭕️ 앱 촬영 best (16/19점)

⭕️ 일반 촬영 best (18/19점)

❌ 앱 촬영 worse (5/19)

❌ 일반 촬영 worse (5/19)

---

Overall Analysis

1. 어떤 촬영이 더 정상으로 많이 나왔나

앱 (78.3%) > 일반 (56.7%)

촬영앱 결과물이 ‘정상'으로 나올 확률이 높다.

정상/비정상 결과 비교

통계 방법 : 합계 / 만점 기준 : 60개

---

Overall Analysis

2-1. 촬영 조건을 잘 지켰는가

촬영 전에 미리 숙지해야 하는 조건이 크게 2가지 있다.

1) 환경 : 주변 환경이 촬영에 도움이 되는가
2) 소재 : 촬영하고자 하는 사물의 소재가 적합한가

촬영앱 60건,일반촬영 60건으로 선별한 파일 촬영 원본을 분석했다. 위 두 조건을 얼마나 잘 충족시켰는지 각각 적합(1점)/비적합(0점) 으로 평가했다.

앱 ≥ 일반

둘 다 촬영에 적합한 환경/소재 조건을 평균 이상 충족시켰다

조건별 점수 : 적합 1점, 부적합 0점

촬영 조건 충족 비교

통계 방법 : 평균 / 만점 기준 : 9점

Summary

앱/일반 촬영 모두 촬영 가이드 전달 방식에 큰 이상이 없다.

‘'촬영 조건 충족 점수' 차이가 근소하게 나왔다. 촬영 전에 미리 숙지해야 하는 ‘촬영 조건(환경/소재)에 관한 가이드' 내용 전달에는 큰 이상이 없다고 간주할 수 있다. 하지만 가이드를 얼마나 잘 따르는지 ‘수행력' 차이는 사용자마다 다를 수 있다. 개인 성향, 이용 목적, 촬영 당시 상황 등에 따라서 크고 작은 영향을 받을 가능성이 있다는 것을 염두에 둬야 한다.

---

In-depth Analysis

2-2. ‘촬영 환경 및 소재 조건’을 얼마나 잘 지켰는지가 [정상/비정상] 결과에 영향을 미쳤을까?

촬영앱과 일반촬영 결과물을 랜덤으로 샘플링해서 정상/비정상 결과를 분리했다. 모든 촬영 과정을 분석해 촬영 조건 충족 여부로 점수를 매겼다. 어떤 촬영 방식이 쉽게 영향을 받는지 비교 평가했다.

일반 촬영 시 ‘촬영 조건'을 잘 지키지 않으면 결과물이 비정상으로 많이 나왔다.

앱 촬영 (21.7%) < 일반 촬영 (43.3%)

정상 결과

정상 결과물 : 앱(30건) / 일반(30건)

비정상 결과

비정상 결과물 : 앱(13건) / 일반(26건)

통계 방법 : 평균 / 만점 기준 : 9개

촬영 앱

앱 촬영 시 촬영 조건을 충족하는 점수가 8.3점으로 높아도 ‘비정상 결과’가 21.7% 확률로 나온다.

반면에, 앱 촬영 비정상 결과물의 개수가 총 13건으로 일반 촬영 비정상 결과물 26건 보다 1/2 적게 나왔다. 이를 통해 촬영 조건을 잘 충족시키면 촬영앱 결과물에 긍정적인 영향을 미칠 수도 있다는 것을 유추해볼 수 있다.

일반

일반 촬영 시 조건 충족 점수가 상대적으로 낮은 편이다. 하지만 이는 정상/비정상 결과에 의미있는 차이를 만들지는 못했다. 반면에 비정상 결과물이 나올 확률은 촬영앱(21.7%)보다 일반 촬영(43.3%)이 2배로 높게 측정된다. 일반 촬영이 촬영 조건 충족 여부에 가장 영향을 잘 받는다고 볼 수 있다.

Summary

일반 촬영 결과는 촬영 조건을 무시할수록 나빠지기 쉽다.

앱은 조건 충족을 잘 해도 비정상으로 나오기도 한다. 실패에 다른 원인이 있을 수 있다.
반면에 일반 촬영은 조건 충족을 잘 못하면 비정상으로 나올 확률이 높다.

---

Overall Analysis

3. ‘일반 촬영’ 가이드 수행 평가

일반 촬영을 할 때 문제 행동이 무엇이었는지 분석해보았다. 촬영 방법을 5가지로 세분화했다. 이 중 잘못된 방법으로 촬영한 케이스를 선정해 비교 분석해보았다.

*일반 촬영에만 요구되는 지침은 ‘(1) 3회전 촬영’ 이다. 나머지는 촬영앱과 동일하다.

1) 회전 : 물체를 중심으로 다른 각도에서 ‘3회전 촬영’한다.
2) 속도 : 천천히 속도를 유지하며 물체의 사방을 촬영한다.
3) 초점 : 촬영 중 대상에 초점을 유지시킨다.
4) 구도 : 물체의 기본 축을 파악할 수 있게 구도를 안정적으로 잡는다.
5) 거리 : 회전 이동 중 일정 거리를 유지한다.

⚠️ 앱 촬영과 일반 촬영의 다른 점

1. 회전 촬영

   • 일반 촬영 : 3회전 촬영이 필수이지만 이를 따르지 않아도 촬영을 임의로 종료할 수 있다.

   • 앱 촬영 : 화면에 실시간으로 안내되는 ‘가상의 점들을 지우는’ 미션을 완수하면 촬영이 완료된다.

2. 움직임 제어

   • 일반 촬영 : 사용자가 촬영 가이드를 잘 지켜서 촬영했다는 전제 하에 모델링을 돌리게 된다.

   • 앱 촬영 : 속도, 거리, 구도를 올바르게 잡지 않으면 촬영을 끝까지 완료할 수 없다.

3회전 촬영을 제대로 수행하지 않은 건수(70%)가 가장 많았다.

촬영 지침 미준수

통계 방법 : 합계 / 만점 기준 : 60점

Summary

올바른 ‘회전 촬영’ 유도를 위해 촬영 앱이 필요하다.

샘플링된 결과물 각각 60건 중 비정상은 촬영앱 13건, 일반촬영 26건 이었다. 일반 촬영 시 ‘3회전 촬영’을 제대로 수행하지 않은 경우가 가장 많았다. 일반촬영 결과 비정상이 앱보다 2배 더 많이 나온 원인으로 가장 유력하다.

---

Overall Analysis

4-1. 촬영 중 움직임이 적합한가

위 행동 가이드 5가지 중 촬영앱과 일반 영상촬영 모두 비교 평가가 가능한 조건
3가지를 선별해 비교해보았다.

1) 이동 편차 : 롤 앞/뒤로 이동의 편차가 큰 경우
2) 초점 : 원본의 1/5 이상 초점이 나가거나 모션 블러가 발생했는가
3) 구도 : 제품이 화면 밖으로 나가는가

올바른 방식으로 움직이며 촬영했는지 점수 비교

앱 < 일반

움직임 수행 세부 평가

통계 방법 : 합계 / 만점 기준 : 60건

촬영 움직임 조건 충족 점수 총 합계 : 앱(68점) < 일반(99점)

Summary

-촬영앱이 이동 편차, 초점 컨트롤을 제대로 도와주지 못했다. 하지만 정상 결과물이 나올 확률은 앱(78.3%)이 일반 촬영(56.7%)보다 더 높게 나왔다. 촬영앱은 생각보다 움직임에 민감하지 않을 수도 있다.

- 촬영앱 비정상 결과물이 21.7%로 적지 않게 나왔었다. 촬영앱이 이동 편차, 초점 컨트롤을 제대로 도와주지 못한게 원인일 수도 있다.

- 일반 촬영 시 이동 편차, 초점 컨트롤에 관한 조건 충족 점수가 앱 보다 2배 더 높게 나왔지만 비정상 결과가 더 많다. ‘촬영 중 움직임' 보다 ‘촬영 환경’이 비정상 결과에 유의미한 영향을 미쳤을 수 있다.

---

In-depth Analysis

4-2. 이동 편차/초점/구도의 영향을 잘 받는 것

촬영 움직임 수행 조건이 ‘모델링 결과’에 영향을 주었을지 세부적으로 비교 평가해보았다.

앱 > 일반

앱 촬영

일반 촬영

(정상 모델 47개 중 30건 선별)

(정상 모델 34개 중 30건 선별)

통계 방법 : 합계 / 만점 기준 : 60건

앱 촬영

• 앱의 비정상 결과(13건) 중 촬영 움직임 조건을 충족시킨 점수는 합계 6점 (만점 39점)이다.

• 앱에서 비정상 결과물로 평가된 총 13건 중 이동 편차와 초점이 각각 12건 씩 잘못되었다.
  → 앱에서 이동편차와 초점을 개선하면 성공률(78.3%)을 더 높일 가능성이 있다.

일반 촬영

• 총 180점 만점 기준으로 전체 촬영 움직임 조건 수행은 앱(68점)보다 일반 촬영(99점)이 평균 이상으로 잘 지켜졌다. 하지만 비정상 모델 개수가 앱(13건)에 비해 일반 촬영(26건)이 2배 더 많았다.
  일반 촬영에서 3개 움직임 조건을 잘 충족 시켜도 실패할 확률이 높다.

Summary

이동 편차, 초점에 더 민감하게 반응하는 것은 일반 촬영이다.

1) 촬영앱은 이동 편차, 초점 컨트롤을 잘 도와주지 못했다.

- 앱 촬영에 비정상 결과물이 21.7% 확률로 나온 것에 영향을 미쳤을 수도 있다.

2) 일반 촬영 시 이동 편차, 초점 컨트롤 점수가 앱 보다 2배 높게 나왔다.

-일반 촬영 후 비정상 결과가 더 많이 나왔다. 이는 ‘촬영 움직임 조건’ 보다 ‘촬영 환경 조건’이 더 유의미한 영향을 미쳤음을 알 수 있다.

---

In-depth Analysis

5. ‘정상’ 모델 퀄리티 세부 평가

정상적으로 결과물이 나온 모델들만 따로 분류해 퀄리티 세부 평가를 진행해보았다.

퀄리티 : 앱 ≥ 일반

통계 방법 : 합계,평균 / 만점 기준 : 570점

Summary

정상으로 나온 모델 퀄리티는 차이가 거의 없다.

세부 평가 항목으로 점수를 매겨 퀄리티를 비교해도 차이가 근소했다. 이는 촬영 방식에 따라 모델링 결과 ‘정상/비정상’ 확률에 주로 영향을 미친다는 것을 알 수 있다.

3. Insight

1. 촬영앱에서 ‘이동 편차, 초점’을 개선하면 성공률이 높아질 것이다.

정상 결과 확률

촬영 움직임 비교

촬영앱에서 실패한 결과물은 대부분 ‘이동 편차, 초점, 구도'를 충족시키지 못했다. 특히 성공/실패 여부를 떠나 ‘이동 편차, 초점’ 컨트롤이 가장 부족했다. 

반면에 ‘정상' 결과가 나올 확률이 78.3%로 일반 촬영 56.7%보다 더 안정적으로 잘 나왔다. 촬영앱에서 ‘이동 편차, 초점’을 개선시키면 실패한21.7% 확률을 줄일 수 있을 것이다.

---

2. 앱 사용자의 ‘움직임’ 개선이 필요하다

촬영 환경/소재 충족 점수

앱 촬영 시 움직임 평가 합산 비교

결과에 영향을 미치는 요인 : 촬영 환경 및 소재 조건 < 촬영 움직임 조건

환경적 요인 보단 가이드대로 촬영하는 사용자의 ‘행동’을 개선해야한다.

---

3. 일반 촬영 시 3회전 촬영 조건을 충족시키지 못해서 비정상 결과가 상대적으로 많이 나왔을 확률이 높다.

촬영 조건 충족 비교

---

4. 앱으로 촬영한다고 아웃풋 퀄리티가 좋아지지는 않지만, 결과물이 ‘정상’으로 나올 확률이 높다.

'정상' 퀄리티 비교

'정상'이 나올 확률