본 강연에서는 ETRI 미디어연구본부에서 수행 중인 미디어 관련 다양한 R&D 현황을 소개한다. 구체적으로, 초실감 입체공간 미디어 서비스를 위한 획득/생성, 압축/전송, 재현과 같은 미디어 처리 전 단계에 대한 기술 개발 현황과 향후 기술 로드맵에 대해 설명한다.
 

- 2000 ~ 현재: ETRI 미디어연구본부 책임연구원/본부장
- 한국방송미디어공학회 협동부회장, MPEG뉴미디어포럼 자문위원 활동 중

본 강연에서는 인간처럼 정보를 생성해내는 Generative AI 가 도래한 이후, 인간은 어떻게 배워나가야 하는지 교육 전반에 대한 내용을 소개한다. 커뮤니티형 교육의 효과와 다양한 자율 연구들의 사례들을 통해 커뮤니티 기반의 성장형 교육의 가능성을 보여준다. 또한 기존의 주입식 교육에서 성장형 교육으로 성공적인 변화를 이끌기 위한 4가지 진략을 제시한다.
 

- 2015.08 ~ 현재 모두의연구소 대표/연구소장
- 2020.08 ~ 현재 AI 학교 아이펠 설립
- 2024.05 ~ 현재 과실연 AI 미래포럼 공동의장단 대표
- 2024.08 ~ 현재 카카오 임팩트 재단 이사

본 강연에서는 Industrial Application에 적용되는 AI 기술의 관점에서, On-device AI부터 Cloud에서 동작하는 Multimodal Foundation Model 기반의 AI Co-pilot 연구까지, 삼성전자 SAIT에서 진행중인 AI 연구 현황을 소개한다. Computer Vision 분야에서는, 일반 사용자와 접점이 많은 모바일 카메라에서 화질을 극대화 하기 위한 On-device AI Computer Vision 기술을 소개하면서, AI 영상 처리 기술만이 아닌, 연구 개발 과정에서 AI 영상-언어 모델이 어떻게 접목되는지 설명한다. 그리고, 이를 확장하여, 반도체 분야 연구 개발 과정에서는, LLM/MMFM 기술을 이용하여 어떻게 AI Co-pilot Solution을 확보할 수 있는지에 대해 설명하면서, Industrial R&D 에서 보다 폭넓고 Impact 있게 활용될 수 있는 AI R&D Challenge Issue에 대해 설명하도록 한다.
 

- 2002~2007, KAIST 전자전산학과 Ph.D./Post-Doc Researcher.
- 2008 ~ 현재, 삼성전자 SAIT Senior/Principal 연구원
- 2023 ~ 현재, 삼성전자 SAIT, Research Master
- 2016 ~ 2017 Visiting Researcher, IBM Research Almaden/San Jost, CA
- 2017 Award of Excellence, 공학한림원, 2025 대한민국 100대 유망 기술과 주역 선정

인간이 명시적인 지도 없이 여러 감각을 통해 세상을 이해할 수 있는 것처럼, 오디오와 비디오 모달리티의 자연스러운 동시 발생을 활용한 자기 지도 학습 기법을 소개한다. 라벨이 없는 오디오와 비디오 데이터를 사용하여 오디오 및 음성 임베딩을 학습하며, 이를 음성 인식, 화자 인식 등의 음성 관련 작업과 소리 검색 및 위치 추적 등에 활용할 수 있다.
 

- 2018.03 ~ 2021.10 네이버 클로바 음성인식팀
- 2021.11 ~ 2024.08 한국과학기술원 전기및전자공학부 조교수
- 2024.09 ~ 현재 한국과학기술원 전기및전자공학부 부교수

In this lecture, we introduce transfer learning techniques that improve performance in tasks where existing labels are insufficient. Specifically, we propose a method to supplement the lack of existing labels using a Large Language Model, aiming to improve the performance of recognition models. This lecture will cover transfer learning in the tasks of Composed Image Retrieval and Scene Graph Generation.
 

Experience ;
- 2024.09 ~ 현재 고려대학교 인공지능학과 조교수
- 2023.07 ~ 2024.08 MIT-IBM Watson AI Lab Research Scientist
Education ;
Ph.D. Boston University, Computer Science
M.S. University of Southern California
B.S. 서강대학교 컴퓨터공학과

본 강연에서는 10초 내외로 촬영된 짧은 phone scan과 같이 특수 장비 없이 casual하게 촬영된 비디오로부터 body, hand, 그리고 face의 animation이 가능한 3D human avatar를 만드는 기법들을 소개한다. 이를 위해 surface mesh와 3D Gaussian 등 다양한 representation으로 인간의 geometry와 appearance를 modeling한다. 또한, 짧은 phone scan에서 노출되지 않은 인간의 부분을 어떻게 효과적으로 regularize하여 새로운 pose로 animation을 할 때 artifacts를 줄일 수 있는지에 대해서 탐구한다. 마지막으로 single human image로부터 움직이는 인간의 비디오를 생성하는 최근 generative AI기법들과의 비교를 통해 앞으로 이 연구 분야가 나아가야 할 방향을 탐구한다.
 

- 2022.06 ~ 2024.03 Reality Labs Research at Meta, Postdoctoral Research Scientist
- 2024.04 ~ 현재 대구경북과학기술원 전기전자컴퓨터공학과 조교수

Training segmentation models for visual recognition tasks often requires large amounts of labeled data, which can be both labor-intensive and costly to obtain. However, this need for extensive labeling can be reduced by utilizing segmentation-friendly features. This talk will introduce recent unsupervised strategies for learning such features, focusing on algorithms that mine semantically coherent image features and learn embedding functions to bring these features closer in the feature space. Additionally, other approaches to addressing data scarcity in segmentation will be discussed, including few-shot learning and methods based on vision foundation models.
 

- 2015.12 ~ 2017.02 한국전자통신연구원 연구원
- 2017.03 ~ 현재 성균관대학교 소프트웨어학과 부교수

Fourier phase retrieval is one of the representative inverse problems where a signal needs to be recovered using only the measured magnitude of its Fourier transform. Recently, diffusion models have been used to solve Fourier phase retrieval problems. They offer realistic reconstruction results, but due to the nature of generative models, they often create non-existent features in the actual images. To address these issues, we introduced a novel algorithm inspired by the variational diffusion sampling for reconstructing the images from the measurements. In particular, the optimization problem in PhaseCut is interpreted as an additional constraint during the variational sampling process to estimate the phase from the given Fourier magnitude measurement. Therefore, the proposed method utilizes the pre-trained diffusion models as image priors and the PhaseCut optimization as the regularization for accurate phase reconstruction with performance guarantees. Our experiments show that the proposed algorithm provides state-of-the-art performance with high-resolution images. We further demonstrated the effectiveness of the proposed PhaseCut regularization for the performance gain in the phase estimation.
 

- Assistant Professor, Dept. of Electrical Engineering, Sookmyung Women's University, Sep. 2022 – Current
- Staff Researcher, Computer Vision Lab, Samsung Advanced Institute of Technology (SAIT),
   Mar. 2021 – Aug. 2022
- Ph.D., Dept. of Bio and Brain Engineering, KAIST, Mar. 2017 – Feb. 2021
- M.S., Dept. of Bio and Brain Engineering, KAIST, Mar. 2015 – Feb. 2017
- B.S., Dept. of Bio and Brain Engineering, KAIST, Feb. 2010 – Feb. 2015

Humans perceive the world through multiple sensory systems (ex., vision, audition, touch, smell), which work together complementing each other and therefore it is rather natural to build a model processing multiple modalities simultaneously. Based on this understanding of multimodal data, AI systems should communicate with human users through language, which is the main medium for human communication. In this talk, I will introduce a few recent research works related to multimodal conversational AI, which advance multimodal understanding capability and ability of making grounded conversation.
 

- 고려대학교 컴퓨터학과 조교수 (2023- )
- Google Research - Research Scientist (2020-2023)
- POSTECH 컴퓨터공학 박사 (2020)
- POSTECH 컴퓨터공학 석사 (2013)

최근에 방대한 데이터로 학습된 파운데이션 모델로 인하여, AI의 발전으로 다양한 분야에서 많은 획기적인 성과가 이루어지고 있다. 이러한 뛰어난 성과에도 불구하고, 현재의 AI 모델은 여전히 몇 가지 결점이 있다. 예를 들어, 데이터에 대한 과도한 의존성, 수동적인 학습, 과도한 예측 자신감, 개인정보 유출 등 여러 문제점들이 존재하며, 이는 AI 모델의 효율성, 적용 가능성, 신뢰성을 저해한다. 이러한 문제들을 극복하고 AGI로 한 걸음 더 나아가기 위해, 이번 발표에서는 AGI를 위한 데이터 효율적이고, 적응적이고, 강건하며 신뢰할 수 있는 학습 알고리즘 개발에 대하여 설명한다.
 

- 2010.09 ~ 2015.06 University of Toronto Engineering Science 학사
- 2015.09 ~ 2022.02 서울대학교 전기정보공학 박사
- 2022.03 ~ 현재 한양대학교 데이터사이언스학부, 인공지능학과 조교수

본 강연에서는 자율주행 시스템에 주로 사용되는 센서인 라이다(LiDAR) 센서에 대한 인공신경망 모델의 센서 편향 문제를 지적하고, 이를 해결하기 위한 데이터 증강 기법을 소개한다. 또한, 자율주행 실현을 위한 데이터 중심 AI의 중요성과 향후 유망한 연구 주제에 대해 소개한다.
 

- 한양대학교 미래자동차공학과, 조교수 (2023-)
- 42dot 외부기술자문 (2022-2023)
- Carnegie Mellon University, 박사후연구원 (2021-2023)
- Tesla, 선임 기계학습 과학자 (2019-2021)
- KAIST 전기및전자공학부 박사 (2019)
- KAIST 전기및전자공학부 석사 (2014)

본 강연에서는 사람 재식별(Person Re-identification)을 위한 표현자 분리 기술과 이를 활용한 외형 변화에 강인한 사람 표현자 추출 방법에 대해 논의한다. 사람 재식별 기술은 서로 다른 두 카메라에서 찍힌 사람 이미지를 보고 같은 사람이 촬영된 이미지인지 여부를 판단하는 기술을 말한다. 이 기술은 감시 시스템, 행동 분석, 운동 경기 분석 등 다양한 분야에 널리 사용 되는 핵심 기술이다. 정확한 사람 재식별을 어렵게 하는 주된 요소로는 사람의 자세 변화 또는 밝기, 배경, 크기 변화 등에 따른 찾고자 하는 사람의 급격한 외형 변화 문제 등이 있다. 본 강연에서는 이러한 외형 변화 문제에 강인하도록 사람 표현자를 추출하는 방법에 관한 본 연구자의 연구 결과들을 소개한다.
 

- 2012.03 ~ 2017.02 연세대학교 전기전자공학과 학사
- 2017.03 ~ 2023.02 연세대학교 전기전자공학과 박사
- 2023.04 ~ 2023.08 삼성전자 종합기술원 (SAIT) 책임연구원
- 2023.09 ~ 현재 중앙대학교 첨단영상대학원 조교수

Visual Question Answering (VQA) is an important task within the field of Vision-and-Language. As a multi-modal task, VQA holds its importance in research and scientific fields where it can be used to measure an AI model’s visual image and natural language understanding or aiding in diagnosing deep learning models. Beyond that, VQA holds its importance in the economic and social realm as it can aid the situationally and visually impaired. However, even with the current advances of deep learning, deployable VQA models are uncommon. In this talk, we explore the issues of VQA in the perspective of robustness in the face of the limits of the real-world applicability of VQA and study the task of VQA.
 

- 2023.09 ~ 2024.02 카이스트 연수연구원
- 2024.03 ~ 현재 세종대학교 인공지능데이터사이언스학과 조교수