본 강연에서는 안전하고 신뢰할 수 있는 자율 주행의 핵심인 시각 센싱 및 인지 기술을 소개합니다. 자율 주행을 위해 주변 환경을 이해할 수 있도록 돕는 카메라, 이벤트 카메라, 라이다(Lidar), 레이더(Radar)와 같은 시각 센서의 역할과, 시각 데이터를 통해 유의미한 정보를 추출하는 다양한 컴퓨터 비전 딥러닝 알고리즘을 소개합니다. 그리고 자율 주행에서 시각 인식의 도전 과제와 한계에 대해서도 논의할 것입니다.

 본 강의에서는 3D digital human avatar를 만드는 다양한 Computer Vision/AI 방법론에 대해 소개할 예정입니다. 특히 최근 많은 발전을 보였던 생성형 모델 (generative model)을 적용하여 3차원 사람의 외형 및 모션을 모델링하는 기술들에 대해 공부하고 그 가능성을 탐구해 볼 예정입니다.

 네트워크 캘리브레이션(Network calibration)은 딥러닝 모델이 출력하는 확률 값이 실제 사건이 발생할 확률과 잘 맞도록 조정하는 기술이다. 본 강연에서는 학습기반 방법과 후처리 기반 방법을 포함한 다양한 캘리브레이션 방법 및 최신 연구 동향을 소개한다.

 본 강연에서는 인간 시각 인지를 뛰어넘을 수 있는 최신 기술에 대해 다룹니다. 빛이 세상에 있는 물질과 어떻게 상호작용하는지, 그리고 카메라나 사람 눈으로 그러한 빛이 어떻게 촬영이 되는지와 그 한계는 무엇인지, 촬영된 빛의 정보를 어떻게 해석해서 다시 세상의 정보를 추론할 수 있는지를 포함하고 이는 컴퓨터 비전, 컴퓨터 그래픽스, 광학, AI, 인간 시각 인지, 신호처리, 센서와 같은 다양한 분야의 개념을 사용합니다.

 Multimodal large language models (MLLMs) have achieved success across various video tasks. However, analyzing long-form videos remains a significant challenge. This talk will cover recent advancements aimed at efficiently processing long videos, with a focus on techniques such as token reduction.

 영상 기반 3차원 복원 기법은 최근 많은 발전을 거듭하고 있다. 다만, 영상이 한 장 주어져 있거나, 제한적인 관측만 가능한 환경에서는, 고품질의 3차원 복원 결과를 얻는 것이 어려움으로 남아 있다. 본 강연에서는 이러한 문제를 풀기 위해, 학습된 사전정보를 활용하는 사례를 소개한다. 사진 몇장으로 가려짐이 있는 물체를 복원하거나, 사진 한장으로 사람의 모양을 복원하는 연구, 그리고 제한된 시점의 영상에서 공간 및 사람의 모양을 복원하는 연구 등을 소개한다

 Recent advances in LLMs have shown great potential for building general-purpose machine-learning algorithms capable of handling a wide range of tasks with minimal supervision. This is largely because all tasks handled by the language model share the unified input and output structure (i.e., the same linguistic system), allowing most of the pre-trained knowledge seamlessly transferred to new tasks. However, building generalist models for non-linguistic data, such as images or robotic actions, presents a challenge since the input and output structures are heterogeneous and often uniquely defined per task. For example, many tasks in computer vision have diverse input (e.g., RGB, thermal, depth images) and output structures (e.g., class labels, depth, motion, boxes) while the ones in reinforcement learning involve different states and actions per agent and task. In this talk, I will discuss our attempts to build generalist models for non-linguistic data, which can learn diverse tasks with unseen input and output structures with a handful amount of data.

 본 강연에서는 영상처리 도메인에서 Digital-to-analog converter 역할을 인공지능망으로 구현할 수 있는 방법을 소개함. NeRF이후로 널리 활용되는 함축표현함수를 활용하여 확장가능하고, end-to-end 학습이 가능한 다양한 인공지능기반 영상처리 DAC 에 대한 연구를 소개. 추가로, 최근 노벨물리상을 수상한 홉필드 박사의 메모리 네트워크(연상기억장치)로 확장한 함축표현함수에 대해서 소개함.

 본 강연에서는 좋은 논문을 작성하기 위해 피해야 할 여러 경우에 대하여 사례를 통해 알아본다. 이를 통해 좋은 논문을 작성하기 위한 방법론에 대해 체계적으로 살펴보고자 한다.