포스텍 전자전기공학과 석사과정 송해나(공저자: 김도훈, 윤종호, 권은지, 지도교수: 강석형, 오태현)이 제 29회 삼성휴먼테크논문대상에서 Computer Science & Engineering 분과 동상(상금 500만원)을 수상하였다. 본 대회는 과학기술 분야의 우수한 인력을 발굴, 육성하여 세계 최고의 경쟁력과 기술력을 확보할 수 있는 기반을 조성하고자 삼성전자가 개최하는 논문대상이다.

본 대회에서 수상한 “FPGA-Based Accelerator for Rank-Enhanced and Highly-Pruned Block-Circulant Neural Networks” 논문은 딥러닝 네트워크 압축 기법 중 하나인 Block-Circulant Neural Network의 한계점을 개선하여, 보다 더 효율적인 성능을 가진 경량화 방법과 가속기 하드웨어 디자인을 제안하였다. 본 연구에서는 기존 방법의 정확도 하락 문제를 순환 행렬들의 rank 결핍 문제라는 새로운 관점으로 파악하고, 이를 개선하기 위한 Hadamard 파라미터화와 프루닝 기법과 결합한 프레임워크를 제시하였다. 그 결과 딥러닝 네트워크의 큰 압축 성능을 유지하면서도 기존 방법의 정확도를 크게 개선하였으며, 그 우수성을 인정받아 동상을 수상하였다.

포스텍 전자전기공학과 박사과정 권병기, 남현우 학생(지도교수: 오태현)이 삼성전자가 주최한 “제29회 휴먼테크논문대상” Signal Processing 분과 동상을 수상하였다. Computer Engineering분과에서 강석형 교수 연구팀과 공동 연구로 수상한 또다른 동상을 포함하면 이번 회차에 AMI연구실(지도교수: 오태현)은 동상 2개의 성과를 거뒀다.

이번에 수상한 “DFlow: Learning to Synthesize Better Optical Flow Datasets via a Differentiable Pipeline” 논문은 컴퓨터비전의 근본적인 문제 중 하나인 카메라 영상으로부터 움직임을 추정하는 광학흐름추정 (Optical flow estimation) 문제를 효과적으로 해결하기 위한 새로운 방향을 제시하였다.

최근 광학흐름추정 문제는 인공지능 모델을 통해 학습 기반으로 접근하는데, 학습을 위해 많은 학습 데이터가 요구된다. 그러나 일반적으로 본 문제의 데이터 취득이 어렵다고 알려져, 현재 공개된 가장 큰 실제 환경 데이터가 약 1,000개 정도에 불과했다. 본 연구는 적은 데이터로부터 모델 학습에 유리한 데이터셋의 기준을 스스로 학습하고, 이를 반영한 가상 데이터를 생성할 수 있는 시스템을 개발하였다. 그 결과 대규모 데이터를 쉽게 생성하여 전반적인 모델들의 성능을 크게 개선하였고, 눈과 비가 오는 상황에서도 강인한 광학흐름추정 모델 학습이 가능함을 보였다. 이러한 우수성을 인정받아 동상을 수상하였다.

본 연구는 르완다에서 개최될 예정인 세계 최고 인공지능 학회인 International Conference on Learning Representations (ICLR) 2023에서 오는 5월에 발표될 예정이다.

또한, 송해나 (지도교수: 강석형) 학생이 주도한 오태현 교수 연구팀과 강석형 교수 연구팀의 ＂FPGA-Based Accelerator for Rank-Enhanced and Highly-Pruned Block-Circulant Neural Networks＂ 라는 공동 연구 주제로 Computer Engineering 분과 동상을 수상하여, 별도의 전자과 소식으로 소개되었다.

삼성전자가 주최하고 과학기술정보통신부와 중앙일보가 공동 후원하는 휴먼테크 논문대상은 과학기술 분야의 우수한 인력을 발굴, 육성해 세계 최고의 경쟁력과 기술력 확보에 목적을 두고 1994년 삼성전자가 제정한 연구대회로, 저자들은 이번 제 29회 삼성휴먼테크논문대상에서는 총 1,972 편 중 엄격한 3단계 심사를 거쳐 수상자로 선정되었다.

포스텍 전자전기공학과 오현빈(통합과정 1년차), 하현우(석사과정 2년차), 김준성(통합과정 3년차), 권병기 학생(박사과정1년차), 오태현 교수(지도교수)가 한국방송미디어공학회가 주관하는 제 35회 영상처리 및 이해에 관한 워크샵(IPIU 2023)에서 “실시간 Full-HD 영상 모션 증폭 모델” 논문을 발표하여 “우수논문상” 장려상을 수상하였다. 이번 수상은 지난 33회, 34회 IPIU 우수논문상 수상에 이어 AMILab 연구실의 3년간 연속 수상(총 4편)으로 그 의미가 크다.

영상 모션 증폭 기술은 육안으로 식별하기 어려운 미세 모션을 포착하고 증폭시켜 쉽게 인지할 수 있도록 하는 기술로, 구조물 안전 진단, 의학적 모니터링 등 다양한 목적들을 위한 가치 있는 정보를 제공할 수 있다. 오태현 교수는 ”Learning-based Video Motion Magnification”, ECCV 2018 (Oral) 연구에서 기존의 신호 처리 기반 모션 증폭 모델을 딥러닝 기반 접근법으로 성공적으로 모델링하여 획기적인 발전을 이루어 냈다.

본 논문은 현재까지도 모션 증폭 분야에서 가장 영상 품질이 좋은 모델로 여겨지는 위 연구의 연산 속도가 실시간으로 Full-HD 영상을 증폭해야 하는 응용처에 적용할 만큼 빠르지 않다는 문제를 지적하였다. 이를 해결하기 위해 모션 증폭 모델과 같이 다종 모듈로 구성된 모델 구조의 분석 및 경량화를 위한 2단계 프레임워크(학습 기반 불필요 요소 특정 및 제거 기법, 줄어든 탐색 공간 내 하이퍼파라미터 탐색)를 도입하여, 영상 품질의 저하 없이 기존 베이스라인 모델 대비 3배 빠른 속도와 4.5배 적은 연산량을 가진 실시간 Full-HD 영상 모션 증폭 모델을 제안하였다.

올해 35회를 맞이한 IPIU(Workshop on Image Processing and Image Understanding)는 KCCV와 함께 국내 최대 규모의 이미지 프로세싱 및 컴퓨터비전 행사이며, 올해는 총 280편의 논문이 게재되었다.

지도교수인 오태현 교수는 현재 RIST-POSCO Open Lab 연구팀의 연구단장으로 겸직하여 영상 모션 증폭 연구단을 이끌고 있으며, 세계 최고 권위 컴퓨터비전 학회인 International Conference on Computer Vision (ICCV) 2023에 Area Chair, The Visual Computer (Impact Factor 2.8) Associate editor 등을 역임하며 활발한 연구 활동을 이어가고 있다.

포스텍 전자전기공학과 석사과정 손승우 학생(지도교수 이재호)이 한국방송미디어공학회가 주관하는 제 35회 IPIU 2023에서 “DSP: Distill the Knowledge Only by a Subset of Patches”란 논문을 발표하여 “우수논문상” 동상을 수상했다.

올해 35회를 맞이한 IPIU(Workshop on Image Processing and Image Understanding)는 KCCV와 함께 국내 최대 규모의 이미지 프로세싱 및 컴퓨터비전 행사이며, 올해는 총 280편의 논문이 게재되었다.

본 논문은 모델 압축을 위해 널리 쓰이는 “지식증류”기법의 추가 연산량이 과다하다는 문제를 처음으로 지적하였으며, 이미지의 마스킹을 통해서 Vision Transformer의 지식증류 추가 연산량을 퍼포먼스의 감소 없이 50%~75% 이상 절감하는 기법을 제안하였다.

포스텍  전자전기공학과 석박사통합과정 김유왕, IT융합공학과 석박사통합과정 김지연 학생 (지도교수: 오태현 교수)이 Qualcomm이 주최하는 Qualcomm Innovation Fellowship Korea 2022 (QIFK 2022; 상금 400만원)을 수상하였다. Qualcomm Innovation Fellowship (QIF)는 인공지능/머신러닝/자율주행 연구 분야에서 우수 연구를 발굴하여 장학금을 지원하는 퀄컴의 글로벌 프로그램으로, 김유왕, 김지연 학생은 “텍스트 기반 4D 휴먼 아바타 생성” 연구에 대한 우수성을 인정 받아 많은 후보들 가운데 선정되었다.

김유왕, 김지연 학생은 사용자에게 행동과 겉모습을 묘사하는 텍스트만을 입력으로 받아, 사실적이고 생동감 넘치는 4D 휴먼 아바타의 텍스쳐와 모션을 생성하는 시스템을 제안하였다. 추가적인 학습 데이터 없이 텍스트만으로 형상과 시각 특징을 그려내는 것이 본 기술의 큰 특징이다. 본 연구는 생동감 넘치는 아바타 및 콘텐츠 제작 기반 기술로써 VR/AR 등 메타버스 기술을 고도화 하는데 일조할 것으로 기대되고 있다.

본 연구는 이스라엘에서 개최된 세계 최고 권위의 인공지능 학회인 European Conference on Computer Vision (ECCV) 2022에서 게재 및 발표되었다. 이번 수상은 작년 Qualcomm Innovation Fellowship Korea 2021 수상에 이어 Algorithmic Machine Intelligence 연구실 (PI: 오태현 교수)의 두 번째 연속 수상으로 그 의미가 크다.

지도교수인 오태현 교수는 현재 RIST-POSCO Open Lab 연구팀의 연구단장으로 겸직하여 영상 모션 증폭 연구단을 이끌고 있으며, 세계 최고 권위 컴퓨터비전 학회인 International Conference on Computer Vision (ICCV) 2023에 Area Chair, The Visual Computer (Impact Factor 2.8) Associate editor 등을 역임하며 활발한 연구 활동을 이어가고 있다.

Algorithmic Machine Intelligence (AMI Lab) @POSTECH