Jinhyeon Kwon’s Blog
Jinhyeon Kwon’s Blog/
[AI504] Class 1. Introduction
카테고리About
[AI504] Class 1. Introduction

[AI504] Class 1. Introduction

작성자
권진현권진현
카테고리
AI504
태그
AI
AI504
작성일
2024년 07월 06일
 
AI504 글 목록
[AI504] Class 1. Introduction
[AI504] (draft) Practice 1. Numpy

목차

목차ReferenceAI504 at KAIST GSAI자료 모음AI란?왜 Deep Learning인가?Deep Learning의 장점1. State-of-the-art performance2. Less feature engineeringHow is this possible?1. Large data2. Powerful machinesModern AI(Almost) Infinite Compute + (Almost) Infinite DataLarge Language Models (LLMs)DALL-E 2, Imagen, Stagle DiffusionAlphaFold2Transformer ArchitectureGoal

Reference

📃
Programming for AI (AI504) at KAIST GSAI Class 1 : Introduction

AI504 at KAIST GSAI

“Programming for AI”라는 이름의 KAIST AI 대학원 수업으로, AI 기초 개념과 AI 프로그래밍을 위한 기법을 다룹니다. 2023학년도 가을학기 최윤재(Edward Choi) 교수님의 강의를 따라 가며 AI에 대한 기초 지식을 함양하고자 합니다.
수강생이 아니어도 지난 강의 영상과 자료를 모두 열람하며 따라갈 수 있습니다.

자료 모음

AI란?

notion image
  • Artificial Intelligence (AI) : Make machines/computers mimic human intelligence. Concept as old as the computer (Chess Programming by Alan Turing)
    • Human intelligence라는 말도 vague합니다. logical, emotional, linguistic, social intelligence 등 다양한 부분을 mimic할 수 있습니다.
    • AI라는 개념은 컴퓨터의 역사 만큼이나 오래된 개념입니다. Alan Turing은 사람과 체스를 함께 두는 프로그램을 개발했습니다.
  • Machine Learning (ML) : Use statistical methods to teach machines to learn from data to be good at a specific task (Spam filtering)
    • AI의 부분집합입니다. 그러나 ML이 majority이기에 사실상 같은 말처럼 여겨지기도 합니다.
    • Data로부터 배운다는 것은, ML을 다른 AI methods와 구분하는 부분입니다.
    • 1990년대에 SVM이 탄생했습니다. 이 시기에 Spam filtering과 같이, ML이 우리의 삶에 나타나기 시작했습니다.
      • Spam filtering은 간단한 형태의 ML입니다. 이메일의 단어들을 읽고, 스팸이면 스팸함에 넣습니다. 스팸일 확률을 통계적으로 계산합니다.
  • Deep Learning (DL) : Train machines to be good at complex tasks based on neural networks and massive data
    • ML의 부분집합입니다.
    • Tasks : Complex tasks를 다룬다는 차이가 있습니다. ChatGPT는 Spam filtering에 비해 훨씬 advanced된 form입니다.
    • Statistical methods : Neural networks를 사용합니다.
    • Data : 많은 양의 data를 사용합니다.

왜 Deep Learning인가?

Deep Learning의 장점

1. State-of-the-art performance

notion image
ImageNet data set을 가지고 Classification을 수행한 결과입니다. Deep learning model의 정확도는 사람을 넘어섰습니다.

2. Less feature engineering

notion image
notion image
Classical machine learning에서는, feature engineering을 많이 요구합니다. 사진의 Image classification 상황을 예시로 들면, 우리는 고양이와 비교하여 개가 가지는 특징 (눈, 색, 코, 털, …) 을 찾아서 Feature로 활용해야 합니다. Performance가 좋지 않으면 Feature engineering을 다시 하기도 합니다.
하지만 Deep learning에서는 이러한 부담이 적습니다. Model Architecture에 더 신경 쓸 수 있습니다.
Feature engineering을 위해서는 Domain experts가 필요합니다. Deep learning은 Feature engineering을 덜 신경 쓰므로, Data가 충분하면 Domain expert가 아니어도 model을 만들 수 있습니다. 영어-프랑스어 번역기를 만들기 위해 프랑스어를 알아야 할 필요가 없는 것입니다.

How is this possible?

1. Large data

  • SNS
    • Youtube, Instagram, Twitter
  • Collective intelligence
    • Wikipedia
  • Mass media
    • News articles
인터넷과 웹 기술의 발전으로, 많은 data를 쉽게 모을 수 있게 되었습니다. 사람들은 SNS에 사진과 영상을 올리며, Wikipedia나 인터넷 뉴스와 같이 잘 관리되는 Knowledge base가 있습니다. 이들은 광고만 보면 무료로 제공됩니다.

2. Powerful machines

많은 데이터를 reasonable amount of time에 처리할 수 있는 하드웨어가 발전했습니다. TPU나 ML을 위한 GPU(NVIDIA의 A100, H100 등)가 잘 나와 있으며 성능이 오르고 있습니다. 그만큼 가격이 오르고 있기도 합니다.

Modern AI

(Almost) Infinite Compute + (Almost) Infinite Data

GPT-3 model은 1000개 이상의 V100과 570GB의 text data로부터 탄생했습니다. Training에만 400~500만 달러가 들었다고 합니다.

Large Language Models (LLMs)

  • The most powerful (near) Artificial General Intelligence
AGI란, Model architecture를 바꾸거나 재학습하지 않아도 많은 task를 처리할 수 있는 AI입니다. ChatGPT에 Prompt engineering, Fine-tuning, Chain of thoughts, Tree of thoughts, AutoGPT 등의 테크닉을 결합하면 정말 많은 일을 처리할 수 있습니다.
GPT-4는 2023학년도 수능 국어 영역의 화법과 작문 문제를 풀어서 3등급의 성적을 기록했다고 합니다. 다양한 시험에서 GPT가 우수한 결과를 보여주고 있습니다.

DALL-E 2, Imagen, Stagle Diffusion

  • Conditional text-to-image generator
    • Diffusion + Transformer
notion image
Metalic texture 표현, 근육 표현 등, 다양한 부분에서 high fidelity를 가지는 그림을 만들어 냅니다.

AlphaFold2

  • DeepMind’s protein structure prediction model
    • Using 48 layers of Evoformer
      • Special self-attention for graphs in 3D
notion image
단백질의 접힘으로 만들어지는 3D 구조를 예측합니다. 신약 디자인 등의 다양한 연구를 가속화할 수 있습니다.

Transformer Architecture

notion image
위의 예시들은 Transformer를 기본으로 합니다. Transformer layer를 많이 쌓아서 사용합니다. 각 layer는 똑같이 생겼습니다.
Self-Attention이 중요한 부분입니다. 이는 repitition of Scaled Dot-Product Attention으로 이루어져 있습니다.
수업 내용을 가지고, 이론적으로는 위의 예시들까지도 코드로 구현 가능합니다. 단, train을 하기 위한 data와 HW를 구하기 어려울 뿐입니다.

Goal

  • Learn to build deep learning models.
    • So that you can replicate papers
    • So that you can realize your ideas
    • So that you can conduct AI research
  • This course teaches only the basics.
    • Practice makes perfect!