image.png

image.png

1️⃣ → 1회독을 의미합니다. 전체적인 정리를 바탕으로 요약한 내용을 작성하고 논문의 흐름을 나타낼 수 있도록 합니다.

2️⃣ → 2회독을 의미하며 1회독에서 놓쳤던 부분이나 이해하지 못한 부분을 보완하기 위해서 공부합니다. 일부분을 공부하는 것으로 하려고 했는데, 아직은 전체적인 부분을 보지 않으면 정확한 이해가 안됨

3️⃣ → 3회독입니다. 마지막 최종 요약본을 만들고 논문에 대한 내용을 논문이나 요약정리한 글을 보지 않고도 정리할 수 있는 정도의 내용 파악이 목표하는 수준입니다.

⭐ → 공부를 진행하고 있는 논문을 의미합니다.

Attention is All You Need

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

GPT-1: Improving Language Understanding by Generative Pre-Training

ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Denoisiong Diffusion Probablistic Models(DDPM)

GAN: Generative Adversarial Networks

[Better & Faster Large Language Models via Multi-token Prediction](https://chestnut-kileskus-46d.notion.site/Better-Faster-Large-Language-Models-via-Multi-token-Prediction-1ac68b7a040d80ccb803d87aa3b07047)

[Dense Contrastive Learning for Self-Supervised Visual Pre-Training](https://chestnut-kileskus-46d.notion.site/Dense-Contrastive-Learning-for-Self-Supervised-Visual-Pre-Training-1ac68b7a040d8015b6d3cbf679ef0ae4)

ConvNeXt: Revisiting ConvNets for 2020s

On the Detectability of ChatGPT Content: Benchmarking, Methodology, and Evaluation through the Lens of Academic Writing