회고록 왜 쓰는지 알 것 같다. 최근에 공부가 나름 잘되는 중인데 왜 잘되는지 나를 이해해봐야겠다.
쓰면서 읽기
논문을 볼 때 전에는 눈으로 흝었다. 이전부터 노션에 논문들을 정리해서 올려놨었는데 문제는 내용 정리는 안하고 저자가 누구인지 어느 학회에 실렸는지만 정리해놓고 (심지어 그마저도 귀찮아서 몇 개는 안했다) 진짜 껍데기만 올렸었는데 최근에는 Abstract만 읽더라도 그 Abstract을 한 줄로라도 정리해서 넣어놓는다. 적어도 껍데기는 아니도록! 그리고 관심 있는 논문들의 경우는 끝까지 읽는 습관도 많이 생겼고 나름 3년차라고 전보다 같은 양의 문장을 눈앞에 들이밀었을 때 이해되는 문장들이 더 많아진 것 같다. 기분이 좋긴한데 그동안 중요하다고 생각했지만 제대로 읽지 않은 흘려보낸 논문들이 떠올라서 다시 볼 생각에 눈앞이 캄캄하다 (특히 자연어...ㅎ 비전이라고 잘 읽었나? 그건 또 아님). 그리고 너무 기초적이라고 생각해서 넘어갔던 부분들을 곱씹으면서 논문이 떠들어내는 내용을 다시 이해하려고 하니까 조금 더 잘되는 기분이다. 최근에 제일 열심히 읽었던 건 How do Vision Transformers work?였는데 굉장히 내용이 Dense하기도하고 이 논문이 말하고자 하는 내용의 가장 중요하게 작용한 방법인 Hessian Eigenvalue에 대한 기초지식 배경이 설명이 잘되어있지 않아서 (사실 Appendix에 있었다) 이해가 어려웠는데 그걸 이해하려고 레퍼로 달렸던 논문들도 꼬꼬무로 잘 풀어나가면서 스스로 잘 이해한 것 같다. 특히 우리가 너무 공기처럼 사용하는 Convolution과 Self-Attention 같은 내용들을 수학적으로 다시 곱씹어보는 것 또한 도움이 많이 되었다!
그리고 생각보다 내 기준 좋은 논문인데 Reject 당한 논문이 많다. 이 Openreview 확인하는 것도 다른 사람들의 의견을 이해하는 다른 사람의 의견(ㅋㅋ)를 보는 새로운 시각인 것 같다. 학계의 시각이 이렇구나 라는 것 또한 최근에 많이 알게되었다.
마지막으로 Plot을 볼 때 한 번 저자가 해석한 것을 읽고 다시 Plot을 혼자 보면서 아까 해석한 것을 그림 보면서 복기하는 것이 굉장히 많은 도움이 된다는 것을 알았다!
TL;DR
1. 쓰면서 읽기
2. 끝까지 읽기
3. 따라가면서 읽기
4. Plot은 저자가 써놓은 설명 본 후에 혼자 Plot 보면서 해석하는 글 쓰기
+ 기초 곱씹기