[AITech] 20220120 - 회고

피어세션 정리

오늘 학습한 주된 내용인 통계론/확률론 및 베이즈 통계학은 친숙하지 않은 내용이라서인지 이해하는 것이 쉽지는 않았다.

그래서 피어세션 중에도 해당 강의에 대한 토론이 활발하게 이루어졌고 용어 및 이해의 모호함을 더욱 명확하게 바꿀 수 있었다.

개인적으로는, 강의 내용 자체는 쉽지 않았지만 ‘머신러닝 이론’에 대한 이해를 할 수 있게 해준다는 점에서 확률론/통계론의 미학을 조금이나마 느낀 것 같다. 특히 모델의 손실 함수를 정하는 것이 통계론에 기반한 선택이라는 점이 놀라웠다. 또한 손실 함수를 최소화 한다는 것은 곧 로그 가능도의 최적화이고, 이는 실제 데이터의 분포와 모델이 예측한 분포 사이의 거리를 최소화하는 것이라는 점을 자연스레 연결하며 알게 된 것이 매우 인상적이었다.

대학원을 가고자 하는 학도의 입장에서 머신러닝 이해를 위한 확률론/통계론을 더 많이 공부해보고 싶다.

학습 회고

오늘 처음으로 진행한 마스터 클래스에서의 내용을 적어보고자 한다.

마스터 클래스

Part1. 인공지능 공부하기

• 수학 너무 어려워요. 쉽게 공부하는 방법이 있나요?
  • 머리로는 어렵지만 손으로 익힐 수 있다.
  • 똑똑하게 익숙해지는 방법 -> 많이 보는 것보다 많이 사용하는 것이 더 좋다!
  • 용어의 정의를 일단 외우고, 이후에는 예제를 찾아봅니다.
• 여러 모델들의 수학적 원리를 모두 이해하고 있어야 하나요?
  • 모두 이해하는 것은 어렵지만 적어도 원리를 이해하는데 필요한 기초는 갖춰야 합니다.
  • 무엇이 기초인가? -> 선형대수/확률론/통계학은 필수!
    • 기업 및 대학원 면접 때 정말 많이 물어본다.
    • 알고리즘이랑 최적화 내용도 같이 공부하면 시너지가 좋다.
  • 머신러닝 이론을 공부하고 싶다면 해석학/위상수학까지!
  • 기초 자체를 공부하기 보다 머신러닝에서 어떻게 활용되는지 검색해본다.
    • 예) 분류 문제에서 왜 cross-entropy를 손실함수로 사용하는가?
• ML 엔지니어는 수학을 어느 정도 알아야 할까요?
  • 필요한 걸 공부해서 빠르게 따라잡을 수 있을만큼 알아야 한다!
• 엔지니어는 무엇을 하는 사람일까?
  • Define -> Brainstorm -> Implement -> Analyze
• 추천 시스템 공부할 대 알아야 할 내용이 있나요?
  • Dive into Deep Learning 16장 내용
  • MAB(Multi-Armed Bandit)도 중요한 테크닉!

Part2. 인공지능 대학원 관심있어요!

• AI 분야에서 학석박 간에 어떤 차이가 있을까요?
  • 분야마다 다르겠지만 전문성이 다르고, 대중화되지 않은 영역은 학위과정이 중요할 수 있다.
    • 잘 알려진 대중화된 분야는 엔지니어링 능력이 더 중요할 수 있다.
    • Seeing/Listening/Speaking/Drawing/Understanding like human -> Well-known
    • Learning/Reasoning like human -> Not-known
  • 더 깊은 이해도를 가질 수 있다는 것이 중요
• 인공지능 분야에서 대학원이 필수일까요?
  • 자신이 하려는 분야가 잘 알려지지 않은 분야라면 가는 것이 유리하다!

Part3. FAQ

• AI 분야에서 가장 중요한 수학은?
  • 선형대수학: 필수 중의 필수. 코드를 이해하는 데 필수.
  • 통계 및 확률: 머신러닝 원리/이론을 이해하는데 필수.
    • 왜 이 손실함수를 사용? 왜 이렇게 최적화?
• 대학원생과 견줄만한 활동?
  • 좋은 논문을 많이 쓰는 것이 중요
  • 오픈소스에 기여
  • 새로운 기술에 대한 친화도, 활용한 경험 및 능력
  • 이외에는 면접으로 승부해야 함
• 수학이든 모델이든 line-by-line으로 구현해보는 연습을 하는 것이 좋은 지?
  • 대부분의 업무에서는 딥러닝 프레임워크에서 가져다 쓴다.
  • 다만, 새로운 것을 구현해야 하는 등의 Problem Solving이 필요하다면 line-by-line으로 이해하는 것이 새로운 내용을 Follow up하고 만드는 데 핵심적이다.
• 기계학습 알고리즘이 잘 할 수 있는 것과 아닌 것이라
  • 충분한 데이터에서 루틴한 패턴을 추출할 수 있다면 잘 할 수 있을 것
  • 아니라면 다른 알고리즘이 더 잘 할 수 있다. 이를 비교할 수 있는 시점이 올 것.
• 모르는/낯선 개념을 잘 이해하는 방식?
  • 모르는 내용은 키워드를 뽑아서 구글링, 정리 및 이해(30분 정도)
• AI 엔지니어로 현업에 나가기 위해 준비하면 좋을 것?
  • MLOps 공부!!!