ML_2022_1-1 正課內容介紹

發表於 更新於

正課內容介紹

Supervised Learning

Self-supervised Learning

  • 在訓練之前先做基本功(Pre-Train)
  • 訓練集就不需要label了
  • 比如在網路上先爬相關資料
  • 以分類圖片為例，實際分類圖片的過程稱為(Downstream)
  • Pre-trained model(又稱Foundation Model)就好像OS，Downstream就像APP
    • 最出名的模型就是BERT

Lec6 : GAN

  • 一般函數需要大量成對的X與Y來讓他們配對
  • 現今只需要大量的X，就可自行產生Y

Lac12 : Reinforcement Learning

  • 當資料很難以標註時使用 (ex.學會下圍棋)

進階課題

Lac8 : Anomaly Detection

  • 過擬合等問題

Lac9 : Explainable AI (可解釋性AI)

  • 不只是知道答案，還要讓機器知道為甚麼
  • EX.PNG與JPG輸入的問題ww

Lac10 : Model Attack

  • 在圖片加入一點點雜訊，讓圖片難以識別
  • 介紹攻擊技術與防禦可能性

Lac11 : Domain Adaptation

  • 當訓練資料與測試資料的分布不相似
  • EX. 手寫數字辨識，黑白與彩色的差別

Lac13 : Network Compression(模型壓縮)

  • 在嵌入式、小硬體跑ML

Lac14 : Life-long Learning

  • 機器能像人一樣一直學習所有技術
  • 挑戰有哪些

Lac15 : Meta Learning(學習如何學習)

  • 以往都是人設計學習演算法給機器
  • 讓機器從大量學習任務裡面發明更好的演算法
  • Few-shot Learning通常與他相關