驚！深度學習模型原來也可以放入這種東西

深度學習模型，大家稱之為黑盒子。

既然是黑盒子，那麼，裡面有什麼，大家便不得而知了。對於深度學習模型，大家始終保持著神秘。

直到有天，有三個白駭客在深度學習模型中塞進了惡意程式。

這篇研究報告指出，如果把惡意程式塞進一些AI的深度學習模型中，那麼，可以在幾乎不影響這些深度學習模型的情況下，讓惡意程式也正常運作。從該研究報告中看來，這些惡意程式的檔案格式至少包括*.dll、*.exe和*.xls格式，看起來大概都可以在Windows系統中運作，檔案大小也小，都幾十KB而已。白駭客們表示，在植入惡意程式後，這些深度學習模型的確度並不會因此而大幅降低，頂多減少個1%左右，有時甚至會發現確度不減反增。這也表示，如果我們將惡意程式嵌入深度學習模型中，那麼同一專案裡同一模型的其他使用者將難以察覺——這大大的提升了使用者發現惡意程式的難度。

研究報告中，白駭客們使用了幾種不同的深度學習模型來放入惡意程式。由於使用的是PyTorch模組，因此可以透過requires_grad = False這類的設定來將惡意程式放入模型裡較不需要更新的neurons。除了上一段敘述的結果，他們也同意如果在手刻深度學習模型時，有處理好程式安全，那麼這樣的問題就比較不容易發生了；然而，也絕不是每個人都這麼有經驗，因此，這樣的問題，或許還是會發生。而事實上，除了這篇研究報告鎖提供的資料，翻閱 CVE 也會發現不少在Tensorflow和PyTorch上的資安漏洞。也許，當我們在使用AI深度學習時，需要格外謹慎。

撰稿｜郭彥伶

參考資料
1. Wang, Liu and Cui (2021). EvilModel: Hiding Malware Inside of Neural Network Models. arXiv:2107.08590v4 [cs.CR].

2. CVE