在AI行業(yè)從業(yè)至今，寫了大量的代碼項(xiàng)目，在創(chuàng)作過程中遇到過很多問題，而做自媒體也有快兩年了，同樣踩了很多坑。
今天就從硬件這方面總結(jié)一下目前對設(shè)備的一些使用經(jīng)驗(yàn)，主要也是談?wù)勚白约涸谌粘ｉ_發(fā)和創(chuàng)作中所面臨的問題，以及這些問題是如何被【工作站】這一方案一招解決的。——先從大家最關(guān)心的日常開發(fā)使用這塊講起。
技術(shù)開發(fā)
在技術(shù)開發(fā)上，平時(shí)用的最多的開發(fā)環(huán)境是基于IntelliJ IDEA、Visual studio這兩個(gè)平臺，主要是進(jìn)行代碼的調(diào)試、編寫等需求——當(dāng)然底層都同樣用的一套Anaconda。
最開始做開發(fā)的時(shí)候我還在讀研，那個(gè)時(shí)候用自己幾年前的老游戲本，無論是跑Matlab(研一的最優(yōu)化課程作業(yè))還是寫C++小項(xiàng)目，速度都非常慢，包括但不限于repo編譯、矩陣計(jì)算、Matlab渲染——尤其是渲染，本來軟件就做的不太好，很多坑，但這還并不是主要問題——工作場景中的存儲穩(wěn)定性才是核心。之前的游戲本用來跑簡單的深度學(xué)習(xí)demo不但非常慢，代碼項(xiàng)目如果多開超過2個(gè)就會非常卡，甚至?xí)霈F(xiàn)閃退、崩潰問題(說到底還是窮~)。
那個(gè)時(shí)候太年輕，不知道實(shí)時(shí)灌日志的重要性，CMD崩潰導(dǎo)致幾個(gè)小時(shí)的計(jì)算結(jié)果丟失真的十分令人痛苦，而從那以后即使到今天我也養(yǎng)成了每2分鐘保存的習(xí)慣。
這幾方面的問題是在畢業(yè)后將游戲本升級成工作站之后才徹底解決的(讀書時(shí)就一直用的戴爾，畢業(yè)時(shí)才升級到了Precision工作站)，并且這套方案一直延續(xù)至今。以今年剛升級的Precision 3660為例，相比自己辦公用游戲本和打游戲的臺式機(jī)，工作站的優(yōu)勢非常明顯，在技術(shù)開發(fā)上有更好的體驗(yàn)，讓AI的編程設(shè)計(jì)也更高效。
其實(shí)最主要還是計(jì)算設(shè)備上升了很多檔，Precision 3660的兩大算力核心都比較強(qiáng)，CPU和GPU都可選配。最高支持英特爾第12代酷睿i9-12900K處理器——之前我在一期視頻里說過，12代酷睿基本屬于牙膏擠爆了，12900K又是旗艦天花板。另外Intel針對這一代工作站不再用衍生Xeon W-1xxx系列的做法來支持ECC內(nèi)存了，酷睿CPU+W680芯片組主板可支持ECC或非ECC內(nèi)存，直接簡單省事。而這次像PCIe 5.0和x4 PCIe 4.0 Lane都是直接連接CPU的。
此外，這次英特爾還將RST RAID對NVMe SSD的支持?jǐn)U展到了CPU直連的通道，使其不再受限于PCH芯片組與CPU之間DMI 4.0連接的帶寬——簡答來說就是包括L3緩存在內(nèi)的幾個(gè)模塊讀的更快了。
在日常使用中，還有兩點(diǎn)不得不提：
? CPU頻率的優(yōu)化設(shè)計(jì)讓數(shù)據(jù)預(yù)處理、生成的操作更快(比如對很多半監(jiān)督模型和DQN這樣的強(qiáng)化學(xué)習(xí)很友好)并且可以和其他預(yù)處理過程并行
? 指令集執(zhí)行的更快——有的開源庫里會使用循環(huán)，特別是有順序依賴的循環(huán)(點(diǎn)名numpy)所以有時(shí)候CPU拉跨會拖慢整體模型迭代速度
哦對了，這代Tower的CPU散熱器還加入了液冷選項(xiàng)，雖然困于預(yù)算我沒上，但據(jù)說效率趕上一些小型數(shù)據(jù)中心了，運(yùn)行高能耗的算力程序時(shí)控溫能力很強(qiáng)，超頻跟喝水一樣。
整體看下來這是日常使用的服務(wù)器里相對較高的規(guī)格了——和Xeon Gold系列相比，性價(jià)比算是很不錯(cuò)，畢竟租一臺服務(wù)器只能以小時(shí)計(jì)費(fèi)。當(dāng)然，像很多矢量運(yùn)算、矩陣運(yùn)算，除了框架自身的設(shè)計(jì)，也依賴GPU的性能聯(lián)動(dòng)。考慮到這一點(diǎn)，工作站的GPU也基本開始一步到位，官方頂配直接就上了英偉達(dá)專業(yè)顯卡RTX A6000 48G(8nm制程，沒記錯(cuò)的話)，學(xué)校里的新服務(wù)器不少也用的這套，提供PCIe 4/5擴(kuò)展槽，加上Precision DO軟件智能調(diào)優(yōu)，跑CV據(jù)說非常絲滑，比V100有明顯進(jìn)步。一臺3660就相當(dāng)于一臺專屬的深度學(xué)習(xí)服務(wù)器，雖然聽著略顯夸張，但Precision真就做出來了——不過為了避免顯卡爆炸，戴爾很謹(jǐn)慎的把電源功率最高升到了1000W(估計(jì)是友商的前車之鑒)
最后還有個(gè)重要區(qū)別——跟傳統(tǒng)設(shè)備相比，3660這類中高端工作站的可擴(kuò)展?jié)摿Ω蟆Ｒ訟I行業(yè)為例，硬件更新?lián)Q代很頻繁，所以對顯卡、內(nèi)存的擴(kuò)展非常必要。之前我那臺游戲本可擴(kuò)展性基本等于0，而Precision工作站則擁有很多擴(kuò)展接口，比如：
? 3個(gè)工作站板載的M.2 NVMe SSD安裝位，內(nèi)存上升級方便、上限也高——NVMe SSD的單盤理論支持帶寬是遠(yuǎn)大于PCIe Gen4的
? 大容量HDD存儲——看起來是為了給大規(guī)模預(yù)訓(xùn)練模型或者AlphaFold這種需要海量數(shù)據(jù)集讀取的模型準(zhǔn)備的，擴(kuò)展也比較方便
除此之外還有個(gè)前置插拔驅(qū)動(dòng)器，這東西之前確實(shí)沒見過，如下圖：
說白了就是個(gè)硬盤/SSD擴(kuò)展位，并且可以加鎖。我看說明書上寫的，這個(gè)位置可選3.5英寸、2.5英寸或者M(jìn).2 NVMe SSD，如果配NVMe時(shí)估計(jì)支持熱插拔(前提不要是系統(tǒng)盤或RAID組成員)
舉個(gè)例子你就懂了——當(dāng)你抱著這臺工作站到實(shí)驗(yàn)室，準(zhǔn)備放在那跑實(shí)驗(yàn)，給師弟師妹炫耀一下不用搶計(jì)算資源的壕氣，但是又怕隱私數(shù)據(jù)被看到，這時(shí)候就可以把實(shí)驗(yàn)結(jié)果保存在這個(gè)擴(kuò)展位的卡上，當(dāng)你離開主機(jī)時(shí)，可以采取“盤隨人走”的方式來避免數(shù)據(jù)/隱私泄露。
當(dāng)然，除了上面場景的專業(yè)性要求，日常使用中還有些別的方面Precision也比較符合我的口味，比如：工作室空間有限，3660的放置占用空間比臺式機(jī)小很多，外觀低調(diào)，設(shè)計(jì)感足，噪音也很少，而益于液冷和機(jī)箱設(shè)計(jì)，這臺Precision在超頻時(shí)也不會很吵。
最后，其實(shí)作為互聯(lián)網(wǎng)技術(shù)和媒體從業(yè)者，我在很多方面都對電腦的軟硬件性能有更高要求，一方面是為了讓創(chuàng)作更加高效，另一方面對生產(chǎn)設(shè)備的性能追求也影響了我的科技觀感，讓很多思路也更加清晰。
未來隨著Precision系列的不斷迭代，會有更加高效、有趣的工作設(shè)備出現(xiàn)(比如基于VR、AR的高性能計(jì)算設(shè)備)，讓我們在未來的創(chuàng)作中更加具備效率和體驗(yàn)，也兼具娛樂，讓成本越來越低、生產(chǎn)力越來越高。
讓們拭目以待!
