1.?OpenAI掌門(mén)人Sam Altman：AI的下一個(gè)發(fā)展階段

各種AI工具已顯現(xiàn)出巨大的日常應(yīng)用潛力，可以實(shí)現(xiàn)人類(lèi)的各種想法，改善人類(lèi)的工作方式，比如由Stability.ai發(fā)布的開(kāi)源Stable Diffusion模型，Microsoft和OpenAI聯(lián)合打造的AI編程工具Copilot，OpenAI開(kāi)發(fā)的語(yǔ)言生成模型GPT-3和圖像生成平臺(tái)DALL-E以及爆火的聊天機(jī)器人模型ChatGPT。

肩負(fù)著宏偉使命且極富遠(yuǎn)見(jiàn)的Altman就曾預(yù)言：AI即將迎來(lái)下一個(gè)發(fā)展階段。如今，大型語(yǔ)言模型越來(lái)越先進(jìn)，也出現(xiàn)了可以實(shí)現(xiàn)文本-圖像相互轉(zhuǎn)換的多模態(tài)模型，一些AI應(yīng)用還可令科學(xué)家如虎添翼。在他眼中，AI是一個(gè)可以孵化出無(wú)數(shù)工具，推動(dòng)各行各業(yè)前進(jìn)的基礎(chǔ)平臺(tái)。

(資料圖片)

鏈接：

https://mp.weixin.qq.com/s/Ek5Xyj2gg-sA8ZIepx0PKA

2.?2022年最值得關(guān)注的十篇論文

年關(guān)將至，威斯康星大學(xué)助理教授 Sebastian Raschka 盤(pán)點(diǎn)了 2022 年他最看好的十大論文。

“2022 年 1 月，擴(kuò)散模型第一次吸引了我的眼球。當(dāng)時(shí)我判斷到將會(huì)有某些大事發(fā)生，然而卻未曾預(yù)料到幾個(gè)月后會(huì)出現(xiàn)什么：DALLE-2、Imagen、Stable Diffusion 以及其它許多模型。對(duì)于大型語(yǔ)言模型來(lái)說(shuō)，2022 也是非常重要的一年，最近面世的 ChatGPT 更是錦上添花，搶盡了風(fēng)頭?！?strong>鏈接：

https://mp.weixin.qq.com/s/Atev3LfYADNiW1jhB1Jwrw

3. 人工智能300年：LSTM之父詳解現(xiàn)代AI和深度學(xué)習(xí)發(fā)展史

最近，LSTM之父Jürgen Schmidhuber梳理了17世紀(jì)以來(lái)人工智能的歷史。在這篇萬(wàn)字長(zhǎng)文中，Schmidhuber為讀者提供了一個(gè)大事年表，其中包括神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、人工智能等領(lǐng)域的重要事件，以及那些為AI奠定基礎(chǔ)的科學(xué)家們。

鏈接：

https://mp.weixin.qq.com/s/TfwA4x8dU_rMhC0fuE-xYw

4.?編程的終結(jié)

作者M(jìn)att Welsh相信“編寫(xiě)程序”的傳統(tǒng)想法正在走向終結(jié)，事實(shí)上，除了非常專(zhuān)業(yè)的應(yīng)用程序之外，我們所知道的大多數(shù)軟件將被經(jīng)過(guò)訓(xùn)練而不是編程的人工智能系統(tǒng)所取代。在需要“簡(jiǎn)單”程序的情況下（畢竟，并非所有內(nèi)容都需要在GPU集群上運(yùn)行數(shù)千億個(gè)參數(shù)的模型），這些程序本身將由AI生成，而不是手動(dòng)編碼。

鏈接：

https://mp.weixin.qq.com/s/EYWR1o-CoDTBvqgIGOl5Ww

5. ChatGPT的一小步，NLP范式轉(zhuǎn)變的一大步

在此前《ChatGPT進(jìn)化的秘密》一文中，本文作者剖析了ChatGPT的技術(shù)路線(xiàn)圖。而在ChatGPT發(fā)布前，作者詳細(xì)介紹了大模型的突現(xiàn)能力、以及它在NLP/ML任務(wù)中的潛在優(yōu)勢(shì)，以此來(lái)探討大模型所帶來(lái)的“潛在的”范式轉(zhuǎn)變。顯然，后來(lái)ChatGPT所展現(xiàn)出的強(qiáng)大能力，將這種轉(zhuǎn)變的步伐扎實(shí)地推進(jìn)了一大步。

鏈接：

https://mp.weixin.qq.com/s/g_zKgURavorkvS7FoOVg3g

6. 熱議：2023年AI系統(tǒng)方向會(huì)有哪些新的進(jìn)展？

2023年，討論新的一年AI系統(tǒng)方向會(huì)有哪些新的進(jìn)展，包括硬件、軟件，模型優(yōu)化、系統(tǒng)優(yōu)化，單設(shè)備優(yōu)化、scale-out優(yōu)化。

@齊俊：AI System很大程度上是由AI workload來(lái)推動(dòng)向前發(fā)展的，講一個(gè)發(fā)展方向：提高被集成的能力。

@楊軍：關(guān)注了最近非常hot的ChatGPT，除了了解從模型角度這個(gè)技術(shù)所能帶來(lái)的增益，以及其背后的技術(shù)淵源，也在結(jié)合自己的從業(yè)角度思考支撐這類(lèi)模型技術(shù)演化以及更進(jìn)一步支撐未來(lái)AI領(lǐng)域模型演化，會(huì)對(duì)AI系統(tǒng)提出哪些要求。

鏈接：

https://www.zhihu.com/question/576114739/answer/2826097569

7.?對(duì)比PyTorch、TensorFlow、JAX、Theano，我發(fā)現(xiàn)都在關(guān)注兩大問(wèn)題

最近，作者在處理 PyTorch 分布式和 TorchRec 相關(guān)的工作，為此，他開(kāi)始學(xué)習(xí) PyTorch 2.0。在業(yè)余時(shí)間，我也在跟著Alpa作者學(xué)習(xí)JAX和XLA。

如今回顧這些技術(shù)，他發(fā)現(xiàn)它們的關(guān)注點(diǎn)似乎都是如下兩個(gè)問(wèn)題：1. 包含自動(dòng)求導(dǎo)和并行在內(nèi)的函數(shù)轉(zhuǎn)換，例如 vmap, pmap 和 pjit 等；2.異構(gòu)計(jì)算，CPU 負(fù)責(zé)控制流，GPU/TPU 負(fù)責(zé)張量計(jì)算和集合通信。

鏈接：

https://mp.weixin.qq.com/s/BfgirrHFDNpTxbhCz1qqlg

8.?如何看待PyTorch 2.0（TorchDynamo）？

Graph capture把用戶(hù)Python寫(xiě)的模型代碼變成graph，是一切編譯的根基。而PyTorch在試了這么多方案之后似乎已經(jīng)鎖定TorchDynamo作為graph capture的未來(lái)方向了，所以寫(xiě)一點(diǎn)關(guān)于 TorchDynamo 的內(nèi)容，主要是解釋到底為什么要做這個(gè)東西。

鏈接：

https://mp.weixin.qq.com/s/VM3tPbmxHVOBWDvoo2U4hQ

9.?TorchDynamo初探：Python ByteCode的動(dòng)態(tài)修改

本文對(duì) Python 的執(zhí)行和 TorchDynamo 的主要原理做了初探，主要是自定義 Eval Frame 的實(shí)現(xiàn)技巧。其它相關(guān)的 Python ByteCode 標(biāo)準(zhǔn)，ByteCode 到 FX Graph 的轉(zhuǎn)換，ByteCode 的改寫(xiě)等內(nèi)容還沒(méi)涉及。

鏈接：

https://mp.weixin.qq.com/s/6eK9wtUU_jpuJTWfXdW6xg

10.?聊聊 PyTorch 2.0（Inductor）

年末在疫情的籠罩下，人工智能領(lǐng)域發(fā)布了不少新進(jìn)展。最火的當(dāng)然是 AIGC(ChatGPT, Diffusion Models)，不過(guò)PyTorch 2.0也賺足了眼球。

借此機(jī)會(huì)來(lái)聊聊PyTorch 2.0里面大家比較關(guān)注但是還沒(méi)有足夠重視的部分TorchInductor：Inductor 的進(jìn)展速度不容小覷，它僅在計(jì)劃發(fā)布后短短的幾個(gè)月便在 huggingface, timm_models, torchbench 等諸多模型上面取得1.6~2.2倍的加速(Nv A100 GPU)。那么Inductor取得高效迭代和性能收益依靠的是什么？

鏈接：

https://zhuanlan.zhihu.com/p/595996564

11.?如何寫(xiě)一個(gè)深度學(xué)習(xí)編譯器？

編譯器本質(zhì)上是一種提高開(kāi)發(fā)效率的工具，將高級(jí)語(yǔ)言轉(zhuǎn)換為低級(jí)語(yǔ)言（通常是二進(jìn)制機(jī)器碼），使得程序員不需要徒手寫(xiě)二進(jìn)制。轉(zhuǎn)換過(guò)程中，首要任務(wù)是保證正確性，同時(shí)需要進(jìn)行優(yōu)化以提升程序的運(yùn)行效率。

傳統(tǒng)意義上的編譯器的輸入通常是某種高級(jí)語(yǔ)言，輸出是可執(zhí)行程序。在實(shí)際工作中接觸到了深度學(xué)習(xí)編譯器開(kāi)發(fā)，其設(shè)計(jì)思想與傳統(tǒng)編譯器非常類(lèi)似，所以本文以深度學(xué)習(xí)編譯器的開(kāi)發(fā)、結(jié)合我們實(shí)際開(kāi)發(fā)的深度學(xué)習(xí)編譯器MegCC為例，來(lái)說(shuō)明如何寫(xiě)一個(gè)編譯器。

鏈接：

https://zhuanlan.zhihu.com/p/594619136

12.?GPGPU架構(gòu)，編譯器和運(yùn)行時(shí)

鏈接：

https://zhuanlan.zhihu.com/p/592975749

13.?CUDA筆記（二）：解析OneFlow BatchNorm相關(guān)算子實(shí)現(xiàn)

在CUDA優(yōu)化中常見(jiàn)的一個(gè)技巧是，將一些ElementWise的算子融合到之前的計(jì)算密集型算子如卷積、矩陣乘等。在OneFlow中，針對(duì)上述兩種情況并且cudnn無(wú)法fuse時(shí)分別進(jìn)行了fuse和優(yōu)化，本篇文章就來(lái)解析一下這里的代碼實(shí)現(xiàn)，體會(huì)其中的CUDA優(yōu)化技巧。

鏈接：

https://mp.weixin.qq.com/s/NbSs8Rxu3-CebJpoHN_D_w

14.?YOLOv5全面解析教程②：如何制作訓(xùn)練效果更好的數(shù)據(jù)集

本文主要介紹 One-YOLOv5 使用的數(shù)據(jù)集格式以及如何制作一個(gè)可以獲得更好訓(xùn)練效果的數(shù)據(jù)集。

鏈接：

https://mp.weixin.qq.com/s/t4Ppf2qokpClRwCN52zF-g

15.?1月12日直播｜機(jī)器之心“科技年會(huì)”之AIGC技術(shù)應(yīng)用論壇

作為內(nèi)容生產(chǎn)效率工具，AIGC 將在各領(lǐng)域各場(chǎng)景催生怎樣的范式變化？進(jìn)入商業(yè)化階段，圖文多模態(tài)大模型的技術(shù)能力邊界及未來(lái)發(fā)展可能？作為 AI 基礎(chǔ)設(shè)施的預(yù)訓(xùn)練模型，及其安全可控、開(kāi)源普惠……1 月 12 日，「AIGC 技術(shù)應(yīng)用論壇」將深入分享 AIGC 相關(guān)技術(shù)最新進(jìn)展，以及領(lǐng)域企業(yè)前沿實(shí)踐?！窤IGC 技術(shù)應(yīng)用論壇」全日程已正式公布。鏈接：

https://mp.weixin.qq.com/s/8d_ANUSe5CvLUb7r67lIow

其他人都在看

OneFlow源碼解析：靜態(tài)圖與運(yùn)行時(shí)

ChatGPT的一小步，NLP范式轉(zhuǎn)變的一大步

2023年AI十大展望：GPT-4領(lǐng)銜大模型變革

李白：你的模型權(quán)重很不錯(cuò)，可惜被我沒(méi)收了

OpenAI掌門(mén)Sam Altman：AI下一個(gè)發(fā)展階段

比快更快，開(kāi)源Stable Diffusion刷新作圖速度

OneEmbedding:單卡訓(xùn)練TB級(jí)推薦模型不是夢(mèng)

歡迎Star、試用OneFlow最新版本：https://github.com/Oneflow-Inc/oneflow/https://github.com/Oneflow-Inc/oneflow/

關(guān)鍵詞：