🔵"DeepSeek Rivoluziona il Parallelismo: Novità e Ottimizzazioni per l'Addestramento Open Source"

Giorno: 27 febbraio 2025 | Ora: 03:53 Il 27 febbraio, PANews ha riportato che DeepSeek ha annunciato l'apertura di diverse ottimizzazioni per strategie di parallelismo nel quarto giorno della settimana dell'open source. Tra le novità introdotte ci sono il DualPipe, un algoritmo di parallelismo bidirezionale che migliora l'overlapping tra calcolo e comunicazione durante l'addestramento V3/R1, l'EPLB, un bilanciatore di carico esperto che aumenta l'efficienza nella distribuzione delle risorse di calcolo, e uno strumento per l'analisi dell'overlapping tra calcolo e comunicazione, tutto volto a migliorare le performance di addestramento. https://www.panewslab.com/zh/sqarticledetails/27zksd3u.html