1905’te Ukrayna’da, asimile olmuş Yahudi bir ailenin çocuğu olarak dünyaya geldi. Moskova’da kimya mühendisliği eğitimi gördü, Donbass havzasında kimya mühendisi olarak çalıştı. 1930’dan sonra yazar olmaya karar vererek öykü, roman ve oyunlar kaleme aldı. İkinci Dünya Savaşı’nın başından itibaren savaş muhabiri olarak Sovyet ordusuyla birlikte Moskova, Stalingrad, Kursk ve Berlin savaşlarına katıldı; özellikle Stalingrad Savunması sırasında yazdığı yazılar ve sergilediği cesaretle bir efsane oldu. 1943-1946 arasında İlya Ehren­burg’la birlikte, Almanların, işgal altındaki SSCB topraklarında Yahudilere uyguladıkları vahşeti anlatan Çornaya Kniga (Kara Kitap) adlı çalışmayı hazırladı. İlk kez tanıklıklara dayalı bir belge niteliği taşıyan ve gerek tarihî, gerekse insani açıdan büyük öneme sahip bu kitap, Stalin’in “kozmopolitizm”e karşı başlattığı kampanya nedeniyle imha edilerek, ancak yıllar sonra gün ışığına çıkabildi. Narod Bessmerten (Ölümsüz Halk) adlı romanı, tıpkı Stepan Kolçugin gibi Stalin Ödülü’ne aday gösterildi ama Stalin tarafından veto edildi. Gross­man’ın bir sonraki eseri Za Pravoye Delo (1952, Haklı Bir Dava Uğruna) önce övüldü, sonra kınandı. Grossman’ın Nazi ölüm kamplarını anlatan ilk yazı olan (1944) Treblinka Cehennemi adlı makalesi, Nürnberg Davaları’nda yeniden yayımlandı ve belge olarak kullanıldı. Başyapıtı Yaşam ve Yazgı’yı 1960’ta bitiren Grossman, müsveddelerini Znamya dergisine verdi. Ancak roman reddedilmekle kal­ma­dı, devlet güvenlik organları romanı mahkûm ederek ilgili her şeye el koydu. Sovyet toplumunu Yaşam ve Yazgı’dan daha da ağır eleştiren Her Şey Geçip Gider’i tamamladı. Grossman, yaşamının son on yılını Sovyet rejiminin yoğun baskısı altında, eserlerinin hemen hemen hiçbirinin yayımlandığını göremeden geçirdi ve 1964’te Moskova’da umutsuzluk içinde öldü. Ne ki Yaşam ve Yazgı, rejim muhalifleri tarafından ülke dışına çıkarıldı ve bazı eksikliklerle de olsa ilk kez 1980’de, İsviçre’de basıldı. Başyapıtı Yaşam ve Yazgı, yetmiş yıl sonra yüz binler tarafından okunan, eleştirmenlerce “XX. yüzyılın Savaş ve Barış’ı” olarak nitelendirilen Grossman, aynı zamanda tarihin en önemli savaş muhabirlerinden biri olarak kabul edilir. Ölümünden sonra derlenerek yayımlanan İkinci Dünya Savaşı yazıları, eleştirmen ve tarihçiler tarafından bu alandaki en önemli çalışmalardan kabul edilir.