1894’te Yahudi bir ailenin çocuğu olarak Doğu Galiçya’daki Brody’de dünyaya geldi. Viyana ve Lemberg’de edebiyat ve felsefe öğrenimi gördü. Birinci Dünya Savaşı’na katıldı. Avusturya-Macaristan İmparatorluğu’nun çöküşü, Roth’un hayatında belirleyici bir rol oynadı. Savaştan sonra Viyana’ya dönerek sol eğilimli gazetelerde muhabirliğe başladı. Bu dönem, yazarın Habsburg monarşisine eleştirel yaklaştığı yazılarıyla Kızıl Roth olarak tanındığı dönemdir. 1920’de Berlin’e geçerek gazeteciliğe Neue Berliner Zeitung ve Berliner-Börsen-Courier’de devam etti. 1923-1932 yılları arasında liberal Frankfurter Zeitung’un muhabirliğini yaptı; bu dönemde SSCB, Polonya, İtalya ve Arnavutluk gibi ülkelere seyahat etti. Nasyonal Sosyalizmin Avrupa için oluşturacağı tehlikeyi bir kehanet gibi sezinleyen ilk romanı Örümcek Ağı, bu dönemin eseridir, ancak pek ilgi görmez. Roth ironik bir şekilde asıl başarısını dönemin savaş sonrası toplumunu odağa alan ve güncelin nabzını tutan eserleriyle değil, emperyal Orta Avrupa’ya özlem duyan ve melankolik bir nostaljinin çekim alanına kapılan eserleriyle 1930’dan sonra yakalayacaktı. 1930’lu yılların başında önce Eyub adlı romanıyla, ardından da Avusturya-Macaristan İmparatorluğu’nun yükselişi ve çöküşünü anlattığı, edebiyat tarihine başyapıtı olarak geçecek Radetzky Marşı’yla uluslararası çapta ün kazandı. Joseph Roth, 1933’te Hitler’in iktidara geldiği gün Fransa’ya göçtü. Kitapları Naziler tarafından kara listeye alındı ve yakıldı. Kendisiyle aynı durumda olan pek çok yazarın aksine Roth, sürgündeyken kitaplarını Hollanda ve Belçika’da yayımlatma olanağı buldu. Yine de son yıllarını mali kaygılar, gelecek tasaları ve yoğun alkol tüketiminin hızlandırdığı hastalıklarla boğuşarak geçirdi. Roth, 1939’da sürgün yaşamı sürdüğü Paris’te sefalet içinde öldü.