Родился в Омахе, штат Небраска. Его отец Фридрих происходил из еврейского рода Поргисов (Париасов). Род этот дал миру немало знаменитых людей, в том числе Франца Кафку, драматурга Карла Поргиса, композитора Генриха Поргиса  и многих других. Фридрих родился  в
 Линце  у еврейских родителей, которые перешли в католичество. Он занимался пивоварением и в возрасте 24-х лет эмигрировал в США. Поселился в Омахе, встретил там девушку из семьи немецких эмигрантов по имени Энн лютеранского вероисповедания и женился на ней. У них родился мальчик, которого они назвали Фредериком. Фамилия отца была Аустерлиц.  Старшую сестру Фреда звали Адель. Уже  в раннем детстве у них обоих обнаружился талант к танцам. Мать отдала их в танцевальную школу. Общеобразовательную же они не посещали ни дня. Вскоре пара, взяв себе общий псевдоним Астер, начала выступать в водевилях, а ещё через некоторое время их пригласили на Бродвей. 
Они   выступали в Бродвейских шоу очень успешно, причём, как ни странно,Фред находился в тени своей сестры, которая была ослепительно красива и прекрасно танцевала. В 1927 году Джордж Гершвин написал специально для них мюзикл «Забавная мордашка». В 1932 г. Адель вышла замуж за герцога Чарлза  Кавендиша и семейная танцевальная пара распалась. Фред стал выступать один. Со временем он обратился к кино. Студия Уорнер Бразерс  на пробах отвергла его, о чём владелец студии потом горько пожалел, предлагая Фреду любые деньги за участие в выпускаемых им фильмах. Но Фред обиды не простил. Его кинодебют состоялся в в 1933 г. в ленте «Танцующая леди», но был не очень успешным. Признание пришло через год с картиной «Полёт в Рио». Его партнёрша по фильму Джинджер Рождерс стала постоянной партнёршей в танцах. Вместе они сыграли в десяти хитовых мюзиклах («Весёлый развод»«Цилиндр», « «В ритме свинга», « Потанцуем» и др.) В этих фильмах исполнялись песни Ирвинга Берлина, Джорджа и Айры Гершвиных. Последним мюзиклом, в котором они выступали вместе, стал цветной фильм «Семья Баркли с Бродвея», вышедший на экраны в 1949 г. В том же году Фред Астер получил Оскара  за ряд кинокартин, в которых он играл, исполняя песни и танцы. В 70-е годы постаревший артист перешёл на драматические роли, показывая и здесь недюжинный талант. Он был женат дважды, причём второй раз женился, когда ему исполнилось 80 лет на женщине моложе его вдвое. У него было двое детей от первого брака. С обеими жёнами он был счастлив. В 1960 году написал книгу мемуаров « Шаги во времени». Что касается его еврейства, то речь может идти лишь о происхождении, которое отрицать бессмысленно. Жизнь он прожил и похоронен был как католик и всё же наличие в нём еврейской крови даёт основание написать этот очерк. В 2000 году в Туркменистане вышел почтовый блок, в верхнем левом углу которого, помещена марка, где изображены Фред Астер и Джинджер Роджерс в танце. В середине 80-х знаменитый итальянский режиссёр Ф.Фелини снял фильм об этой звёздной паре.