Родился в Вильно (ныне Вильнюс, (Литва) в еврейской семье клезмера. Полное имя Яши - Иосиф Рувимович Хейфец. Уже к трём годам он слыл «вундеркиндом» игры на скрипке. В пять лет поступил в училище при Императорском русском музыкальном обществе. В шестилетнем возрасте исполнил в Ковно (Каунас) на скрипке неполного размера, предназначенной для детей, концерт Ф. Мендельсона в сопровождении оркестра. Через год принял участие в концертах Общества еврейской народной музыки в Петербурге, а в девять стал студентом консерватории Санкт-Петербурга. Окончив консерваторию, Яша начал гастролировать, посетил многие страны.  Его выступления стали  настоящей сенсацией В октябре 1917 года он выступал в Карнеги-Холле (США). Революция, разразившаяся в России, застала его  в Америке. На родину он больше не вернулся и принял подданство США. Женился (даже дважды), имел сына. Он довольно часто выступал перед публикой, жил в Беверли Хиллс и имел летний дом в Малибу. В годы Второй мировой войны часто выступал на фронте перед солдатами. Музыкальные  критики единодушно признавали исполнительское мастерство Хейфеца уникальным явлением искусства 20 века, а публика окрестила его «Королём скрипки». Ещё при жизни он стал легендой. С 1962 г. Хейфец занимался педагогической работой, вел мастер-класс игры на скрипке в университете штата Калифорния в Лос-Анджелесе. В 1934 году он посетил СССР. Эти гастроли были единственным визитом Хейфеца на родину после его отъезда в Америку. За 17 дней в Москве и Петербурге музыкант дал 13 концертов, мастер-класс, встретился со своими родственниками и в Московской консерватории, со студентами. 4 раза он выступал в Израиле. Во время гастролей 1953 года на него было совершено покушение за исполнение музыки Рихарда Вагнера, считавшегося в этой стране фашистским композитором за его звериный антисемитизм и призывы убивать евреев. Больше Хейфец в Израиль не приезжал. Умер знаменитый скрипач от инсульта.