Родился в Запорожье в еврейской семье. По окончании семи классов пошёл работать токарем на завод. В 1935 году записался в спортивную секцию и начал заниматься борьбой. Выступал за с/о «Динамо». Уже в 1938 году вошёл в десятку лучших спортсменов Днепропетровской области. В 1940 году окончил школу тренеров, а в апреле 1941 года его призвали в РККА и направили в танковую школу.
 В первые же дни ВОВ под Минском попал в плен. Выдал себя за осетина и это спасло ему жизнь. Сначала находился в лагере военнопленных на Северо-Западе Германии. Летом 1942 года был переведён в концлагерь под городом Оснабрюком (Нижняя Саксония). Его передали в крестьянское хозяйство для работы батраком После освобождения лагеря Меннен, где Пункин находился в 1945 году, прошёл проверку в СМЕРШе* и был возвращён в Советскую армию. Служил в Магденбурге и активно занимался классической борьбой. В 1947 году стал чемпионом Вооружённых сил, а в 1949 году – впервые чемпионом СССР по классической борьбе. После того, как повторил этот успех ещё дважды, был включён в Олимпийскую сборную страны. 
В 1952 году на Олимпиаде в Хельсинки впервые участвовали советские спортсмены, которые завоевали 71 медаль. Среди них были золотые медали еврейских борцов Якова Пункина и Бориса Максовича Гуревича. Пункин разработал и внедрил свой коронный приём – бросок прогибом («винт»). Он победил во всех пяти предварительных схватках. Ему было присвоено звание Заслуженный мастер спорта. Советское правительство наградило его всего лишь медалью « За трудовую доблесть», что никак не соответствовало уровню его достижения. Этого спортсмена финские журналисты называли «Человек без нервов» и «Молнией на ковре». Пять раз он становился чемпионом Советского Союза. Правда, на Чемпионате мира в 1953 году он занял лишь пятое место, но трудно теперь узнать причину этого. В 1961 году Яков Пункин перешёл на тренерскую работу. Умер в возрасти 73-х лет. Похоронен в Запорожье.