Родился в селе Ладыжино, Каменец-Подольской губергии. Его отец с началом 1 мировой войны был призван в армию, вернулся по ранению в 1916 году. Семья переехала в Винницу, где прошло Яшино детство. В школе он увлёкся собиранием марок и собирал их всю жизнь, пережив в войну гибель своей первой коллекции. После школы поступил в Уманский с/хозяйственный политехникум, чтобы получить агрономическое образование. Но когда он был на втором курсе, на  базе техникума  создали Институт иностранных языков. Яков резко поменял специальность. В 1936 году он окончил институт и был распределён в Одесский немецкий пединститут, где учились, в основном, дети немецких колонистов Юга Украины. Стал аспирантом, но в 1939 году был призван в армию военным переводчиком. Прошёл Финскую  войну и всю Великую Отечественную. Был награждён боевыми орденами и медалями. Его отец, не успевший эвакуироваться, погиб вместе с остальными евреями Винницы. Погиб на войне и младший брат Ефим. Мать Якова Рахиль жила в  эвакуации в Челябинской области, сестра Мирра окончила в Средней Азии техникум связи и была распределена в Уфу на радиостанцию им Коминтерна, которая вещала, начиная передачи словами «Говорит Москва». Яков демобилизовался в 1952 году и поступил старшим преподавателем в Уфимский Педагогический институт им. Тимирязева. Со временем стал зав. кафедрой немецкого языка.  После преобразования института в университет, его назначили деканом факультета иностранных языков. Он очень серьёзно исследовал культуру тюркских народов, от которых, как считается, произошли башкиры. Германист Яков Гельблу в статье "Древние тюрки в Америке"пришёл к выводу, что германские племена имеют тюркское происхождение. В конце VIII века они приплыли на плотах в Америку и основали там цивилизацию инков. Гипотеза основана на удивительной близости языка инков и нижненемецкого диалекта. Яков Иосифович написал несколько очень известных книг. Это «Учебное пособие по письменной практике немецкого языка», «Древние тюрки и германские племена», «Инки и германские племена». На 95-ом году жизни Яков Гельблу свою большую коллекцию филателистических материалов (более 7 000 конвертов) безвозмездно передал Музею связи Уфы. Он был заслуженным учителем Башкирии, кандидатом филологических наук. В 2011 году выпущен  в России ХМК с его портретом.