Родился в еврейской земледельческой колонии Излучистая (Херсонская губерния) Отец Голинкина умер до рождения сына. Мать Голинкина Эльке Топаз в 1879 г. поселилась в Херсоне. Мальчик получил традиционное еврейское образование, учился играть на фортепиано, пробовал сочинять музыку, показал свой религиозный распев на четыре голоса хазану* П. Минковскому и был принят в хор синагоги. В 1890 г. уехал в Варшаву и поступил в консерваторию, учился по классу контрабаса, затем — по классу фортепиано. В 1896 году окончил консерваторию (где был признан лучшим учеником по гармонии и композиции), работал в оперном театре в Ростове-на-Дону (суфлер и дирижер хора), затем — в Перми (второй дирижер оперного театра) С 1896 г. по 1911 г. Голинкин дирижировал операми в Киеве, Харькове, Тифлисе, Казани, Саратове, гастролировал в Петербурге. В 1911 г. он окончательно переехал в Петербург и шесть лет был главным дирижером оперной труппы Народного дома. В том же году Голинкин встретился с Ф. Шаляпиным на постановке оперы «Русалка».  Тогда же началась их многолетняя дружба. Оценив его высокий профессионализм, Шаляпин ходатайствовал перед дирекцией Мариинского императорского театра о принятии талантливого дирижёра в Мариинский театр, но ему вежливо объяснили, что евреям выступать в императорских театрах запрещено законом. Шаляпин очень расстроился за себя, оскорбился за Голинкина, и присоветовал ему уезжать из России: «Порядочному человеку здесь, брат, делать нечего»-, сказал он, а
впоследствии, как известно, и сам уехал.  В эти годы Голинкин внимательно следил за еврейской прессой, читал труды В. Жаботинского, Л. Пинскера и Т. Герцля. В 1917 г. написал статью «Хехал ха-омманут бе-Эрец-Исраэль» («Храм искусств в Эрец-Исраэль»), идея которой возникла еще в 1912 г. Голинкин писал, что возрождение Эрец-Исраэль невозможно, если рядом с Библией и науками не найдется достойного места для искусства, в том числе для оперного театра на иврите. Голинкин начал сбор средств на строительство оперного театра в Эрец-Исраэль, создал в Петрограде еврейский камерный ансамбль «Зимра», выступавший по всей России. Доходы от его концертов шли в фонд строительства театра. В 1917 г. Голинкин обратился к Шаляпину, убеждая его поддержать идею оперы в Эрец-Исраэль. Шаляпин выступил на концерте «в пользу фонда образования театра в Палестине» в рамках Палестинской недели, организованной в апреле 1918 г. Петроградской сионистской организацией. Он пел «Ха-Тикву» на иврите и песню на идиш И. Энгеля. В том же году Голинкин получил предложение занять пост главного дирижера Мариинского театра, (который уже перестал быть императорским), но отказался и уехал в Одессу, откуда намеревался морем отправиться в Эрец-Исраэль. Однако он смог сделать это лишь в марте 1923 г., получив заграничный паспорт для гастрольной поездки. Собрать нужную для строительства оперного театра 
сумму  ему так и не удалось, но всё же, в сентябре 1923 г. он дирижировал оперой «Травиата», впервые исполненной на иврите коллективом «Ха-опера ха-Эрец-Исреэлит» в Тель-Авиве, причем среди солистов не было приглашенных певцов. Поскольку собственного помещения у труппы не было, спектакль проходил в кинотеатре «Эден». Его здание сохранилось до сих пор (в начале улицы Лилиенблюм).  В том же году Голинкин дирижировал первым симфоническим концертом в Эрец-Исраэль. За 1923–27 гг. оперный театр под руководством Голинкина поставил более 15 спектаклей классического оперного репертуара. Спектакли давали в Тель-Авиве, Иерусалиме, Хайфе, их посещали и евреи, и арабы, и англичане, за первые три года — более 150 тысяч человек. А в Тель-Авиве тогда жило всего 20 000 человек. В 1927 г. Голинкин выпустил написанную на иврите книгу «Хехал ха-омманут» («Храм искусств»), в которой излагал программу развития в Эрец-Исраэль драматического театра, оперы, балета, симфонической музыки и подводил итог четырехлетней работы израильской оперы. В 1927–29 гг. Голинкин находился в США, где собирал средства на финансирование деятельности оперы и на строительство Храма искусств. Встретился в Нью-Йорке с Ф. Шаляпиным. Вернувшись в 1929 г. в Эрец-Исраэль, Голинкин возобновил некоторые оперные спектакли, а в 1930 г. создал художественный коллектив, с которым совершил концертное турне по стране. На собранные в Америке средства был создан Махон ле-мад‘эй музика (Институт музыкальных наук), просуществовавший с 1931 г. по 1933 г. Голинкин возглавлял институт, а также руководил отделениями оперы и симфонических концертов. Также создал при институте симфонический оркестр. В 1932 г. Шаляпин прислал Голинкину приглашение на должность главного дирижера Русской оперы, которую он намеревался открыть в Париже; на это приглашение, как и на приглашения из Советского Союза, Голинкин ответил отказом. Он писал пригласившему его в СССР своему старому другу и коллеге Боголюбову: «Я бы с особым удовольствием работал вместе с моими старыми друзьями, но, исполняя Вашу просьбу быть откровенным, признаюсь чистосердечно, что я палестинский гражданин и здесь мой дом. В Россию я могу приезжать лишь на время сезона при условии гарантированного свободного возвращения на родину после сезона». Летом 1940 г. Голинкин создал новую оперную труппу, поставил оперу «Жидовка» Ж. Ф. Халеви. В 1948 г. Голинкин возобновил оперные спектакли. Политические события в стране (Война за независимость, Синайская кампания) отодвинули реализацию его планов. Однако Голинкин и в преклонном возрасте продолжал заботиться о развитии музыкальной жизни в стране. Он похоронен на старом кладбище Ришен ле-Циона. Его именем названы улицы в этом городе и в Тель-Авиве