Родился в польском приграничном городе Стависки (Лодзинская губерния) 12-м ребёнком в семье раввина. Отец умер почти сразу после рождения Акивы и мать была вынуждена отдать сына на воспитание родителям мужа. После окончания школы Акива уезжает в Белосток учиться на преподавателя талмуда. Ещё в школе он научился играть в шахматы и очень увлёкся ими. Достал учебник шахматной игры Сосница, изучил его и начал постепенно обыгрывать опытных шахматистов. Первые официальные партии Акива сыграл в Лодзи в 1903 году с Георге Сальве. На международной арене дебютировал в шахматном турнире в германском городе Бармен, разделив первое и второе места с О. Дурасом. Рубинштейн буквально ворвался на мировую арену, став одним из доминирующих игроков в мире.  С 1905 по 1911 год 8 раз брал призы на международных турнирах. Он выиграл Всероссийский турнир в 1907 году, став чемпионом России. В начале 1930 года, возглавляя сборную команду Польше на шахматной олимпиаде он занял 1 место. Играя на первой доске,  выиграл 13 партий и 4 свёл вничью, не проиграв ни одной.
 В 1910 году Рубинштейн, как сильнейший шахматист, должен был играть с Ласкером, оспаривая звание чемпиона мира, но не смог собрать нужную сумму денег, необходимую для проведения матча. Тогда существовал такой порядок. А потом помешала Первая мировая война. Так этот матч никогда не состоялся. А Рубинштейн выигрывал турнир за турниром. Он победил в 1912 году  последовательно в пяти международных турнирах за один год. В истории шахмат такого раньше никогда не было. Только через 50 лет Бент Ларсен смог осуществить подобное, но у него на это ушло 3 года. 1912-й год назвали годом Акивы Рубинштейна. Его партии изучаются  по сей день.
 После Первой мировой войны, Рубинштейн продолжал играть в турнирах с умеренным успехом, но он не смог вернуться к своему бывшему высокому уровню игры, пока он выиграл турнир Вене в 1922 году, опередив Александра Алехина и Ричарда Рети. К сожалению, замечательный шахматист играл очень нервно, допуская грубые ошибки. Наряду с блестящими победами, Акива иногда получал мат в 2 хода. Это было началом глубоких психологических проблем, которые в конце концов перешли в серьёзное психическое заболевание. В 1932 году Акива Рубинштейн был вынужден окончить свою шахматную карьеру. Некоторое время он вынужден был провести в клинике. Не исключено, что его болезнь и отсутствие на шахматном Олимпе, спасли его от нацистов во время 2 мировой войны. 
Свои последние годы он провёл вместе с семьёй  в Бельгии. Частично признанная Сахарская Арабская Демократическая Республика выпустила марку с портретом Акивы Рубинштейна.