Окончил хедер и городское училище в Ростове-на-Дону, после чего изучал зубоврачебное дело. Работал дантистом. Трумпельдор мечтал о создании в Палестине еврейских сельскохозяйственных коммун, которые в случае необходимости следовало защищать с оружием в руках.
Российская империя
В 1902 г. Трумпельдор был призван в российскую армию и назначен в часть, расположенную в Киевском военном округе. После начала русско-японской войны Иосиф написал рапорт с просьбой отправить его на фронт. Став военфельдшером 27-го Восточно-Сибирского полка, дислоцированного в Порт-Артуре, он добился перевода в полковую разведку. При обороне Порт-Артура, Трумпельдор был тяжело ранен в бою и потерял левую руку. Однако, отказался от демобилизации и обратился с рапортом о возвращении на передовую:
Ефрейтор 7 роты Иосиф Трумпельдор, обращаясь в докладной записке от 24 числа к своему ротному командиру, пишет:
«У меня осталась одна рука; но эта одна — правая. А потому, желая по-прежнему делить с товарищами боевую жизнь, прошу ходатайства Вашего благородия о выдаче мне шашки и револьвера».
Трумпельдор был прикомандирован к госпиталю, где он имел возможность быть избавленным от смертельной опасности и трудностей окопной жизни, но он пошёл добровольцем на передовую линию фронта, где неоднократно показал чудеса храбрости…
Будучи тяжело раненным, Трумпельдор не пожелал воспользоваться законным правом обратиться в инвалида и презирая опасность, вновь предложил свою полуискалеченную жизнь на борьбу с врагом. Трумпельдор приносит на благо Родины больше того, что требуется нашей присягой, и поступок его заслуживает быть вписанным золотыми буквами в историю полка.
Награждаю его Георгиевским крестом и произвожу в старшие унтер-офицеры.
Приказ этот прочесть по всем ротам, батареям и отдельным частям и побеседовать с солдатами по содержанию Приказа.
— комендант крепости Порт-Артур, генерал-лейтенант К. Н. Смирнов, приказ от 29 ноября 1904 г.
Просьба солдата-героя была удовлетворена. После капитуляции Порт-Артура Трумпельдор был отправлен в Японию, в лагерь для военнопленных, где заботился о пленных, особенно евреях, и организовал сионистскую группу и группу еврейских солдат, целью которых стало создание сельскохозяйственной коммуны в Эрец-Исраэль. В 1906 году получил звание прапорщика, став, таким образом, одним из немногих офицеров иудейского вероисповедания в российской армии.
После войны Трумпельдор поступил на юридический факультет Санкт-Петербургского университета. Одновременно он собирал единомышленников, готовых участвовать в создании сельскохозяйственной коммуны в Палестине; целью группы было освобождение еврейского народа от национального угнетения путем обеспечения его независимого существования в Эрец-Исраэль.