מרדכי הרשמן נולד בצ'רניגוב ומגיל צעיר היה משתתף פעיל במקהלות שונות של בית הכנסת. משרתו הראשונה כחזן היתה בעיר ז'יטומיר אך הוא נשאר שם רק זמן קצר מאד מכיוון שהוצעה לו משרה כחזן בוילנה. במשך מלחמת העולם הראשונה, גוייס לצבא הרוסי אך מסופר שמפקדו היה כל כך מושפע מקול הטנור שלו שהוא שחרר אותו כדי שיוכל לחזור לקהילתו בוילנה. לאחר המלחמה יצא למסע בכל רחבי רוסיה ואירופה כשהוא מופיע בבתי כנסת וכסולן עם תזמורות מקומיות. בשנת 1920 היגר לארה'ב, היכן שקיבל משרה כחזן ראשי בבית הכנסת בית-אל בברוקלין. תוך כדי משרתו זו ערך מסעות באמריקה, אירופה ופלשתינה. כפי שהיה נהוג בין החזנים של אותה תקופה הוציא לאור מספר תקליטים של מוזיקה חזנית ועממית יהודית.