יוסף אחרון נולד בלודג', עיר קטנה בליטא. כשרונו המוזיקאלי יוצא הדופן בלט כבר בגיל צעיר והוא החל בלימודי נגינה בכינור כבר בגיל חמש, אצל אביו. הוא המשיך את לימודיו הפורמליים במוזיקה בקונסרבטוריון של סנט פטרבורג שם למד אצל הכנר המפורסם לאופולד אואר ואצל המלחין אנטולי ליאדוב. בשנת 1908, יחד עם רוזובסקי, גנסין, קריין ומילנר יסד את האגודה למוזיקה יהודית עממית. התחברותו של אחרון למוזיקאים ומלחינים אלה הביאה לשינוי בסגנון ההלחנה שלו. שינוי זה בולט במיוחד באחת מיצירותיו המוקדמות והמפורסמות 'ניגון עברי' (1911). בשנת 1913 עבר לרוסיה וקיבל משרה כראש המחלקה לכינור ולמוזיקה קאמרית בקונסרבטוריון של חרקוב. פעילותו זו נקטעה אחרי זמן קצר בגלל גיוסו לצבא הרוסי בשנת 1916. בשנים שלאחר מלחמת העולם הראשונה יצא אחרון למסע הופעות ככנר באירופה ובמזרח הקרוב והתיישב לבסוף בניו-יורק בשנת 1925. שם המשיך ללמד ולהופיע והחל לכתוב מוזיקה לתאטרון היידי.
בשנת 1932 הוזמנה אצלו מוזיקה לתפילת קבלת שבת בבית הכנסת 'טמפל עמנואל' בסאן פרנסיסקו שהביאה להכרה בו, בארה'ב, כמלחין רציני. בשנת 1934 עבר להוליבוד כדי להלחין מוזיקה לסרטים, אך הרגיש כי הוא מוגבל על-ידי מעסיקיו והמשיך בהלחנת מוזיקה אמנותית ובהופעות. הלחין בחייו כ-80 יצירות, בין המפורסמות שבהן הסונאטות והקונצרטים לכינור, סוויטת הגולם (1932) והמוזיקה שלו למחזות של שלום עליכם, שלום אש, ואברהם גולדפאדן.