אשר מזרחי נולד בעיר העתיקה של ירושלים, בשנת 1890 , לאב יצחק מזרחי שהיה מלומד בתורה ומורה ידוע. מספר שנים לאחר שנולד, עברה משפחתו מחוץ לחומות העיר ובנתה בית חדש ממול לבית הכנסת הספרדי בשכונה החדשה שיוסדה, מונטיפיורי, הידועה כיום בשם ימין משה. משפחת מזרחי התפרנסה מהשכרת השימוש בתנור העץ שלהם לחברי הקהילה בשביל אפייה ובישול. תושבי השכונה היו מביאים עוגות ספוג, בורקס וחמין להתבשל בתנור משפחת מזרחי.
כבר מגיל צעיר, אנשי הקהילה הבחינו בקולו הנעים של אשר מזרחי וכשרונו המוסיקלי, והוא החל להרוויח כסף בעבודה כחזן מקומי ונגן עוד. הוא אף תמך בעצמו ע''י מכירת תיקי טלית רקומים, וכן וילונות מעוטרים לתיבת בית הכנסת. אשר מזרחי נישא בגיל צעיר לרחל מבית אלישייך, ולזוג נולדו שתי בנות, רבקה ושרה.
במהלך מלחמת הבלקנים (1912-1913), צעירים יהודים מתושבי ירושלים ברחו מהעיר או הסתתרו במטרה לברוח מהגיוס הטורקי. רבי אליהו פאניז'יל, סוחר עשיר ומעריץ של אשר מזרחי, עזר למזרחי לברוח מארץ ישראל על ספינת מטען של עסקיו שייצאה תפוזים למלטה. הקהילה היהודית הקטנה במלטה לא הייתה מסוגלת להתחבר לתפילה של חזן ברמתו של מזרחי, ולכן בסופו של דבר הוא בחר להתיישב בתוניסיה.
אשר מזרחי נטמע במהירות בתרבות ובסביבה התוניסאית, ותוך שנה כבר יכל להביא את אשתו ובנותיו. בתוניסיה הוא לימד פיוטים ושירים ירושלמיים למקומיים. בנוסף, הלחין וייצא לירושלים שירים רבים על כמיהתו לציון, אשר התקבלו בהתלהבות ובוצעו ע''י הקהילה בשירת הבקשות. אשר מזרחי היה גם מעורב עמוקות בחיים התרבותיים של הקהילה המוסלמית בתוניסיה והלחין שירים רבים בערבית.
בשנת 1919, לאחר מלחמת העולם הראשונה ושחרור הצהרת בלפור, החליט לחזור לירושלים עם משפחתו, שכללה כעת שני ילדים נוספים - יהודית ויצחק.
בחזרתו לימין משה, הפך מזרחי לדמות חשובה ומכובדת בחיים המוסיקליים בירושלים: הוא כתב שירים בלדינו, הלחין פיוטים חדשים, הופיע ולימד. יעקב יהושוע כתב בספרו 'ילדות בירושלים הישנה', ''אשר מזרחי היה המפורסם ביותר מבין הנגנים והפייטנים שהופיעו בירושלים. הוא היה ידוע ומוערץ אפילו על ידי הערבים בעריהם ובכפרים הקטנים, ולנשות ירושלים, אשר בנתיים הפכו מבוגרות ואפורות; אשריקו מזרחי היה מהמוסיקאים שבלטו במיוחד. כולנו, נשים וגברים, הוקסמנו ממנו בשל מראהו הנאה. הוא היה כהה, עם עיניים ירוקות, וקול נעים ששבה לבבות. בניגוד למוסיקאים אחרים שלבושם היה מרושלם, אשריקו היה לבוש בקפדנות; צווארו היה מכוסה תמיד במטפחת משי לבנה או צבעונית, שהייתה גם דרכו להגן על הצוואר מקור הלילה. כאשר היה נכנס לחדר עם חבריו המוסיקאים, כל הנוכחים היו קמים בכבוד. העוד שלו היה מתנה מבית שכיב, והיה בעל תיק משי לבן. הייתה לו הליכה איטית ומדודה שהתקשרה עם ההכרה בערכו''
בנוסף לנסיונות עסקיים רבים אחרים, אשר מזרחי היה מוסמך כקצב, אך לא פנה אל קריירה זו מעולם.
בשנת 1926, הוזמן להופיע בבית הכנסת הגדול 'אליהו הנביא' באלכסנדריה, מצרים. ביראת כבוד מכשרונו של מזרחי, הקהילה היהודית באלכנסדריה ביקשה ממנו להישאר ולשמש כחזן וכקצב בקהילה, אך הוא דחה את הצעתם הנדיבה.
מאורעות תרפ''ט בשנת 1929 שברו את היחסים העדינים שנבנו בין היהודים והערבים בארץ ישראל. כוחות ביטחון הציעו למזרחי להפסיק להשתמש בתרבוש (כלי נגינה טורקי) בהופעותיו, כלי שהיה אחד מהמרכזיים באנסמבל שלו. הציבור הערבי קיבל את המעשה כביטוי של תמיכת מזרחי בציונות, וכתוצאה מכך הוא קיבל איומים רבים שגרמו לו לעזוב את ארץ ישראל ולחזור לתוניסיה.
חזרתו של מזרחי לתוניסיה הייתה כהמשך רציף לשהותו הקודמת שם. הוא זכה לתהילה בעקבות המבנה המגוון שלו של שירים בערבית, והפך לאחד המלחינים המובילים של שירים תוניסאיים. הזמרים הגדולים באותו זמן בתוניסיה, מוסלמים ויהודים גם יחד, הופיעו עם שיריו, ובייחוד השחקנית-זמרת היהודייה חביבה מסיקה, שהייתה יודעה גם כ''חביבת אל כל'' (משחק מילים דו משמעי שפירושו חביבת כל/קול - חביבה לכולם וחביבת קול)
יסי ריאחי משחזר בסיפור על הפגישה הראשונה בין חביבה מסיקה ואשר מזרחי, ''היא עצרה אותו ועמדה למולו עם עיניים מחייכות ואמרה, 'מר אשר, האם תהיה נחמד ותלמד אותי איך לנגן בעוד?'. מזרחי שאל אותה 'מי את', והיא ענתה 'אני האחיינית של ליילה ספג' (sefeg, זמרת מפורסמת בעצמה), איך תוכל לסרב?'. אשר לימד אותה לנגן בעוד, וכלים בסייסים אחרים של שירה וריקוד.''
לאחר מותה הטרגי של מסיקה בגיל הצעיר 35, הלחין מזרחי מחווה לכבודה.
בשנות השלושים המוקדמות, נסע לפריז להקליט ביחד עם מוסיקאים עמיתים שייח אל עפרית, ספיה רושדי, ודלילה מסעוד אחביב. חברת הסרטים Pathè צילמה סרט קצר, מעין קליפ, של אשר מזרחי שר אחד משיריו ומלווה את עצמו בעוד. סרט קצר זה הוצג במסכי הקולנוע לפני הקרנת הסרטים הגדולים יותר. בשנות השלושים המאוחרות התקבל מזרחי כחבר באיגוד הצרפתי לאמנים ומלחינים. בשנת 1946, פרסם אוסף של פיוטיו, ''מעדני מלך'', שהוצא לאור ע''י מכלוף ניג'אר מסוסה.
חמדי עבאסי הזכיר בספרו 'תוניס שרה ורוקדת' ששייח אל עפרית חייב את שירו המפורסם ביותר, ''תספר או תתקרב'' לאשר מזרחי. בדרך זו, גם שירים אשר נכתבו בערבית ולקהל ערבי ביטאו את ערגתו של מזרחי אל מולדתו. עבאסי אף מספר שקולו של אשר מזרחי היה מהראשונים ששודרו בתחנת השידור החדשה שיוסדה בתוניסיה. השיר הראשון שהושמע היה ''אוטיני בוסה מין פומק, איווה דמק יה מהלוק'' (תני לי נשיקה מפיך, א-לוהים כמה שאת יפה), אשר הפך פופולרי מאוד ונשאר על שפתי כל שומעיו.
רדיו תוניסיה אישרה לאשר מזרחי להשתתף בתכנית מיוחדת בעברית, ששודרה בכל יום שני. כשתכנית יום שני אחת נפלה בשבועות, סירב מזרחי להופיע, ותחנת הרדיו ביטלה את החוזה.
הזמר היהודי-תוניסאי ראול ג'ורנו היה מעריץ גדול של אשר מזרחי. בראיון לטלוויזיה הישראלית לסדרת הסרטים ''מקרתגו לירושלים'' (מ1933), הוא מספר שאשר מזרחי היה ''אחד משלושת המלחינים הגדולים ביותר בתוניסיה'' וציין ש''רק אשר מזרחי, רק הוא היה מסוגל לשיר בסגנון הבגדדי - אחד מהסוגים המסובכים ביותר של שיר ערבי''.
אשר מזרחי זכה במספר פרסים, והזכור ביותר הוא ''Nishan Ip-Tiher,'' שניתן לו ע''י ממשלת תוניסיה.
בפברואר 1957, שנה לאחר שתוניסיה קיבלה עצמאות מצרפת, חביב בורגיבה, נשיא הרפובליקה החדשה, ביקר את בית הספר ''אור תורה'' ברובע היהודי. שראל חדד, נשיא הקהילה היהודית התוניסאית, כתב בספרו ''צרפת-ישראל-תוניסיה, שלוש אהבות'': ''אשר מזרחי קיבל את בקשת הנשיא והלחין שיר בערבית במיוחד לכבוד ביקורו. הנשיא, חביב בורגיבה, נהנה מהשיר מאוד ובייחוד הופתע מהערבית הצחה כשפת אם של מזרחי''
בשנת 1967, עם עזרה מאת שראל חדד שהיה גם עורך דין, חזר מזרחי לשראל לאחר כמעט ארבעים שנה שחי בחו''ל. הוא הגיע באוגוסט, מספר שבועות בלבד לאחר מלחמת ששת הימים.
בזמן שהיה במרסיי, הספיק מזרחי להקליט מספר שירים ואת תפילת עבודה ליום כיפור, כ''תשלום'' לשראל חדד שעזר לסגור את מסמכי ההגירה.
בריאותו של מזרחי החלה להדרדר, והוא כבר לא יכל לתייר את שכונת ילדותו בעיר העתיקה, הכותל וימין משה. בסתיו 1967 היה כבר רתוק למיטתו ולא יכל להשתתף בהקפות של שמחת תורה ליד שער יפו. אשר מזרחי נפטר ביום שלאחר שמחת תורה.
באותה שנה, הודפסה מהדורה חדשה של ספרו ''מעדני מלך''. הספר הופץ בשבת זכור, יום שבתי כנסת רבים הקדישו לזכרו של אשר מזרחי. ניתנו הקדמות ודברי שבח לזכרו של מזרחי ע''י רבנים ספרדיים גדולים כרבי עובדיה יוסף, רבי דוד שלוש, רבי דוד גז, הרב הראשי לירושלים ורבי אליהו פרדס.
כיום, ששים שנה לאחר הפרסום הראשון של ''מעדני מלך'', אנו עדיין שומעים את פיוטיו של אשר מזרחי ברבים מהקהילות הספרדיות והמזרחיות בישראל ובעולם.
