משה קוסביצקי נולד בסמורגון פולין, בן בכור בין ארבעה בנים שכולם פתחו קריירה של חזנים. קוסביצקי אובחן עוד בצעירותו כעילוי וכבר בגיל שמונה הצטרף למקהלת בית הכנסת בסמורגון בהדרכתו של אפרים שלפאק. קוסביצקי עבר לוילנה כדי ללמוד זמרה בהדרכתו של אליהו זלוטקובסקי ונכנס לישיבת רמאילס כדי להשלים את לימודי היהדות ולימודים חילוניים. קוסביצקי קיבל את משרתו הראשונה כחזן בבית הכנסת הגדול בוילנה. ב 1924 נבחר קוסביצקי להחליף את החזן גרשון סירוטה בבית הכנסת טומצקי בורשה, מינוי שהזניק את הקריירה שלו. בהיותו בורשה החל לנסוע ברחבי אירופה ולשיר בבתי כנסת וגם באולמות קונצרטים. עם פרוץ מלחמת העולם השנייה ברח לרוסיה והמשיך לנסוע ולהופיע כזמר אופרה במוסקבה, לנינגרד, אודסה וקייב. בשנת 1947 היגר לארה'ב שם קיבל משרה בבית הכנסת בית אל בברוקלין. בתקופת ישיבתו בארה'ב הוא סייר ברחבי ארה'ב, דרום אפריקה, ישראל, וקיבל הכרה רחבה כאחד מגדולי החזנים של תקופתו.