Михаил Гинзбург родился в музыкальной семье, в Минске. Там же занимался в музыкальном училище, а двадцати лет, в 1922 году, поступил в Ленинградскую консерваторию, которую закончил через семь лет, получив диплом «художника-пианиста». Еще в годы учебы в консерватории работал в небольших джазах Ленинграда, которые выступали перед началом сеансов в фойе кинотеатров. Позже, в начале 30-х годов пианист с консерваторским дипломом играл в джазах ленинградской эстрады, выступая с ними в концертах и в ресторанах, а в 1937 году М. Гинзбурга приняли в Государственный симфонический оркестр СССР.
В этом солидном коллективе М. Гинзбург проработал более четырех лет, но сердце тянуло его по-прежнему на эстраду, к джазовой музыке, с которой были связаны все юные годы. И при появлении первой же возможности он покидает «фирменный» оркестр, а в апреле 1941 года поступает в джаз радио, идет работать к своему кумиру — Александру Цфасману.