Vynález tahací harmoniky je přisuzován Christienu Friedrichu Ludvigu Buschmannovi (1805–1864), který v Berlíně r. 1822 sestrojil händeolin. Jeden takový má pro změnu ve sbírce Německé národní muzeum viz. obrázek vpravo. 

S označením akordeon se setkáváme o sedm let později zdokonalením Buschmannova nástroje Cyrilusem Demianem (1772–1849) ve Vídni. Ten měl již několik knoflíků, které ovládaly celý durový akord a umožnil doprovod melodie v základních harmonických funkcích.  Nový nástroj si nechal C. Demian patentovat. První akordeony byly diatonické. Diatonický akordeonpři roztažení a stažení měchu vydává tón ve dvou výškách, záleží tedy na směru tahu. Někdy na přelomu 19. a 20. století přidal český harmonikář Císař hluboké heligonové basy a tím vznikl velmi oblíbený druh harmoniky zvaný heligonka, která v podstatě zlidověla a do její výroby se na našem území pustilo několik desítek nástrojářů. 

Pro dnešní prestiž a budoucnost nástroje byl však důležitý především vznik chromaticky laděného akordeonu, u kterého jazýčky rozeznívá stisk knoflíků nebo kláves. Navíc oproti diatonice vydávají stejný tón při roztažení i stažení měchu. Chromatické akordeony byly konstrukčně složitější, proto je jejich výroba spojená s výrazně menším počtem výrobců. České chromatiky např. bratrů Hlaváčkových z Loun, Josefa Kebrdleho z Hořovic, Josefa Vavřína z České Třebové nebo Konstantina Stibitze z Českých Budějovic byly exportovány do celého světa. Ani v druhé polovině 20. století však vývoj nástroje neskončil a důležitou změnu přineslo sestrojení barytonových basů, které odstranily nedokonalost doprovodné části. Umožňují melodickou hru, hru rozložených akordů i chromatické stupnice v rozsahu několika oktáv. Barytonové basy se v československé výrobě v Hořovicích začaly uplatňovat od r. 1956.