Місцевий краєзнавець Віталій Петровський у 1990-х роках писав, що перша офіційна згадка про Ямпіль датована 1580 роком. Місцевий історик Сергій Борсуковський вважає, що до цього місто могло мати іншу назву. Є польські старовинні карти, де населений пункт на місці Ямполя називається Кременчук. А поряд із ним позначені сусідні села Гальжбіївка, Біла і молдовське місто Сороки.
Вважається, що місто засноване великим коронним гетьманом Яном Замойським (1541—1605) i назване за його іменем.
Відомий з XVI століття як містечко Брацлавського воєводства з жвавою торгівлею.
Під час Хмельниччини місто якийсь час було під контролем повстанців. Під час несподіваного для повстанців та міщан нападу коронного війська взимку 1651 року було ними взяте; загинули близько 6000 козаків та волохів. Місто було зруйноване загоном війська Речі Посполитої під командуванням брацлавського воєводи Станіслава Лянцкоронського.
З початку XVIII століття належав польським магнатам Потоцьким. Вони побудували пристань і склади для товарів, як доставлялися Дністром з Чорного моря.
У 1795 році місто увійшло до складу Російської імперії. З 1797 року Ямпіль став повітовим містом Ямпільського повіту Подільської губернії. В 1798 році повітові установи перевели у містечко Цекинівку, проте у 1804 році повернуті в Ямпіль.
У другій половині XIX століття в Ямполі з’явилися дрібні підприємства, але питома вага їх була незначна. На початку XX століття заселена територія Ямполя становила 450 десятин. Тут було 27 незабрукованих вулиць і 5 майданів. Містечко освітлювалось лише 62 гасовими ліхтарями. Ямпіль вважався одним із найбідніших повітових міст Подільської губернії.
З березня 1917 року (після Лютневої революції в Росії) на території району влада переходить із рук у руки, а саме: Центральна Рада, Гетьманат, Директорія, Радянська влада, яка остаточно утвердилася в районі у січні-лютому 1921 року.
У 1920 році діяло споживче товариство, з 1921 року в Ямполі виникла перша промислова артіль «Пролетар». За кілька років у Ямполі виникло 11 кооперативних об’єднань, переважно виноградарських. Будували й державні підприємства.
У 1924 р. Ямпіль став селищем міського типу. Також у лютому 1924 р. Ямпіль став місцем дислокації 21-го прикордонного загону ОДПУ УРСР.
В 1926 році в селищі діяли три електростанції, масло- та плодоконсервний заводи, млинокомбінат, хлібоприймальний пункт, артіль побутового обслуговування. В зазначений період Ямпіль був повітовим містом, а з 1932 року став районним центром.
21 липня 1941 р. місто Ямпіль було окуповане німецько-румунськими військами і ямпільщина була перетворена у так званий Джугастрянський повіт. Протягом 17-20 березня 1944 р. місто звільнено військами 2-го Українського фронту.
