Ян Абрамович Френкель родился 21 ноября 1925 года в Киеве в семье парикмахера. Учился в Киевской консерватории (1938-1941). С началом Великой Отечественной войны, будучи высокого роста, приписал себе около 5 лет и поступил в Оренбургское зенитное училище. Играл на скрипке в оркестре кинотеатра «Аврора». По окончании училища в 1942 году принимал участие в боевых действиях, был тяжело ранен и после лечения с 1943 года до конца войны служил во фронтовом театре, играя на рояле, скрипке, аккордеоне.
С 1946 года жил в Москве. Работал в творческом содружестве с поэтами Расулом Гамзатовым, Игорем Шафераном, Михаилом Матусовским, Михаилом Таничем, Инной Гофф. Автор музыки к более чем 60 игровым и анимационным фильмам: «Новые приключения неуловимых» (1968); «Анискин и Фантомас» (1973); «Бегущая по волнам» (1967); «Дача» (1973); «Белые росы» (1983); «Вылет задерживается» (1974); «Мужчина и женщины» (1978); «Вас ожидает гражданка Никанорова» (1978); «Чёрт с портфелем» (1968) и другим. Иногда сам снимался в эпизодах. Автор песен "Калина красная", "Русское поле", "Погоня", "Ветер северный", "Вальс воспоминаний" и др - всего более 300 песен. Но самой известной песней Френкеля стали "Журавли" на стихи Расула Гамзатова в переводе Наума Гребнева.
Ян Френкель ушёл из жизни в 68 лет 25 августа 1989 года в Риге. Похоронен на Новодевичьем кладбище в Москве.
Народный артист Дагестанской АССР (1973). Заслуженный деятель искусств РСФСР (23.01.1973). Народный артист РСФСР (16.05.1978). Народный артист СССР (17.08.1989).
Лауреат Государственной премии СССР (1982).
Награжден Орденом Дружбы народов, медалью «100 лет освобождения Болгарии от Османского рабства» (1978).