Той бе наричан и "баща на гласността". От самото начало на промените в Съветския съюз бе мишена на политически атаки от страна на крайните комунисти, шовинистки и антисемитски групи. Работил е в апарата на ЦК на КПСС от 1953 г. в сферата на агитацията и пропагандата. През 1972 г. разкритикува опитите за частично реабилитиране на култа към Сталин и за наказание е изпратен от Леонид Брежнев посланик в Канада, където живя 10 години. Яковлев се запознава с Михаил Горбачов при негова визита в Канада през 1983 г. Две години по-късно Михаил Сергеевич става лидер на СССР.
Горбачов връща Яковлев в СССР и го назначава за директор на Института за световна икономика и международни отношения. По-късно става депутат във Върховния съвет на СССР. През април 1991 г. той предупреждава в писмо Горбачов за готвен преврат срещу него. През август действително е направен опит за преврат. През 1992 г. академикът оглавява Комисията за реабилитация на жертвите на политическите репресии. После 2 г. е шеф на руската Федерална служба за телевизия и радио, както и на телевизия "Останкино", днес ОРТ. Яковлев е автор на 25 произведения, сред които книгата "От Труман до Рейгън. Доктрина и реалност на ядрения век".