Род Янковских берет свое начало от польских дворян. Его прадед по отцовской линии имел поместье под Витебском, а Иван Янковский, дедушка Филиппа, был военным и служил штабс-капитаном лейб-гвардии Семеновского полка.
В Первую мировую войну он получил Георгиевский крест, высшую награду царской армии. Иван Янковский принял советскую власть и стал командиром в красной армии, но во времена репрессий Янковского арестовали и отправили в лагерь. Причиной ареста могли быть не дворянские корни, а дружба с Тухачевским, так считал Олег Янковский.
Знатного происхождения была и бабушка Марина Ивановна. Ее отец был царским генералом по фамилии Ненастьев, который после революции устроился сторожем в госпиталь. Марина Ивановна так и продолжала звать всех господами, от чего семья приходила в ужас. Бабушка Марина Ивановна сожгла все бумаги, подтверждающие принадлежность к аристократии, чтобы скрыть свое происхождение. Не осталось ни дворянской грамоты, ни дедушкиного Георгиевского креста. Марина Ивановна так и не сменила свою опасную фамилию.