Осень, как нелюбимое дитя в семье — смысл сравнения, в чём суть?

Пушкин всегда любил осень и часто воспевал ее в своих стихах. Но он подчеркивал, что многим осень не нравится — это как нелюбимый ребенок в семье. Хотя сравнение совсем не понятно. Все любят весну, лето, но не осень с ее дождливыми днями, когда все ждут прихода зимы.