杨过拒绝郭芙的婚约主要有以下原因：
门户不当：虽然杨过和郭芙是世交，但杨家早已没落，只剩杨过一人流落市井，而郭芙的父母郭靖和黄蓉都是江湖上声名显赫的人物，郭芙的哥哥郭破虏也是江湖上的一流高手，这样的门户不对，让杨过有了自卑感，在郭芙面前他总是有些自惭形秽。
郭芙脾气大：郭芙自小被父母宠爱，养成了一副大小姐脾气，杨过深知郭芙的脾气，也知道郭芙看不起他，如果勉强接受了郭芙的婚约，那么以后的日子恐怕难以相处。
心中只有小龙女：在杨过的心里，只有小龙女才是他最心爱的人，他对小龙女的感情是任何人都无法替代的，即使是面对郭芙的婚约，他也无法接受。
综上所述，杨过拒绝郭芙的婚约是出于多方面的考虑。