虯髯客與紅拂女是結拜兄妹的關係，他們倆與李靖並稱爲風塵三俠。想當初李靖和紅拂女私奔，路上碰巧遇到了虯髯客，三人進行一番交流後，成爲了心心相惜的朋友，虯髯客和紅拂女結拜爲兄妹，不過最後三人還是各奔東西。
《虯髯客傳》裏對虯髯客和紅拂女的故事進行了渲染，將兩人的感情細節刻畫的很精妙，富有浪漫主義色彩。相傳虯髯客家境富裕，其父是當地有名的財主，只是虯髯客生來醜陋，不被父親喜愛。
虯髯客獨自一人前去拜師學藝，學成歸來後遇到紅拂女和李靖這對戀人，三人交談甚歡，然後結拜爲異姓兄妹。虯髯客、紅拂女和李靖前往李世民府中，虯髯客覺得李世民將來肯定有所成就，當然這句話最後成爲現實。
紅拂女嫁給李靖後，虯髯客便告辭離去，他想要過自己的生活，不過這裏面可能夾雜着對紅拂女另一種情意，不得不離開。
