谢贤被大家称作四哥，这辈子谈过五段刻骨铭心的恋情，拥有两段正式婚姻。早年他和女星嘉玲相恋十二年，因迟迟不愿安定结婚遗憾分开，这也是他心中长久的遗憾。之后和萧芳芳短暂相恋，性格不合和平收尾。他的第一段婚姻娶了玉女甄珍，可惜婚后聚少离多，短短三年便离婚收场。
第二段婚姻迎娶港姐狄波拉，两人相伴十六年，生下谢霆锋与谢婷婷，即便最后分开，依旧相处和睦、以老友相称。晚年他和小自己四十九岁的Coco相守十多年，大方相伴出席场合，后来为不耽误女方前程主动体面分手。谢贤看似风流，对待每段感情都坦荡认真，不爱纠缠撕破脸，爱过就真心付出，分开也体面祝福，这也是大家很少诟病他情史的原因。