Barbara Brylska była dwukrotnie zamężna. Pierwszym mężem aktorki był starszy od niej o kilka lat informatyk Jan Borowiec, ale ich związek szybko się rozpadł. Aktorka nie mając jeszcze załatwionych spraw rozwodowych, romansowała na planie „Faraona” z Jerzym Zelnikiem - ich romantyczną relacją żyła wtedy cała Polska.
W 1970 roku aktorka wyszła za mąż Ludwika Kosmalę, z którym doczekała się córki Basi i syna Ludwika, zwanego pieszczotliwie Dudusiem.
„Najtrudniejsza rola Barbary Brylskiej została napisana przez życie, reżyserem był los, a widownią są czytelnicy” - zauważa Barbara Rybałtowska w swojej książce „Barbara Brylska w najtrudniejszej roli”, która opiera się w dużej mierze na rozmowach z aktorką.
W 1993 roku aktorka przeżyła niewyobrażalną tragedię. W wypadku samochodowym zginęła jej córka.
20-letnia Barbara Kosmal bez wątpienia odziedziczyła urodę po mamie. Poszła także w jej ślady i również chciała zostać aktorką. Była studentką PWST, ale nie doczekała premiery swojego pierwszego filmu. 15 maja 1993 roku Basia Kosmal wracała z planu filmowego etiudy "Fałszywy autostop" z Łodzi do Warszawy z Xawerym Żuławskim. Syn reżysera Andrzeja Żuławskiego oraz aktorki Małgorzaty Braunek stracił panowanie nad kierownicą i uderzył w drzewo. Córka Barbary Brylskiej zginęła na miejscu.
Miałam córkę, która mogła kontynuować to, z czym ja się właściwie żegnałam. Byłam wręcz zakochana w jej planach i cieszyłam się, że to tak błyskawicznie się rozwija i dobrze wiedzie. Była przepiękna. Bardzo inteligentna i to było moją nadzieją, a także pociechą, skoro nie pracowałam tyle co kiedyś. Miałyśmy tyle planów. Zastanawiałam się, co zrobić, żeby ona nie popełniła tych samych błędów co ja. Miałam już doświadczenie. Wiedziałam, jak się ich ustrzec - tłumaczyła w rozmowie z Tomaszem Raczkiem, na którą powołuje się Krzysztof Tomasik w swoje książce „Seksbomby PRL-u”, strona 256.
