Любимый человек или любимая дочь

Добрый день!
Моей дочери будет 13 лет. Ее отец нас бросил, когда она была грудничком. До 2,5 лет я сама занималась дочерью, а потом вышла на работу. Все это время я жила с родителями, которые мне помогали. Бабушка, когда я вышла на работу, вышла на пенсию и стала заниматься дочкой. Сейчас дочери будет 13 лет. Я встретила человека и хочу жить с ним. Так как квартира у нас маленькая со скандалом пришлось уйти из дома и снять квартиру. При этом дочь бабушка не отдала. Я уговаривала, говорила, что это моя дочь и должна она жить с нами, с новой семьей. Но... Ответ простой: “Не хочу, чтобы моя внучка по съемным квартирам моталась”. И еще говорит, что вы все время на работе и присмотреть за ней некому, кроме нее. Я разрываюсь между дочкой и любимым человеком. Сейчас нашла выход только в одном сняли квартиру в соседнем доме. У дочки сложный возраст, и я сильно за нее переживаю. Стоит ли мне настоять и силой забрать дочь. Ясное дело, что с бабушкой ей комфортней и вольготней, чем со мной. Спрашивала ее, как она относится к тому, что не живет со мной. Говорит, что я все равно целыми днями на работе. При этом выходные и отпуск провожу с дочерью. Все вопросы согласовываются со мной. Неужели я должна была забыть про личное счастье ради дочери? Не знаю, что делать и как жить дальше. Мужчину своего очень люблю, но и дочь тоже. Откровенно говоря, не понимаю свою мать, которая мешает мне быть счастливой.
Может, я в чем-то неправа?