Ребенок ревнует меня к моему мужчине

Здравствуйте!
У меня растет сын, когда ему было 4 года, мы с его отцом развелись.
Отец уехал жить в другой город, сейчас приезжает несколько раз в году. В целом контактирует с ребенком не более 2-3 недель в году. раньше общались в скайпе раз в неделю, сейчас вообще не общаются в скайпе. А если я организую их общение в скайпе, ребенок немного пообщается и отключается - я же и так с папой целых пол часа разговаривал.
С рождения ребенка жили с родителями бывшего мужа. уехали от них чуть больше года назад. Бабушка всегда баловала ребенка, запрещала мне его воспитывать. Главное, чтобы ребенок не кричал и не ревел - они хотят отдыхать. Я конечно понимаю. Бабушка до 7 лет застегивала ребенку ботинки и одевала его. В общем политика была такой - лучше сделать самой, чем уговаривать ребенка.
Сейчас мы живем отдельно, у меня появился молодой человек, который тоже живет с нами. Когда его нет, сын спрашивает, когда придет. А когда он приходит - обвиняет меня что я его не люблю, все время провожу с молодым человеком, говорит ему: "Эдик уходи, ты плохой. Ты тут не из-за мамы, а чтобы меня обижать." Мой м.ч. простой парень, он его не обижает, единственное что просит убирать за собой со стола посуду и собирать раскиданные вещи.
В школе обижает слабых, не слушает учителей, при детях матерится. При мне тоже может.
учится хорошо, в основном пятерки.
часто обманывает. Например пошел к другу - я отпустила на 1 час, попросила завести будильник. Через 2 часа звоню, спрашиваю где он, он все еще у друга, а "будильник что-то не зазвонил".
Понимаю, что уделяю ему мало внимания, но как все изменить, так, чтобы не сделать еще хуже не знаю.
может какой то алгоритм действий или еще что то.
Прошу помочь.