А может быть это выражение простой фамильярности, когда тычут пальцем в вашу сторону.
Есть много догадок — почему пальцем показывать некрасиво, но нет однозначного принятого догмата по этому поводу. Поэтому я позволил себе, уже будучи взрослым дядей, усомниться в некоторых запретах, которыми меня воспитывала мама в детстве.
А Вы до сих пор ведёте себя так, как мама Вас учила?