ステアリングの広い場所を握っている場合、手を前後に動かす(引く、押す)動きがステアリングコラムに対しての回転方向の力になります。
しかし、ステム近くを握った場合、手の前後の動きはほとんどステムの方向と同じ、つまり、軸から外周部に向けての動きになってしまうので(車のハンドルで言うと、両手を揃えて真上を握って、真下に向かって力を入れてる状態)、ステアリングへの影響が少ないのです。
ステアリングを切る為には、手を前後ではなく、左右に動かさなくてはならず、これが効率が悪いので、前輪からの入力を吸収できずにフラフラしてしまうのかも知れません。
しかも、コラムを回転させる力で言うと、ステムを左右に回しても軸からの距離はステムの突き出し分のせいぜい100mm前後ですが、ハンドルの左右を握れば、ロードでも200mm前後、MTBなら300mm近い距離になります。
逆に、ステム近くを握るとライダーからの入力に対しての前輪の動きは重く(安定傾向に)なりますので、例えば路面がキレイなコースの登りなどで、ハンドルを強く引きたいけど車体を安定させたい時などは、ステム近くを握ったりもしますよ。