気体の場合、「同一の体積・圧力・温度のとき、気体の種類によらず、含まれる分子の数は同じ」という性質がありますので、
水分を含むというのは、同一の体積の下で測定すれば、例えば、
・「窒素４個、酸素１個」の状態から、
・「窒素３個、酸素１個、水１個」の状態に、
のように、「総数は変わらない中で水分子が含まれている」ということを意味します（「窒素４個、酸素１個、水１個（の計６個）」になるのではない）。
ですので、「水の分だけ追加的に重たくなる」というわけではないです。

それを踏まえた上で、
まず、水分子というのは窒素分子や酸素分子よりも質量が小さいですので、水分子の構成比が大きいほど全体の質量は小さくなります（平たく言えば、軽くなる）。

これに加えて、
水は熱を保持しやすい傾向にありますので、（実際には同温というわけでなく）水分を含む空気ほど温度が高い傾向があります。
温度が高ければ体積も大きくなることで、密度が小さくなりますので、この要因でも「水分を含んだ空気」は比較的軽くなります。

以上のようなことから、一般に、水分を含んだ空気ほど軽いです。