同じものを見たときに、「どういう視点から判断するのか」によって変わります。

たとえば、お茶などを飲むときに使う「コップ」であれば、
物体として見れば「コップ」、物質として見れば「ガラス」「プラスチック」となります。
物質の方は「ガラスでできている」「プラスチックでできている」とか、「ガラス製」「プラスチック製」みたいな言い方もできます。

同様に、食事に使う「スプーン」なら、
物体として見れば「スプーン」、物質として見れば「金属」となります。

つまり、物体と物質は「どの視点から見るか」で区別されていて、
「ものの名前」になるものが物体で、「そのものの材質」であるものが物質です。
このように考えてもらえれば、大丈夫です。

＜補足＞
このように、同じものを見ても「物体として見れば」「物質として見れば」と考えることができます。
つまり、「物質ではあるが、物体ではない」というものはありません。その逆も言えます。

なお、「これは物体か物質か？」という問いはそもそも考えにくいので、理科を学んでいく前提として物体と物質の区別がつくようにしておいてほしいと思います。

＜まとめ＞
・物体は、ものを大きさや形から判断するときに使う
・物質は、ものを材料の性質などから判断するときに使う
・「物体」「物質」の違いは「どの視点から見るか」