私は、
①の両辺に1000、
②の両辺に100をかけて解こうとしたら数が大きくなり上手く計算できませんでした。

解答には、
①×8 5x+8y=6
②×5 x-2y=3.9
としてから解くと書いてました。

②に5をかけてxとyの項を整数にするのは気づけそうだけど、なぜ①に8をかけたら整数になるとわかるのかが分かりません。どうしていきなり8をかけることを思いつくのかが分からないので教えて下さい。よろしくお願いします。

あくまでも「●.●25 なので、とりあえず試しに」というノリです。
仮に 0.325 だった場合は 2.6 となってうまくいきません（ただ、もう１回、5とか10とかをかければいけますが）が、今回の場合はやってみたらうまくいったのでラッキー、といった感じです。
 
 
なお、運に頼らない方法（ただし手間はかかる）としては、質問文にある通り「一旦、全部を整数に」して、その後「最大公約数で割る」ことです。
今回の場合、① を一旦 625x＋1000y＝750 とした上で、625, 1000, 750 の最大公約数である 125 で割れば 5x＋8y＝6 が得られます。
※ 一発で最大公約数で割らなくても、5で割って 125x＋200y＝150 で、次にまた 5 で割って… というようにしても構わないです。