〔詳細〕
まず、前提知識として、三権分立の「立法」については国会が担い、「行政」については内閣が担います。財務省とか経済産業省、科学技術庁などの「省」や「庁」というのは行政機関に該当し、いわゆる官僚と呼ばれる人たちはこの省庁の職員に該当します。
つまり、国会を通じて決められた内閣（大臣たち）が各省庁のトップとなり、官僚たちに働いてもらいながら、実際の政治を動かしている、という制度になっています。

それを踏まえた上で、
あくまでも法律を作る権限は国会にしかありませんので、原則として国のルールは国会で審議された上で決める必要があります。
ただ、それだけに縛られると、緊急で必要なルールであったり、また、国会で審議するほどでもないようなルールについては（国会での審議は）時間の無駄であったりもしますので、そこは柔軟にサラッと決められる制度があってもいいではないか、という話です。

なお、国権の最高機関である国会を通していませんので、内閣や省庁の暴走を止めるためにも勝手に罰則を定めることは許されない、というものになっています。
（法律の定めによって、政令や省令に罰則を定めることは可能）