whatever + ( S ) V 〜 は副詞節 をつくり 「たとえ何が～しても」「たとえ何を〜しても」 という意味になります。

文構造としては主に、
・whatever + 主語がない不完全文：「たとえ何が〜しても」（whatever が主語に該当）
・whatever + 目的語がない不完全文：「たとえ何を〜しても」（whatever が目的語に該当）
があります。
今回の例文は後者のもので、whatever の後ろの部分（you say）は、目的語がない不完全文になっています。
これは、whatever you say の中で「whatever が you say の目的語になっている」という解釈もでき、訳としては「たとえ何『を』」というように、目的語であることに沿った言い方にすればOKです。
（※ 完全文・不完全文についてはこちら）
 
 
また、副詞節をつくる（副詞と同じ役割をする）ということで、文中で「主語・目的語・補語・前置詞の後ろ」の位置では使えないということになります。（副詞節は動詞や文全体を修飾します）

Whatever you say, I won’t get angry. は Whatever you say が I won’t get angry を修飾しています。
文（正確には節）としては、「私は怒りません」で完成していますが、それに対して「たとえあなたが何を言っても」というのを付け加えている、という構造です。
 
 
なお、whatever + (S) V 〜 は no matter what + (S) V 〜 に置き換えることができます。
Whatever you say, I won’t get angry.
＝No matter what you say, I won’t get angry.

＜その他の例文＞
Whatever happens, he won’t change his mind.
「何が起ころうとも、彼は決心を変えないでしょう」
（whatever は happens に対する主語で、「S’ V’」の構造）

Whatever the reason is, you should not do that.
「理由が何であろうとも、あなたはそれをするべきではない」
（whatever は the reason is に対する補語で、「S’ V’ C’」の構造）

＜補足＞
whatever + ( S ) V 〜 は、① 副詞節「たとえ何が～しても」「たとえ何を〜しても」以外に、② 名詞節「〜するものは何でも」 という使い方があります（詳しくはこちら）。
意味の判断は文脈から考えるのではなく、「whoever + V 〜 が名詞節になっているかどうか」を考えましょう。② の方は「名詞節」をつくるということで、whatever からのカタマリが文中で「主語・目的語・補語・前置詞の後ろ」の位置で使われている、ということになります。

② You can do whatever you want to do.
whatever you want to do は can do の目的語になっているので名詞節だと判断でき、「あなたがしたいことは何でも（を you can do する）」と訳します。

① Whatever you say, I won’t get angry.
Whoever you say は主語にも目的語にもなっていないので副詞節だと判断でき、「たとえあなたが何を言っても」と訳します。

＜まとめ＞
・副詞節のカタマリをつくる
・whatever の後ろは名詞がない不完全文が続く
・whatever は no matter what に置き換えられる

・名詞節をつくる whatever は「〜するものは何でも」