2本指ダブルタップで音楽オン、オフはわかったんですけど、2本指で上スワイプしたら上から全文読み下ろしてくれます。2本指で下にスワイプすると音楽が鳴ったり、たまにラジオがかかったり、やり方間違ってますか？

2本指の下スワイプは全て読み上げのコマンドです。
うまくスワイプ出来ずに2本指のダブルタップと認識されているかもしれませんね。
4本指ダブルタップでVoiceOverヘルプを開いてジェスチャの練習をしてみましょう。
もしVoiceOverコマンドを変更してしまっていてわからなくなっている場合は設定、アクセシビリティー、VoiceOver、コマンドへ進みVoiceOverコマンドをリセットと読み上げるところで1本指ダブルタップしてください。