気がついたら３時過ぎ、納税を忘れていた

４時までなら、郵便局で納税可能です。税務署へ直接持っていく場合は５時まで（税務署によって４時半だったりするので確認してください）。
コンビニ納税なら２４時間支払可能です。税務署にあらかじめ連絡しておいて５時までに取りに行けばコンビニ用納付書をもらうことができます。ただし、０時近辺だと取り扱いにより翌日扱いになってしまうこともあるので、時間には余裕をもって早めの納税をお勧めします。