AMP機能の仕様上、AMPが無効である場合は、AMPに関わるすべてのプログラムを開始するトリガーの処理がまず最初にスルーされるため、無効になっているにも関わらず、AMP用のURLにリダイレクトされることはありえません。
また、リダイレクトされたとしても、DigiPressのAMPモードが無効になっていれば、リライトルールから直接削除しているため404エラーの表示になり、AMPテーマが適用されることも、構造上ありません。
対象サイトでは、トップページ(1ページ目のみ)と、現時点での一番最新の記事(https://ggeek.me/archives/post-19102/)のみがAMPのURLに強制的にリダイレクトされているようですが、このような動作もDigiPressのAMPモードの動作の仕様からもありえません。
何かキャッシュやリライトルールを書き換えるようなプラグインを利用している場合は、停止し、キャッシュはすべて削除してください。
また、パーマリンク設定の保存のし直しを行い、.htaccessで何かリライトルール定義に変更がないかお確かめ下さい。