heroku postgresアドオンのプランアップグレードは、他のアドオンのようにワンクリックでは実行できない。
heroku cliを利用して作業を行う必要がある。

まず、アプリにアップグレード後のheroku postgresアドオンを追加する。(heroku postgresが2つアタッチされている状態にする)
その後、以下のコマンドを利用して各heroku postgresアドオンの実際の名前を取得する。

heroku pg:info -a アプリ名

※実際の名前は、postgresql-cubic-63378やpostgresql-curly-80318のような名前となる。

実際の名前が2つ確認できたら、以下のコマンドを実行してデータのコピーを行う。

heroku pg:copy 実際の名前from 実際の名前to --app アプリ名 --confirm アプリ名

データのコピーが完了したら、元のheroku postgresアドオンをアプリからデタッチして作業完了となる。

この時、アタッチされるheroku postgresアドオンの名称が気に入らない(Attached as DATABASEではなくなるため)場合は、もう一度この手順を行うことで解消できる。