App::pmuninstall パッケージをインストールすると、
pm-uninstall コマンドが使えるようになる。
http://search.cpan.org/~xaicron/App-pmuninstall/lib/App/pmuninstall.pm

cpanm が入っていれば、
cpanm -U
で削除できる。