変更して大正解。ワードプレスの管理画面の画面遷移が倍以上早くなった。（たぶん倍どころの騒ぎじゃない）
元々は XSERVER なら独自ドメインにも無料の SSL を適用できると言う話を耳にしたことでサーバー移行を決めたので、表示速度の改善とかが目的ではなかったのですが、ストレスだったので管理画面の高速化についてはかなり嬉しい。
料金の話。ロリポップのほうが安くない？
レンタルサーバーの契約をするにあたり、重要なのは料金ですよね。なにせ、料金でロリポップのスタンダードプラン（当時チカッパプラン）をチョイスした私としては、料金の高いサーバーをレンタルできるほどのコンテンツを生み出していませんので・・、そうなるとなるべく安価なものを使用したいです。
XSERVER X10（1,200円/月） って、ロリポップのスタンダードプラン（500円/月）の2倍以上するじゃないかと、思われるかもしれませんが、ロリポップのバックアップサービスが月額300円しますし、XSERVER は長期契約の割引があるのでその差は数百円程度です。
注：XSERVER は無料でバックアップが実施されますが、復帰させるのが高額です。
その上で SSL を無料で独自ドメインに適用できるので、１つしかブログ運用してないという場合でも割安だと考えます。
参考：X10プラン – 料金 | レンタルサーバー【エックスサーバー】
参考：自動バックアップ機能 | レンタルサーバー【エックスサーバー】
ロリポップでも SSL 導入できるけど？
ロリポップで独自SSL を導入しようとするとなかなか高額なものしか選択肢がないんですよね。
（GMO グループですものね）グローバルサイン社の証明書しか使えないので、ドメイン認証タイプのものでも、2,000円／月からなので、流石に高いなぁと思います。
別に XSERVER でなくても、世の中には安価な証明書サービスも増えてきているというのに、ドメイン認証でこの金額は出せませんねぇ。
ちなみに、さくらのレンタルサーバーは年額1,500円のラピッド SSL が使えますが、バックアップサービスがありません（よね？）。
参考：独自SSLについて / ユーザー専用ページ / マニュアル – レンタルサーバーならロリポップ！
参考：さくらのSSL | SSLサーバー証明書ならさくらインターネット
参考：バックアップサービスはありますか？ – さくらのサポート情報
ロリポップサーバーからの移行方法
検索すればすぐに詳しい説明は見つかると思います。例えば・・「いろいろ嫌気がさしてサーバーをロリポップ！からエックスサーバーに移転したので流れとかをメモ – でこにく」など。
僕の場合は、上記手順とは違うところがあって、XSERVER 側で WordPress の自動インストールサービスを使いませんでした。
自動インストールをすると、パーミッションの問題でファイルをコピーするのにいちいち手間になるんですよね。（実際にやってしまいました。）
なので自動インストール機能は使わずに移行しました。
移行作業自体は色々調べながらやっても XSERVER のアカウント開設から1〜2時間もあれば終わると思います。
ドメインの切り替え作業後、URL 叩いたところで「あ、これどっちのサーバー見に行ってるんだろ・・・」ってなると思いますので、hosts の設定などをすると良さそうです。
ネームサーバーの切り替えが終わったかどうかを確認するだけなら、ターミナルから
$ nslookup yuichon.comで引かれる IPアドレス がロリポップのものか XSERVER のものかをチェックするのが簡単です。
私の場合、ほぼ切り替えが完了するまで 10時間以上かかりました。（未だにたまに古いサーバー見に行っちゃってるかも）
移行作業前にキャッシュの調整とかすればもっと早く終わったのでしょうかね。
おわり
巷では、「Wordpress なら Xserver」という評判は良く聞いてましたので、他のレンタルサーバーサービスと性能面で比較は特にしていませんでしたが、管理画面がここまで高速化したので、表側も高速化してるんじゃないかと期待しています。（今現在、キャッシュ系のプラグイン止めたままなので計測はまだしていません）
移行完了したら、Google Analytics や Google Search Console なども設定もお忘れなく。
参考：ブログの完全HTTPS化を完了、HTTPからHTTPSへの移行プロセスを共有 | 海外SEO情報ブログ
（ロリポップのあの趣のある管理画面を使わなくて済むのもちょっとうれしい。）