どうやって変換するのか毎回調べ直したりしてしまっていたので自分のためにメモ。
以下、C:\Users\◯◯\.ssh
など保存してある ssh の公開鍵を利用する場合
1 . WinSCPで「転送プロトコル」を「SFTP」に、「ホスト名」「ユーザー名」を入力し、「設定」ボタンを押す。

2 . 「高度なサイトの設定」が開いたら、[SSH] > [認証] の中の「認証条件」部分にある「秘密鍵」の「…」を押す。

3 . 選びたい鍵ファイルが表示されていない場合は「すべての秘密鍵ファイル」にして、選びたい鍵ファイルを選択する。

4 . 「秘密鍵 OpenSSH を PuTTY 形式に変換しますか?」とでたら「OK」を押す。

5 . 変換された秘密鍵を選択して終わり