보안 휴지통 비우기로 비우셔서 그런것 아닌가 싶네요. 보안 휴지통 비우기는 파일 복구가 아예 불가능하도록 하드디스크 또는 SSD에 추가 작업을 하기 때문에 오래 걸립니다.
Finder 환경설정에서 고급 탭 한번 확인하셔서 휴지통 안전하게 비우기 체크되어 있다면, 체크 해제하시고 휴지통 비우시면 빠르게 지워질 겁니다.
(Finder 환경설정: Finder 창, Cmd + ,)

감사합니다 덕분에 해결되었네요