Para excluir um atalho da área de trabalho de seus usuários, use os mesmos procedimentos descritos em: http://carlosfprocha.com/blogs/paleo/archive/2010/08/20/criando-um-atalho-na-225-rea-de-trabalho-dos-usu-225-rios-no-sbs.aspx
Apenas altere o conteúdo do arquivo de script para:
Set Shell = CreateObject("WScript.Shell")
Set FSO = CreateObject("Scripting.FileSystemObject")
DesktopPath = Shell.SpecialFolders("Desktop")
FSO.DeleteFile DesktopPath & "\teste.lnk"
Prontinho, bem simples e rápido!