VMMap en mode instrumentation sur système 64bit : attention à la plateforme cible du build .NET
Si vous tentez d'utiliser VMMap en mode instrumentation* vous avez peut-être rencontré une erreur relativement peu explicite au lancement du profiling :

Unable to launch application:
"E:\Temp\ApplicationToProfile\ApplicationToProfile\bin\Release\ApplicationToProfile.exe"
Error:
The handle is invalid.
Cause
Cela se produit car sur un système 64bit, quand on lui fournit un exécutable compilé en plateforme cible Any CPU (Any CPU à l'ancienne, pas le nouveau Any CPU + "Prefer 32-bit" de VS2012), VMMap utilise son lanceur 32bit par défaut alors que notre processus va démarrer avec le CLR 64bit.
Ce comportement se constate facilement en utilisant Process Monitor (procmon) pour examiner le lancement du profiling, en ajoutant des filtres "Process Name" pour "vmmap.exe", "vmmap64.exe" et "ApplicationToProfile.exe" (dans mon cas) :


On voit bien que vmmap64.exe (auto-extrait et lancé par VMMap si utilisé sur OS 64bit) relance sa version 32bit (vmmap.exe) pour qu'elle prenne en charge notre exécutable alors qu'il aurait dû lancer notre exécutable directement.
Pour les curieux la valeur du paramètre "-p" est juste le chemin de l'exécutable, en représentation texte des bytes UTF16 Big Endian de la chaine de caractères.
Solution
Pour pouvoir utiliser le mode instrumentation de VMMap sur une application .NET lancée sur un système 64bit alors qu'elle était compilée en plateforme cible Any CPU, il faut que celle-ci soit recompilée explicitement pour la plateforme qu'elle va utiliser, c'est-à-dire x64 :


* : Pour rappel le mode instrumentation est, par opposition au mode snapshot simple où on s'attache à un processus déjà démarré, le mode où VMMap lance lui même l'exécutable et instrumente certaines méthodes pour pouvoir tracer les allocations de mémoire.
On y accède par le second onglet, "Launch and trace a new process", de la boite de dialogue "Select or Launch Process" :

Ce post vous a plu ? Ajoutez le dans vos favoris pour ne pas perdre de temps à le retrouver le jour où vous en aurez besoin :