神策军在某种程度上很像是明朝掌握在魏忠贤手里的锦衣卫，只是唐朝的情况比明朝还要糟糕。明朝的崇祯皇帝一声令下，锦衣卫就去抓魏忠贤，因为锦衣卫毕竟是天子的兵，魏忠贤只是天子的奴才。相比之下，唐朝的神策军实质上已经不是大唐天子的兵，而是宦官的武装了。
那么，神策军究竟是从何而来呢？
可叹的是，最早的神策军原本也是根正苗红。天宝年间，由于吐蕃的不断骚扰，唐蕃关系在很长一个时期是战争而非和平，所以哥舒翰在击败吐蕃、收复黄河九曲后，便请求在唐蕃边疆设立八个军，神策军便是其中之一，驻扎地在甘肃省临洮县以西二百余里的磨环川，洮水南岸，对岸就是洮阳郡。当时第一任神策军使由洮阳郡太守兼任。
几年后，安史之乱爆发，唐明皇发出旨令，让“河西、陇右、朔方，除先发蕃汉将士，及守军郡城堡之外，自余马步军将兵健等”全部来长安救驾。此时的神策军便在将军卫伯玉的带领下，奔赴关中——当时只有一千多人。再往后，这支军队便移交给陕州刺史郭英乂，让他做检校神策军使。等到郭英乂进京做御史大夫，这支军队就交给了当时的宦官头子鱼朝恩，让他做天下观军容使，并统率京师神策军。虽然稍后鱼朝恩失宠被杀，但神策军由宦官掌管成了惯例，且兵力不断增强。唐德宗时期，曾一度委任一个叫白志贞的非宦官统领神策军，但不久发生兵变，白志贞统领下的神策军完全没有宦官时代那么得力，最终神策军又回到了宦官手里，此后一直到唐朝灭亡，神策军都是一支听命于宦官的武装力量。鼎盛时代，这支军队人数达到十八万人。