军机处要办理机密紧急事务，办公地点必然要靠近寝宫，而不能像内阁在太和门外。据王昶记录，军机值房最初设在乾清门外西边，不久迁至乾清门内，与南书房相邻，后来移到隆宗门的西面。无论是在乾清门内或门外，都离雍正寝宫养心殿很近，便于沟通。雍正初设军机处时，它的房舍是用木板盖成，乾隆初年才改造瓦房，建筑很不讲究。
军机处只有值房，没有正式衙门，有军机大臣和军机章京，但他们都因有别的官职，派充的军机处职务；军机大臣不是专职，本职事务仍照常办理；军机章京以此为职责，但仍属原衙门的编制，占其缺额，升转也在原衙门进行，因此王昶说军机处“无公署，大小无专官”。
正因为如此，军机处这样闻名后世的行政机构，原来甚至于自它问世后的一段时间内，竟没有被人们承认为正式衙门。比如，最早担任军机大臣的张廷玉，在乾隆年间自陈履历，备言他历任各种官职和世爵以及临时性的差使，唯独没有提到担任军机大臣的事。乾隆五十年前后纂修成功的《清朝通典》《清朝通志》《清朝文献通考》等官书，也没有把军机处作为正式衙署看待。军机处成立了，人们还没有充分意识到它的重要性，这是由于它没有官署和专职人员的特点所决定。