Изучи всю архитектуру винды если не знаешь(про уровни, память, PE, PEB/TEB, ASLR и так далее, без базы никуда) книга Windows Internals
Изучи техники анти-отладки/API hashing/анти-детекта.
Есть книга от Ник Кано про геймхакинг, тоже прочитать можешь, там самая база прям
И банально есть гугл, гугли интересующее тебя вопросы