Параметр dwFileAttributes, флаг FILE_ATTRIBUTE_ENCRYPTED.
Не вздумай тупо назначить только этот атрибут файлу! Сперва получи существующие атрибуты функцией GetFileAttributes(), сделай OR с флагом FILE_ATTRIBUTE_ENCRYPTED, потом установи.
Есть ещё функция EncryptFile(), DecryptFile(), делает всё то же самое за тебя ;-)