Не люблю эту тему. Слишком многое приходится просто запоминать. Тем не менее надо находить какие-то зацепки и закономерности

Конечно, наиболее интересной является группа, где в зависимости от использования герундия или инфинитива, меняется смысл сказанного. 

Группа, где используется инфинитив без "to" запоминается легко. Все помнят про модальные глаголы, а добавить к ним всего два глагола let и make, а также два выражения You'd better и I'd rather не составит труда.

Практически на автомате делается правильный выбор в группе, где используются предлоги. Вряд ли кому-нибудь придет в голову поставить инфинитив после предлога. 

Таким образом, запоминать приходится две (к сожалению - обширные) группы, где используется только герундий или только инфинитив.