The cause of your confusion lies in the masu-form of 話す (talk), which is 話します.
The します in 話します and the します in する (do) are completely different, despite having the same pronunciation.

“do”
する dictionary-form[Group3 verb] します masu-form
しない nai-form

“talk”
話(はな)す dictionary-form[Group1 verb] 話します masu-form
話さない nai-form

And,
勉強します”study” is a する verb.
勉強する =勉強(noun)+する
勉強します masu-form =勉強(noun)+します
勉強しない nai-form =勉強(noun)+しない

する can turn a variety of nouns into verbs, and these noun-based verbs are called する verbs.
勉強する is a する verb because 勉強 does not function as a verb on its own, while 話す is not a する verb.