Родился Фёдор Васильевич в 1871 году в станице Мечетинской Черкасского округа области Войска Донского (ныне Зерноградский район Ростовской области), в казачьей семье.
С детства Фёдора интересовало кузнечное дело, и к 11 годам он уже мог самостоятельно выполнять работу, которая была по плечу только опытному мастеру. В 1887 году Токарев начинает учиться в военно-ремесленной школе в Новочеркасске. Затем была юнкерская школа и служба в казачьем полку оружейным мастером, работа заведующим оружейной мастерской на Волыни, курсы в офицерской стрелковой школе в Ораниенбауме.
Токарев постоянно совершенствует своё мастерство, и уже в 1908 году создаёт свой первый образец автоматической винтовки. На Сестрорецком заводе он работал над улучшением своего оружия, в и в 1912 году модернизировал винтовку до совершенно нового образца. Фёдор Васильевич оптимизировал эту модель вплоть до 1914 года, пока не ушёл на фронта Первой мировой войны. На них он в чине есаула получил 5 боевых наград — Токарев мог не только конструировать оружие, но и успешно его применять.
В 1915 году он был зачислен в штат Сестрорецкого завода — уже как «отличный техник и конструктор оружия». А с 1921 года Токарев работал на Тульском оружейном заводе, где создал свои лучшие образцы стрелковой техники. В 1924 году на вооружение Красной Армии были принят ручной пулемёт МТ (Максима — Токарев, первый российский ручной пулемёт), созданный на базе станкового пулемёта Максима.
В 1930 году Красная Армия приняла самозарядный пистолет ТТ (Тульский Токарева), конструкцией которого Токарев занимался несколько лет. Он участвовал в открытом конкурсе на лучший образец оружия, и пистолет превзошёл конкурентов по показателям массы, габаритов и мощности. ТТ стал первым советским полуавтоматическим пистолетом. Эта модель была настолько удачной, что производилась советскими оружейниками в течение 20 лет, получив высочайшую оценку командиров и бойцов Красной Армии — за удобство, надёжность, «неприхотливость» и, конечно, мощность. Пистолет ТТ получил по-настоящему боевое крещение во время боёв у озера Хасан и у Халхин-Гола, во время Финской войны. А затем успешно применялся и в течение всего периода Великой Отечественной войны.
Третье главное изобретение Ф.В. Токарева — самозарядная винтовка Токарева (СВТ-38), которая заменила в советской армии автоматическую винтовку Симонова. Затем она была модернизирована в винтовку под названием СВТ-40, с учётом опыта применения в Финской войне. Она имела магазин на 10 патронов калибра 7,62 на 54 мм, и значительно увеличила для красноармейцев возможность вести плотный огонь по врагу.
Затем на её базе конструктор создал скоростную автоматическую винтовку АВТ-40 и снайперскую винтовку, которая считалась одним из самых лучших образцов снайперского вооружения всех воюющих армий в годы Второй мировой войны. Общее число изготовленных единиц вооружения, созданных выдающимся конструктором, составляет миллионы (только пистолетов ТТ и его модификаций изготовлено в различных странах свыше 3 миллионов штук).
Особенностью конструкторского мастерства Токарева было то, что он не нуждался в чертежах, поскольку обладал феноменальной памятью. При этом он сам становился к станку, вытачивая необходимые детали. Во многом, благодаря напряженному труду и таланту Федора Васильевича, а также таким же конструкторам, инженерам и изобретателям как он, и героизму советских воинов ковалась победа над противниками СССР и России.