Затем на протяжении ряда проб почти одновременно с безусловным стимулом предъявляют второй стимул, который, как правило, не вызывает безусловный рефлекс( потенциальный условный стимул). В результате повторяющегося сочетания условный стимул и безусловный рефлекс появляется условный рефлекс, который вызывается условным стимулом. Условный рефлекс подобен, но не обязательно идентичен безусловному рефлексу.
При выработке классического условного рефлекса последовательность событий в опыте никак не зависит от поведения животного. Она устанавливается либо экспериментатором, либо специальной программой, в соответствии с которой включаются те или иные стимулы, и в ответ на них можно наблюдать образование условных реакций.
Иначе обстоит дело при образовании инструментальных условных рефлексов. Здесь условнорефлекторная реакция не является копией безусловно-рефлекторной, возникающей в результате действия подкрепляющего раздражителя. На том же пищевом подкреплении может быть выработан инструментальный условный рефлекс: нажим лапой на педаль- у собак, клевание диска- у голубей или прыжок на полку- у кошек. К инструментальным УР относится также обучение подопытного животного находить путь к пище или избегать неприятных стимулов в лабиринте. Инструментальным УР является и реакция избегания- навык переходить в тот отсек экспериментальной камеры, где отсутствует болевое подкрепление.
Между классическими и инструментальными условными рефлексами существуют определенные различия. При классических- временная связь между условным сигналом и безусловной реакцией возникает непроизвольно при действии безусловного раздражителя( подкрепления). При инструментальных условных рефлексах подкрепление, например пища, дается только после того, как животное совершает определенное действие, которое не имеет прямой связи с безусловным раздражителем.
Начало исследований инструментальных условных рефлексов связано с именем Э. Торндайка. Этим ученым была создана методика, получившая название метода " проблемных ящиков ". Она заключалась в том, что посаженное в ящик животное должно было найти выход из него, открыв дверцу. Сначала животное совершало много разных действий( проб), допуская при этом много ошибок, пока ему не удавалось случайно нажать на задвижку, запирающую дверь ящика. При последующих пробах оно освобождалось все быстрее и быстрее. Такое обучение Торндайк и назвал " методом проб и ошибок ". В дальнейшем обучение животного подобным действиям получило название инструментальных, или оперантных, условных рефлексов.
Дальнейшее развитие метод инструментальных условных рефлексов получил в работах Б. Скиннера, а затем он стал основным в исследованиях бихевиористов( анализ связей " стимулреакция "). При этом они полагали, что инструментальные условные рефлексы настолько отличаются от классических, что результаты их образования не стоит даже и сравнивать. Предполагалось, что инструментальные рефлексы являются реакциями более высокого ранга, чем классические, и потому их можно использовать в качестве критерия уровня развития высшей нервной деятельности. Однако дальнейшие исследования не подтвердили данное предположение и показали, что эти рефлексы в ряду беспозвоночных могут быть выработаны начиная уже с кольчатых червей, а у позвоночных- с костистых рыб.
Скиннер считал, что любое поведение, относящееся к категории " оперантное ", можно эффективно модифицировать, если при его выполнении давать животному подкрепление. Например, крысу можно обучить нажимать на рычаг, если сначала сопровождать подкреплением любые ее действия в той части камеры, где она находится. Постепенно крыса обучается держаться вблизи рычага, и тогда подкрепление дают только если она касается рычага мордой или лапкой( для этого иногда на рычаг даже кладут пищу). Через некоторое время подкрепление дается только после выполнения четких движений- нажатий( одного или нескольких) лапкой на рычаг.
Такое постепенное видоизменение поведения животного в результате вмешательства экспериментатора называется методом последовательного приближения или формированием поведения. Именно такой подход Скиннер предложил, как эффективный способ анализа поведения.