Иоанн Ефимович Рыбин родился в 1877 году в с. Журавлино Ново-Николаевского уезда Самарской губернии. Его отец, Ефим Рыбин был крестьянином.
 
Перед тем, как Иоанна Ефимовича в 1924 году рукоположили в сан диакона, он служил в храме псаломщиком и певчим. Через год, после того, как отец Иоанн стал диаконом, его рукоположили во иерея. Служба священника проходила в Самарской губернии.
 
Прошло несколько лет, и иерея Иоанна Рыбина постигла участь многих священнослужителей того страшного времени: в 1929 году нарсудом Журавлевского района по сфабрикованному делу он был осужден "за неуплату гарнцевого сбора" и приговорен к ссылке с конфискацией имущества. Находясь в ссылке, отец Иоанн продолжать нести подвиг священничества - он служил в церкви с. Таволжанского Новочеркасского района Карагандинской области.
 
В 1931 году иерей Иоанн Ефимович Рыбин вновь был приговорен к пятилетней ссылке, но уже Акмолинским нарсудом. Освобожденный досрочно, он в 1933 году продолжил службу в с. Таволжанском. Но не прошло и двух лет, как тот же Акмолинский нарсуд осуждает батюшку вновь. Формулировка обвинения сама говорит о том, что уголовное дело было сфабриковано врагами Православной Церкви. Она звучала следующим образом: осужден за "невыполнение хлебопоставок и мясопоставок и невыполнение гособязательств по поставке картофеля". По "картофельному" делу отец Иоанн был приговорен к 3 годам лишения свободы. Заключение отбывал в тюрьме г. Акмолинска.
 
Священника из заключения освободили через полтора года по состоянию здоровья. По возвращении из тюрьмы вновь вернулся в свой храм в с. Таволжанском, где, согласно следующему клеветническому следственному делу говорилось: "начал организовывать нелегальные богослужения в домах колхозников и у себя. Призывал колхозников соблюдать религиозные обряды, праздники. Собирал у себя молельные собрания".
 
31 августа 1937 года Иоанн Ефимович Рыбин был вновь арестован Акмолинским РО НКВД по обвинению в "проведении на собраниях верующих антисоветской агитации".
 
На допросе батюшка категорически отрицал предъявленные ему обвинения. Он говорил, что "проводил на дому собрания, где было 20 человек женщин, читали Евангелие и собравшиеся молились Богу", но отрицал разговоры против советской власти. В обвинительном заключении было сказано: "Священник Иоанн Рыбин виновным себя не признал, показал, что религиозные сборища не проводил и что а/с агитацией не занимался".
 
Однако, не смотря на преклонный возраст, слабое здоровье и полное отсутствие вины, отец Иоанн 14 сентября 1937 года был осужден тройкой при УНКВД по Карагандинской обл. и приговорен к расстрелу.
 
19 октября 1937 года он был расстрелян.
 
2 февраля 1966 священник Иоанн Ефимович Рыбин был реабилитирован прокуратурой Целиноградской обл. по 1937 году.
 
Причислен к лику святых новомучеников и исповедников Российских на Юбилейном Архиерейском Соборе Русской Православной Церкви в августе 2000 года для общецерковного почитания.
 
Дни памяти: Собор новомучеников и исповедников Российских  - первое воскресение, начиная с 25.01/07.02
День мученической кончины: 6/19 Октября 1937года