Wan ist eine RGB-Farbe auch farbig?

Hallo,
ich möchte aus vielen gescannten Bildern 2 Gruppen bilden: die, die s/w bzw. Graustufen enthalten und die die tatsächlich farbige Informationen enthalten.

Mit einem Programm würde ich jeweils alle Pixel eines Bildes auslesen und anhand der RGB-Werte entscheiden ob das Pixel grau (schwarz oder weiss würde ich auch als Graustufen sehen) oder farbig ist.
Durch das Scannen sind die Pixel allerding auch bei gleicher wahrgenommerner Farbe nicht immer mit gleichen RGB-Werten abgebildet, so daß man Toleranzen berücksichtigen muss. Bsp. Grau bedeutet R, G und B-Anteil sind jeweils gleich (128,128,128) für Mittelgrau. Aber auch (110,128,128) geht noch als Mittelgrau durch (trotz unterschiedlichem Rotanteil).

Momentan experementiere ich mit der Differenz max(RGB)-min(RGB) eines Pixels und einem Schwellwert, eine Grautoleranz zu definieren, das klappt aber nicht durchgängig.

Wer hat eine Idee oder Anregung wie man da vorgehen könnte?