Die Aussage „Billig-PC“ ist zu allgemein gefasst (wie teuer ist eigentlich billig?). Mit etwas Ahnung kann man sich für ca. 600 - 700 EUR einen durchaus akzeptablen Rechner zusammenstellen, der auch für alle gängigen Spiele, Multimediaanwendungen und zur Bildbearbeitung geeignet ist.
Im Supermarkt, Mediamarkt etc. würde ich sowieso keinen PC kaufen. Wenn schon Fertig-PC, dann nur beim PC-Händler des Vertrauens.
Der Prozessor macht übrigens wirklich noch den kleinsten Preisunterschied zwischen schlechtem und hochwertigem Rechner aus. Mal davon abgesehen ist der Celeron mit Abstand der leistungsschwächste Prozessor für Desktop-PC’s - er schafft in vielen Programmen nicht mal die halbe Rechenleistung eines gleichgelabelten Athlon- oder Pentium 4 - Prozessors. Das beste Preis-/Leistungsverhältnis bekommst du z.Zt. mit einem AMD Athlon XP - Prozessor.
Den größten Preisunterschied macht meist die Grafikkarte, da High-End-Graka’s (z.B. Geforce 58xx/ 59xx-Serie, Radeon 97xx/ 98xx-Serie) mit 250 - 500 EUR das weitaus teuerste Computerteil darstellen. Deshalb werden in Billig-Computer meist Low-End-Grafikkarten eingebaut, die im Einkauf nur ca. 50 - 100 EUR kosten (Geforce 5200/ 4 MX-Serie, Radeon 9200, alles mit der Endung „SE“). Mit denen sind neue Computerspiele nicht mehr ordentlich spielbar, ältere Spiele laufen aber z.T. noch ganz gut. Der schlimmste Fall ist On-Board-Grafik, also eine auf dem Mainboard verbaute Grafikeinheit, diese taugt für 3D-Spiele gar nicht. Wenn im Computer eine billige Grafigkarte verbaut ist, hilft der schnellste Prozessor nichts bei Computerspielen. Dann hast du quasi einen sehr schnellen Büro-PC. 
Nächster wichtiger Unterschied sind billiges Netzteil und Gehäuse. Während ein ordentlich konstruiertes Qualitätsgehäuse ca. 60 - 100 EUR kostet und ein Markennetzteil ab etwa 50 EUR zu kaufen ist, kostet ein Billiggehäuse mit Netzteil zusammen nur 25 - 50 EUR!
Nachteile: Programmabstürze durch Spannungsschwankungen und frühzeitiger Ausfall der Komponenten (besonders Festplatten) durch Überhitzung, störender Geräuschpegel durch billige Lüfter und Dämmung, evtl. Wohnungsbrand bei Netzteilüberlastung… Hier sollte man also tunlichst nicht sparen und auf „billig“ setzen.
Auch die restlichen Komponenten, wie Motherboard, Laufwerke, Festplatten und Arbeitsspeicher sind bei Billig-PC’s in der Regel „NoName“ mit billiger Bauweise und geringerer Leistung. Hier sind die Leistungeinbußen aber meist nicht so gravierend, wie bei billigen Grafikkarten und Prozessoren (solange keine veralteten Komponenten verbaut werden). Trotzdem wird derselbe Computer mit 5400er Festplatte eines Billigherstellers und billigem DDR266/CL3-Speicher bis zu 30% langsamer sein, als ein PC mit 7200er High-End-Platte und DDR400/CL2-Markenspeicher.
Wichtig für den Preis und die Leistung sind meistens nicht die Kapazitäten der Bauteile, sondern deren Qualität und Rechenleistung. Z.B. sagt die Menge des Speichers einer Grafikkarte nicht das geringste über deren Leistung aus, mehr als 128 MB sind derzeit absolut nutzlos. Eine Radeon 9800 XT mit 128MB ist trotz weniger Speicher über 20mal schneller als eine Radeon 9200SE mit 256MB. Ähnliches gilt auch für Festplatten, hier sind Modell, Cachegröße und Umdrehungszahl entscheidend für die Leistung - aber wenigstens hat mehr Speicher hier auch einen realen Vorteil. 
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]