Vref perlu diberi tegangan. Karena tegangan itu yang akan dijadikan patokan uC untuk mengkalkulasi keluaran ADC.

Rumus ADC-nya kan : (Vin / Vref) * 1024  <--- untuk yg 8 bit ADC

bentar, ini ADC dan datanya dipantai di PC lewat serial link

akan lebih baik jika dipisah dulu, biar ketahuan apakah masalahnya itu muncul dari ADC ataukh dari serial link
kalo mungkin, keluarin aja hasil ADC nya ke salah satu port yang dipasangi LED
atau kalo emang ribet harus bikin rangkaian LED nya, bikin program "simulasi" dulu aja ngrim data dari 0 sampai 1023, ok ga keterima di PC nya

kalo masalah bukan pada serial link nya, coba dicek waktu jeda antara men-trigger pencuplikan data, hingga pembacaan data keluaran ADC,
saya lupa lagi, tp coba deh check datasheet nya, ada jeda waktu (yg cukup lama) antara kita mulai men-trigger ADC untuk mulai mencuplik data hingga data siap dibaca, di dalam periode tersebut data keluaran ADC akan acak (tidak valid)
dulu saya pake ADC external, kira2 prinsipnya sama kali ya, coba di check aja datasheet nya bagian ADC

@Mas Insan...
bukankah 1024 itu untuk ADC 10 bit?

terima kasih semuanya atas bantuannya...

ternyata masalahnya ada pada hardwarenya, pin areff saya kasih kapasitor kemudian sya groundkan

memang sih hasinya belum bener2 stabil, tapi paling tidak udah ga acak lagi, kalo boleh saya simpulkan ketidak stabilan kali ini disebabkan oleh adanya noise