Les bureaux de vote, installés dans les écoles, les gares ou des magasins, ont ouvert à travers le pays à 07H30 (05H30 GMT) et fermeront à 21H00 (19H00 GMT).
Les derniers sondages prédisaient une légère victoire du non au vote sur l'accord d'association, qui vise à renforcer le dialogue politique ainsi que les échanges économiques et commerciaux entre l'UE et l'Ukraine, rapporte l`AFP.
Les Pays-Bas sont le dernier pays de l'UE à ne pas avoir ratifié l'accord, qui a cependant été approuvé par le Parlement.
"J'ai voté contre parce que je pense que l'accord n'est pas une bonne chose pour les Pays-Bas (..)", affirme Nik Tam, 65 ans. "Je pense que l'Ukraine ne peut pas entrer dans l'Union européenne, c'est trop de monde".
"Les avis sont très partagés et en même temps, il y a un grand groupe sans opinion", a ainsi affirmé l'institut de sondage Ipsos. Si 37% des sondés étaient en faveur du "Nee", 33% pensaient voter "Ja", "Non" et "Oui" en Néerlandais. Le reste des sondés étaient indécis.
Le vote est suivi avec inquiétude en Ukraine, où le refus en 2013 de l'ancien président prorusse Viktor Ianoukovitch de signer cet accord avait provoqué le soulèvement proeuropéen du Maïdan, et la chute de son gouvernement.
Pour Kiev, qui a envoyé des ministres mener campagne aux Pays-Bas, cet accord représente une "nouvelle ère" pour le pays.Le président ukrainien Piotr Porochenko s'est dit confiant du choix des Néerlandais en faveur de l'accord mais a mis en garde contre la prise en otage de son pays "par une discussion interne aux Pays-Bas sur le futur de l'Union européenne".
"Un référendum sur une sortie de l'Europe n'est pas encore possible et c'est pourquoi nous saisissons toutes les opportunités pour placer la relation UE/Pays-Bas sous tension", avait ainsi déclaré le président du comité ayant récolté les signatures, Arjan van Dixhoorn, au quotidien NRC.Next.
Cet accord n'est qu'un exemple de plus, assure ce groupe, d'un Bruxelles bureaucratique et technocratique ayant perdu le contact avec ses citoyens.
Le vote ne sera valide qu'avec une participation supérieure à 30%, et La Haye a répété en attendre les résultats avant de décider de la marche à suivre.
L'accord d'association était "le premier débat après l'adoption de la loi" sur le référendum, a affirmé à l'AFP Aaron Matta, chercheur à l'institut de La Haye sur la justice: c'est "un dommage collatéral" dans la bataille contre Bruxelles.
Si le vote est valide et que le non l'emporte largement, le gouvernement sera mis dans l'embarras, affirment les analystes, alors que le pays assure la présidence tournante de l'Union européenne jusque fin juin.
Et alors que les partis eurosceptiques sont en tête des sondages pour les élections législatives de 2017, l'accord devra de nouveau être soumis à l'approbation des deux chambres du Parlement.
"Les Pays-Bas devront peut-être trouver une manière de se désengager de l'accord", a ajouté M. Matta: "ils devront sauver la face".
Une victoire du non pourrait également servir de baromètre pour les Britanniques, qui doivent voter en juin sur une éventuelle sortie de l'Union, surnommée "Brexit".
Nigel Farage, chef du mouvement pro-Brexit UKIP, s'est rendu à Amsterdam lundi: une victoire du non enverra un "message fort à l'électorat britannique disant que nous ne sommes pas les seuls à penser que l'UE a pris une direction fondamentalement mauvaise".