Da de konføderale begyndte at trække sig tilbage op gennem halvøen fra Yorktown om natten den 3.-4. maj, fulgte general Edwin Sumners føderale II korps efter. De føderale, som rykkede langsomt frem ad mudrede veje, fandt fjenden holdende en stærk linje tre km øst for Williamsburg, den 5. maj. Her havde de konføderale generaler James Longstreet og Daniel Hill opstillet 31.800 mand for at forsinke Unionens fremrykning. En føderal division under general Joseph Hooker, støttet af en anden division under general Philip Kearny, angreb midten af den konføderale linje uden succes. Sidst på eftermiddagen omgik general Winfield Hancocks brigade den konføderal venstre fløj (nordøst). Han hans flugtrute var i fare trak Longstreet (og Hill) sig længere tilbage op gennem halvøen samme nat. Den succesfulde henholdende kamp kostede 1.603 sydstatstab. Sumner, som havde indsat mindre end halvdelen af hans samlede styrker, mistede 2.239 mand ud af 40.700 engageret. Den føderale øverstbefalende, general George McClellan, genoptog sin overforsigtige fremrykning mod den konføderale hovedstad Richmond.