La función FreeLibrary resta uno del contador que usan las dll's para saber si deben
descargarse. Cuando ese contador llega a cero la dll se descarga automáticamente. Ese contador aumenta en uno cada vez que una aplicación carga la dll (realmente sólo está una vez, por lo menos el código).

En un módulo :
Declare Function GetModuleHandle Lib "kernel32" Alias "GetModuleHandleA"
(ByVal lpModuleName As String) As Long
Declare Function FreeLibrary Lib "kernel32" (ByVal hLibModule As Long) As Long

Para liberar la dll :

dim hLoadModule as long
hLoadModule = GetModuleHandle("NombreDeLaDLL.DLL")
if hLoadModule = 0 then
    'la dll no está cargada ..
else
    hLoadModule = FreeLibrary(hLoadModule)
    if hLoadModule = 0 then
        'no pudo descargarla
    end if
end if