PowerShell 技能连载 - 使用 NTFS 流(第 3 部分)

在上一个技能中,我们解释了 NTFS 流是如何工作的。但是,不可能发现隐藏文件流的名称。在 PowerShell 5及更高版本中,大多数访问文件系统的 cmdlet 都新增了一个名为 -Stream 的新参数。有了它,现在访问 NTFS 流变得很简单,因此现在可以重写以前脚本中使用路径名称中的冒号表示的示例,如下所示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# create a sample file
$desktop = [Environment]::GetFolderPath('Desktop')
$path = Join-Path -Path $desktop -ChildPath 'testfile.txt'
'Test' | Out-File -FilePath $Path

# attach hidden info to the file
'this is hidden' | Set-Content -Path $path -Stream myHiddenStream

# get hidden info from the file
Get-Content -Path $path -Stream myHiddenStream

# remove hidden streams
Remove-Item -Path $Path -Stream myHiddenStream

# show file
explorer /select,$Path

现在,还可以查看(并发现)隐藏的 NTFS 流。让我们创建一个带有一堆流的示例文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
# create a sample file
$desktop = [Environment]::GetFolderPath('Desktop')
$path = Join-Path -Path $desktop -ChildPath 'testfile.txt'
'Test' | Out-File -FilePath $Path

# attach hidden info to the file
'this is hidden' | Set-Content -Path $path -Stream myHiddenStream
'more info' | Set-Content -Path $path -Stream additionalInfo
'anotherone' | Set-Content -Path $path -Stream 'blanks work, too'
'last' | Set-Content -Path $path -Stream finalStream

# find stream names:
Get-Item -Path $Path -Stream * | Select-Object -Property Stream, Length

现在,Get-Item 可以暴露 NTFS 流,并且输出可能如下所示:

Stream           Length
------           ------
:$DATA               14
additionalInfo       11
blanks work, too     12
finalStream           6
myHiddenStream       16

如您所见,您现在可以发现所有流的名称。流 “:$DATA” 表示文件的“可见的”主要内容。

PowerShell 技能连载 - 使用 NTFS 流(第 2 部分)

在上一个技巧中,我们解释了 NTFS 流如何存储有关文件的其他数据,这引发了一个问题,即如何删除此类流或首先发现隐藏的 NTFS 流。

要删除隐藏的命名流,请使用 Remove-Item——就像您要删除整个文件一样。这是一个简单的示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# create a sample file
$path = "$env:temp\test.txt"
'Test' | Out-File -FilePath $Path

# attach hidden info to the file
'this is hidden' | Set-Content -Path "${path}:myHiddenStream"

# get hidden info from the file
Get-Content -Path "${path}:myHiddenStream"

# remove hidden streams
Remove-Item -Path "${path}:myHiddenStream"

# stream is gone, this raises an error:
Get-Content -Path "${path}:myHiddenStream"

# file with main stream is still there:
explorer /select,$Path

尽管您可以像创建单个文件一样创建和删除 NTFS 流,只需添加一个冒号和流名称即可,但没有找到流名称的简单方法。至少不是我们在这里访问流的方式。在第 3 部分中,我们最终将发现隐藏的流名称。

PowerShell 技能连载 - 使用 NTFS 流(第 1 部分)

在 NTFS 文件系统上,您可以将其他信息存储在隐藏的文件流中。传统上,PowerShell 通过冒号访问文件流,因此这会将隐藏的文本信息附加到纯文本文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
# create a sample file
$desktop = [Environment]::GetFolderPath('Desktop')
$path = Join-Path -Path $desktop -ChildPath 'testfile.txt'
'Test' | Out-File -FilePath $Path

# attach hidden info to the file
'this is hidden' | Set-Content -Path "${path}:myHiddenStream"

# attach even more hidden info to the file
'this is also hidden' | Set-Content -Path "${path}:myOtherHiddenStream"

# show file
explorer /select,$Path

该代码首先确定到您的桌面的路径,然后创建一个示例纯文本文件。

接下来,它在名为 “myHiddenStream” 和 “myOtherHiddenStream” 的两个流中添加隐藏信息。当您在资源管理器中查看文件时,这些流仍然不可见。

PowerShell 仍然可以像下面这样访问这些流:

1
2
3
# get hidden info from the file
Get-Content -Path "${path}:myHiddenStream"
Get-Content -Path "${path}:myOtherHiddenStream"

请注意,这些流仅存在于使用 NTFS 文件系统的存储中。当您将这些文件复制到其他文件系统时,即使用 exFat 将它们复制到USB记忆棒中,Windows 将显示一个警告对话框,提示所有流将被删除。

PowerShell 技能连载 - 观看德国电视节目

德国公共广播公司保留着丰富的电视档案,并允许用户通过 Web 界面观看其节目。通常无法下载节目或轻松找到其下载 URL。

以下脚本下载了所有节目及其网络位置的非官方目录:

1
2
3
4
# download the German mediathek database as JSON file
$path = "$env:temp\tv.json"
$url = 'http://www.mediathekdirekt.de/good.json'
Invoke-RestMethod -Uri $url -UseBasicParsing -OutFile $path

下载该文件后,您可以使用其他脚本来显示选择对话框,并浏览要观看的电视节目。然后,您可以选择一个或多个节目,并要求 PowerShell 将这些视频自动下载到您的计算机上。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
$Path = "$env:temp\tv.json"

$data = Get-Content -Path $Path -Raw |
ConvertFrom-Json |
ForEach-Object { $_ } |
ForEach-Object {
# define a string describing the video. This string will be shown in a grid view window
$title = '{0,5} [{2}] "{1}" ({3})' -f ([Object[]]$_)
# add the original data to the string so when the user select a video,
# the details i.e. download URL is still available
$title | Add-Member -MemberType NoteProperty -Name Data -Value $_ -PassThru
}

$data |
Sort-Object |
Out-GridView -Title 'Select Video(s)' -OutputMode Multiple |
ForEach-Object {
# take the download URL from the attached original data
$url = $_.Data[5]
$filename = Split-Path -Path $url -Leaf
$filepath = Join-Path -Path $env:temp -ChildPath $filename
$title = 'Video download {0} ({1})' -f $_.Data[1], $_.Data[0]
Start-BitsTransfer -Description $title -Source $url -Destination $filepath
# you can use a simple web request as well in case BITS isn't available
# Invoke-WebRequest -Uri $url -OutFile $filepath -UseBasicParsing

# open video in associated player
Invoke-Item -Path $filepath
}

PowerShell 技能连载 - 查找上次登录的用户

要查找有关 Windows 上最后登录的用户的详细信息,可以查询注册表:

1
2
Get-ItemProperty "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\Authentication\LogonUI" |
Select-Object -Property LastLo*, Idle*

结果看起来像这样:

LastLoggedOnDisplayName : Tobias Weltner
LastLoggedOnProvider    : {D6886603-9D2F-4EB2-B667-1971041FA96B}
LastLoggedOnSAMUser     : .\tobia
LastLoggedOnUser        : .\tobia
LastLoggedOnUserSID     : S-1-5-21-2770831484-2260150476-2133527644-1001
IdleTime                : 62486093

同样,此行返回 Windows 注册表中注册的所有用户配置文件:

1
2
Get-ItemProperty 'HKLM:\SOFTWARE\Microsoft\Windows NT\CurrentVersion\profilelist\*' |
Select-Object -Property ProfileImagePath, FullProfile

PowerShell 技能连载 - 使用 BITS 来下载文件(第 2 部分)

BITS(背景智能传输系统)是Windows用于下载大文件(例如操作系统更新)的技术。您也可以使用该服务,例如异步下载文件。执行此操作时,您无需等待下载完成,甚至可以在几天内跨越多次重启下载超大文件。每当用户再次登录时,下载就会继续。

下面的示例代码以较低优先级的异步后台任务下载 NASA 火星报告:

1
2
3
$url = 'https://mars.nasa.gov/system/downloadable_items/41764_20180703_marsreport-1920.mp4'
$targetfolder = $env:temp
Start-BitsTransfer -Source $url -Destination $targetfolder -Asynchronous -Priority Low

异步 BITS 传输的缺点是您需要手动完成文件传输,因为 BITS 会将数据下载到隐藏的缓存中。由您决定何时运行 Get-BitsTransfer 并确定已完成的作业,然后使用 Complete-BitsTransfer 完成文件传输。

本示例将检查是否已完成传输并完成下载:

1
2
3
4
5
6
7
8
9
10
11
12
Get-BitsTransfer |
ForEach-Object {
Write-Warning $_.FileList.RemoteName
$_
} |
Where-Object { $_.jobstate -eq 'Transferred' } |
ForEach-Object {
#$_ | Select-Object -Property *
$file = $_.FileList.LocalName
Write-Warning "Copy file $file..."
$_ | Complete-BitsTransfer
}

Windows 正在使用相同的技术来下载大量的操作系统更新。如果您具有管理员特权,则可以检查由其他用户(包括操作系统)发起的 BITS 传输:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PS> Get-BitsTransfer -AllUsers

JobId DisplayName TransferType JobState
----- ----------- ------------ ------
18514439-0e92-4ca8-88b4-4b2aa0036114 MicrosoftMapsBingGeoStore Download Sus...
9e76ff92-65e2-4b3c-bb01-263e485e986a Dell_Asimov.C18EE5B49BDB373421EFA627336E417FC7EBB5B3 Download Sus...
7bd117fe-2326-4198-a2a6-884022acb3ad Dell_Asimov.F10AAAECCA3ED0E344B68351EB619B5356E6C3C5 Download Sus...

PS> Get-BitsTransfer -AllUsers | Select-Object OwnerAccount, Priority, FileList

OwnerAccount Priority FileList
------------ -------- --------
NT AUTHORITY\NETWORK SERVICE Normal {}
NT AUTHORITY\SYSTEM Foreground {https://downloads.dell.com/catalog/CatalogIndexPC.cab}
NT AUTHORITY\SYSTEM Foreground {https://dellupdater.dell.com/non_du/ClientService/Catalog/CatalogI...

PowerShell 技能连载 - 使用 BITS 来下载文件(第 1 部分)

BITS(后台智能传输系统)是 Windows 用于下载大文件(例如操作系统更新)的技术。您也可以使用相同的系统下载大文件。另外一个好处是,在下载文件时,您会获得一个不错的进度条。本示例下载 NASA 火星报告并在下载后播放视频:

1
2
3
4
5
6
7
8
9
$url = 'https://mars.nasa.gov/system/downloadable_items/41764_20180703_marsreport-1920.mp4'
$targetfolder = $env:temp
$filename = Split-Path -Path $url -Leaf
$targetFile = Join-Path -Path $targetfolder -ChildPath $filename

Start-BitsTransfer -Source $url -Destination $targetfolder -Description 'Downloading Video...' -Priority Low


Start-Process -FilePath $targetFile

请注意 Start-BitsTransfer 如何让您选择下载优先级,这样您就可以下载文件而不会占用更重要的事情所需的网络带宽。另请注意,BITS 不适用于所有下载内容。服务器需要支持该技术。

PowerShell 技能连载 - 研究 PowerShell 控制台输出

当您在 PowerShell 控制台中看到命令的结果时,通常仅显示部分信息。要查看完整的信息,您需要将其发送到 Select-Object 并使用 “*“ 通配符显式选择所有属性:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
PS> Get-CimInstance -ClassName Win32_BIOS


SMBIOSBIOSVersion : 1.7.1
Manufacturer : Dell Inc.
Name : 1.7.1
SerialNumber : 4ZKM0Z2
Version : DELL - 20170001




PS> Get-CimInstance -ClassName Win32_BIOS | Select-Object -Property *


Status : OK
Name : 1.7.1
Caption : 1.7.1
SMBIOSPresent : True
Description : 1.7.1
InstallDate :
BuildNumber :
CodeSet :
IdentificationCode :
LanguageEdition :
Manufacturer : Dell Inc.
OtherTargetOS :
SerialNumber : 4ZKM0Z2
SoftwareElementID : 1.7.1
SoftwareElementState : 3
TargetOperatingSystem : 0
Version : DELL - 20170001
PrimaryBIOS : True
BiosCharacteristics : {7, 9, 11, 12...}
BIOSVersion : {DELL - 20170001, 1.7.1, Dell - 10000}
CurrentLanguage : enUS
EmbeddedControllerMajorVersion : 255
EmbeddedControllerMinorVersion : 255
InstallableLanguages : 1
ListOfLanguages : {enUS}
ReleaseDate : 28.12.2020 01:00:00
SMBIOSBIOSVersion : 1.7.1
SMBIOSMajorVersion : 3
SMBIOSMinorVersion : 1
SystemBiosMajorVersion : 1
SystemBiosMinorVersion : 7
PSComputerName :
CimClass : root/cimv2:Win32_BIOS
CimInstanceProperties : {Caption, Description, InstallDate, Name...}
CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties

这是因为 PowerShell 包含的逻辑会自动仅选择对象的最重要属性,以使您专注于重要的事情。为了更好地理解它是如何工作的,这里有一些示例代码来探索 Get-Process 返回的数据。要研究其他 cmdlet,请将代码中的 “Get-Process“ 替换为另一个 cmdlet 的名称:

1
Install-Module -Name PSCommandDiscovery -Scope CurrentUser -Verbose

该代码确定 cmdlet 发出的数据类型,然后找到定义该数据类型视图的 *.format.ps1xml 文件,并返回该定义的前 20 行:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
        </ViewSelectedBy>
<TableControl>
<TableHeaders>
<TableColumnHeader>
<Label>Handles</Label>
<Width>7</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Label>NPM(K)</Label>
<Width>7</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Label>PM(K)</Label>
<Width>8</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Label>WS(K)</Label>
</ViewSelectedBy>
<GroupBy>
<PropertyName>PriorityClass</PropertyName>
<Label>PriorityClass</Label>
</GroupBy>
<TableControl>
<TableHeaders>
<TableColumnHeader>
<Width>20</Width>
</TableColumnHeader>
<TableColumnHeader>
<Width>10</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Width>13</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Width>12</Width>
</ViewSelectedBy>
<GroupBy>
<ScriptBlock>$_.StartTime.ToShortDateString()</ScriptBlock>
<Label>StartTime.ToShortDateString()</Label>
</GroupBy>
<TableControl>
<TableHeaders>
<TableColumnHeader>
<Width>20</Width>
</TableColumnHeader>
<TableColumnHeader>
<Width>10</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Width>13</Width>
<Alignment>right</Alignment>
</TableColumnHeader>
<TableColumnHeader>
<Width>12</Width>
</ViewSelectedBy>
<WideControl>
<WideEntries>
<WideEntry>
<WideItem>
<PropertyName>ProcessName</PropertyName>
</WideItem>
</WideEntry>
</WideEntries>
</WideControl>
</View>
<View>
<Name>DateTime</Name>
<ViewSelectedBy>
<TypeName>System.DateTime</TypeName>
</ViewSelectedBy>
<CustomControl>
<CustomEntries>
<CustomEntry>
<CustomItem> <ExpressionBinding> <PropertyName>DateTime</PropertyName> </ExpressionBinding> </CustomItem>

尽管示例代码为了简单起见不会给出完整的定义,但它使您可以更好地了解幕后发生的事情:每当 cmdlet 返回类型为 System.Diagnostics.Process 的对象时,PowerShell 默认都会根据到公开的 XML 定义。

在上面的示例中更改 cmdlet 名称时,您也可以看到其他类型的定义。但是,为简单起见,示例代码仅搜索在 PowerShell 主目录中找到的 *.format.ps1xml 文件,而不在可能存在其他格式定义的所有模块位置中搜索。

注意:本技能仅适用于 Windows PowerShell。

PowerShell 技能连载 - 识别网络访问的来源

Get-NetTCPConnection 返回所有当前的 TCP 网络连接,但是此 cmdlet 不会确切告诉您谁在连接到您的计算机。您仅得到 IP 地址:

1
2
3
4
5
6
7
PS> Get-NetTCPConnection -RemotePort 443

LocalAddress LocalPort RemoteAddress RemotePort State AppliedSetting OwningProcess
------------ --------- ------------- ---------- ----- -------------- ---------
192.168.2.110 60960 13.107.6.171 443 Established Internet 21824
192.168.2.110 60959 20.44.232.74 443 Established Internet 4540
192.168.2.110 60956 52.184.216.226 443 Established Internet 13204

使用计算属性,您可以重新计算返回的值,例如,将 IP 地址发送到公开真实来源的 Web 服务。使用相同的技术,您还可以转换在 OwningProcess 中找到的进程 ID,并返回维护连接的进程名称:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$process = @{
Name = 'ProcessName'
Expression = { (Get-Process -Id $_.OwningProcess).Name }
}

$darkAgent = @{
Name = 'ExternalIdentity'
Expression = {
$ip = $_.RemoteAddress
(Invoke-RestMethod -Uri "http://ipinfo.io/$ip/json" -UseBasicParsing -ErrorAction Ignore).org

}
}
Get-NetTCPConnection -RemotePort 443 -State Established |
Select-Object -Property RemoteAddress, OwningProcess, $process, $darkAgent

结果提供了对连接的更多了解,并且该示例显示了所有 HTTPS 连接及其外部目标:

RemoteAddress  OwningProcess ProcessName ExternalIdentity
-------------  ------------- ----------- ----------------
13.107.6.171           21824 WINWORD     AS8068 Microsoft Corporation
52.113.194.132         15480 Teams       AS8068 Microsoft Corporation
52.114.32.24           25476 FileCoAuth  AS8075 Microsoft Corporation
142.250.185...         15744 chrome      AS15169 Google LLC
52.114.32.24            3800 OneDrive    AS8075 Microsoft Corporation
52.114.32.24            3800 OneDrive    AS8075 Microsoft Corporation
45.60.13.212            9808 AgentShell  AS19551 Incapsula Inc
18.200.231.29          15744 chrome      AS16509 Amazon.com, Inc.

PowerShell 技能连载 - 探索文件夹结构(第 2 部分)

仅使用几个 cmdlet,您就可以检查文件夹结构,即返回文件夹树中子文件夹的大小。

这是一个返回文件夹总大小和相对大小的示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# specify the folder that you want to discover
# $home is the root folder of your user profile
# you can use any folder: $path = 'c:\somefolder'
$path = $HOME

# specify the depth you want to examine (the number of levels you'd like
# to dive into the folder tree)
$Depth = 3

# find all subfolders...
Get-ChildItem $path -Directory -Recurse -ErrorAction Ignore -Depth $Depth |
ForEach-Object {
Write-Progress -Activity 'Calculating Folder Size' -Status $_.FullName

# return the desired information as a new custom object
[pscustomobject]@{
RelativeSize = Get-ChildItem -Path $_.FullName -File -ErrorAction Ignore | & { begin { $c = 0 } process { $c += $_.Length } end { $c }}
TotalSize = Get-ChildItem -Path $_.FullName -File -Recurse -ErrorAction Ignore | & { begin { $c = 0 } process { $c += $_.Length } end { $c }}
FullName = $_.Fullname.Substring($path.Length+1)
}
}

注意代码是如何总结所有文件的大小的:它调用带有开始、处理和结束块的脚本块。 begin 块在管道启动之前执行,并将计数变量设置为零。对于每个传入的管道对象,将重复执行该 “process“ 块,并将 “Length“ 属性中的文件大小添加到计数器。当管道完成时,将执行 “end“ 块并返回计算出的总和。

这种方法比使用 ForEach-Object 快得多,但仍比使用 Measure-Object 快一点。您可以通过这种方式计算各种事物。此代码计算 Get-Service 发出的对象数量:

1
2
# counting number of objects
Get-Service | & { begin { $c = 0 } process { $c++ } end { $c }}

请注意,这是一种“流式”方法,无需将所有对象存储在内存中。对于少量对象,您也可以使用“下载”方法并将所有元素存储在内存中,然后使用 Count 属性:

1
(Get-Service).Count