Spring AI가 뭔가요?
Spring AI is an application framework for AI engineering. Its goal is to apply to the AI domain Spring ecosystem design principles such as portability and modular design and promote using POJOs as the building blocks of an application to the AI domain.
Spring AI는 말 그대로 Spring 개발자들을 위한 LLM 통합 도구입니다.
쉽게 말하면, "Spring 스타일로 LLM을 쉽고 유연하게 쓸 수 있게 해주는 도구"라고 생각하시면 됩니다.
단순히 LLM을 호출하는 걸 넘어서, 엔터프라이즈 환경에서 AI 기능을 자연스럽게 녹여낼 수 있도록 설계된 게 Spring AI의 큰 장점이에요.
왜 Spring AI를 써야 할까요?
1. 익숙한 방식으로 LLM 사용
Spring Boot 써보셨다면 아마 익숙하실 거예요. RestTemplate, WebClient처럼 쓰기 쉬운 컴포넌트들이 있잖아요.
Spring AI도 ChatClient, EmbeddingClient 같은 컴포넌트를 제공하는데, LLM을 마치 HTTP 호출하듯이, 아주 쉽게 사용할 수 있어요.
설정도 application.yml에 쓰면 끝. 진입장벽이 낮은 편입니다.
2. 여러 모델을 한 번에
예를 들어 OpenAI gpt 모델로 개발하다가 Anthropic claude 모델로 바꾸고 싶을 수도 있을 거예요.
Spring AI는 벤더마다 다른 API를 쓰지 않아도 되게 해줘요.
"같은 코드로 다양한 모델을 쓸 수 있는" 게 큰 장점이에요.
3. 벡터 저장소도 걱정 없어요
텍스트를 청크로 나누고, 벡터화해서 저장하고… 이런 작업도 Spring AI가 다 도와줘요.
Spring AI는 이런 RAG 흐름을 구성하는 데 필요한 기능들도 기본으로 제공해요.
처음엔 InMemoryVectorStore로 가볍게 시작했다가,
나중에 PGVector나 Qdrant 같은 벡터 DB로 자연스럽게 확장할 수 있습니다.
코드는 거의 그대로 두고, 설정만 바꾸면 되니까 진짜 유연해요.
4. 요즘 핫한 기능들 다 지원해요
•
MCP (Multi-Call Prompting)
•
Function Calling (함수 호출 기반 응답)
•
Prompt Template (템플릿으로 프롬프트 구성)
Spring AI는 이런 기능들을 프레임워크 차원에서 기본으로 지원해줍니다.
직접 다 구현하지 않아도 어느 정도 틀을 잡고 시작할 수 있어서, LLM 기반 서비스 만들 때 훨씬 빠르고 안정적으로 접근할 수 있어요.
Spring AI의 추상화 방식과 구조
1. 프롬프트를 알잘딱 관리해주는 — Prompt와 ChatOptions
Prompts are the inputs that guide an AI model to generate specific outputs. As Spring AI evolves, it will introduce higher levels of abstraction for interacting with AI models.
public class Prompt implements ModelRequest<List<Message>> {
private final List<Message> messages;
private ChatOptions modelOptions;
@Override
public ChatOptions getOptions() {...}
@Override
public List<Message> getInstructions() {...}
}
Java
복사
ChatOptions 는 모든 AI 모델에서 공통으로 사용될 수 있는 옵션들만 포함하고 있습니다.
Represents the options that can be passed to the AI model. The ChatOptions class is a subclass of ModelOptions and is used to define few portable options that can be passed to the AI model.
public interface ChatOptions extends ModelOptions {
String getModel();
Float getFrequencyPenalty(); // frequencyPenalty
Integer getMaxTokens(); // maxTokens
Float getPresencePenalty(); // presencePenalty
List<String> getStopSequences(); // stopSequences
Float getTemperature(); // temperature
Integer getTopK(); // topK
Float getTopP(); // topP
ChatOptions copy();
}
Java
복사
ChatOptions가 제공하는 속성 (maxTokens, temperature, stopSequences)은 벤더 간 자동 변환됩니다. 예를 들어, OpenAI stop vs Anthropic stop_sequences 같은 차이를 Spring AI가 알아서 처리합니다.
import org.springframework.ai.chat.prompt.ChatOptions
val openAIChatOptions = ChatOptions.builder()
.model("gpt-3.5-turbo")
.temperature(0.7)
.stopSequences(listOf("\n")) // OpenAI의 'stop' 매개변수로 자동 변환
.build()
val anthropicChatOptions = ChatOptions.builder()
.model("claude-3-7-sonnet-20250219")
.temperature(0.7)
.stopSequences(listOf("\n")) // Anthropic의 'stop_sequences' 매개변수로 자동 변환
.build()
Kotlin
복사
단, 정의되지 않은 추가 옵션(seed, logitBias 등)은 직접 매핑이 필요합니다.
2. Spring AI의 주요 추상화 계층인 — ChatModel
Spring AI는 ChatModel이라는 핵심 컴포넌트를 기반으로 작동합니다. ChatModel 은 LLM과의 기본적인 상호작용을 담당하는 인터페이스입니다.
The Spring AI Chat Model API is designed to be a simple and portable interface for interacting with various AI Models, allowing developers to switch between different models with minimal code changes.
public interface ChatModel extends Model<Prompt, ChatResponse> {
default String call(String message) {...}
@Override
ChatResponse call(Prompt prompt);
}
Kotlin
복사
ChatModel 인터페이스를 구현한 클래스의 결과는 ChatResponse라는 공통된 응답 객체로 리턴됩니다. 이 안에는 모델의 출력 메시지뿐만 아니라, 사용된 프롬프트, 모델 파라미터, 응답 시간 등의 메타 정보도 포함되어 있어서, 후처리나 로깅, 디버깅 시에도 유용하게 활용할 수 있습니다.
내부 동작 순서
Spring AI의 ChatModel 인터페이스를 구현한 클래스는 내부적으로 다음과 같은 과정을 거칩니다.
1.
입력으로 받은 Prompt를 벤더의 API 형식에 맞게 변환합니다.
2.
변환된 메시지를 사용하여 벤더의 API를 호출합니다.
3.
벤더로부터 받은 응답을 ChatResponse 형식으로 변환하여 반환합니다.
sequenceDiagram
participant App
participant ChatModel
participant Vendor as Vendor API
App->>ChatModel: call(Prompt)
Note over ChatModel: 1. 메시지 및 옵션 변환
ChatModel->>ChatModel: Prompt 메시지 + ChatOptions 처리
Note over ChatModel: 2. API 호출
ChatModel->>Vendor: 벤더 API 요청
Vendor-->>ChatModel: 응답 수신
Note over ChatModel: 3. 응답 변환
ChatModel->>ChatModel: ChatResponse 객체로 변환
ChatModel-->>App: ChatResponse 반환
Mermaid
복사
3. Spring AI 구현 코드
Spring AI를 사용해서 OpenAI와 Anthropic 모델을 호출할 수 있도록 설정했고, 모델별로 ChatService에서 호출하는 구조입니다. 간단하게 살펴볼까요?
import org.springframework.ai.anthropic.AnthropicChatModel
import org.springframework.ai.anthropic.AnthropicChatOptions
import org.springframework.ai.anthropic.api.AnthropicApi
import org.springframework.ai.chat.messages.SystemMessage
import org.springframework.ai.chat.messages.UserMessage
import org.springframework.ai.chat.model.ChatResponse
import org.springframework.ai.chat.prompt.ChatOptions
import org.springframework.ai.chat.prompt.Prompt
import org.springframework.ai.openai.OpenAiChatModel
import org.springframework.ai.openai.api.OpenAiApi
import org.springframework.stereotype.Service
@Service
class ChatService(
private val openAiApi: OpenAiApi,
private val anthropicApi: AnthropicApi
) {
fun getOpenAiResponse(userInput: String, stop: List<String>, temperature: Double): ChatResponse {
// 메시지 구성
val messages = listOf(
SystemMessage("You are a helpful assistant."),
UserMessage(userInput)
)
// 챗 옵션 설정
val chatOptions = ChatOptions.builder()
.model("gpt-3.5-turbo")
.temperature(temperature)
.stopSequences(stop)
.build()
// 프롬프트 생성
val prompt = Prompt(messages, chatOptions)
// 챗 모델 생성
val chatModel = OpenAiChatModel.builder()
.openAiApi(openAiApi)
.build()
// 챗 모델 호출
return chatModel.call(prompt)
}
fun getAnthropicResponse(userInput: String, stop: List<String>, temperature: Double): ChatResponse {
val messages = listOf(
SystemMessage("You are a helpful assistant."),
UserMessage(userInput)
)
val chatOptions = ChatOptions.builder()
.model("claude-3-7-sonnet-20250219")
.temperature(temperature)
.stopSequences(stop)
.build()
val prompt = Prompt(messages, chatOptions)
val chatModel = AnthropicChatModel.builder()
.anthropicApi(anthropicApi)
.build()
return chatModel.call(prompt)
}
}
fun main() {
// API 키 설정
val openAiApiKey = System.getenv("OPENAI_API_KEY")
val anthropicApiKey = System.getenv("ANTHROPIC_API_KEY")
// API 클라이언트 생성
val openAiApi = OpenAiApi.builder()
.apiKey(openAiApiKey)
.build()
val anthropicApi = OpenAiApi.builder()
.apiKey(anthropicApiKey)
.build()
// ChatService 생성
val chatService = ChatService(
openAiApi = openAiApi,
anthropicApi = anthropicApi
)
// OpenAI 호출
val openAiResponse = chatService.getOpenAiResponse(
userInput = "Tell me a joke.",
stop = listOf("\n", "END"),
temperature = 0.5
)
println("OpenAI Response: $openAiResponse")
// Anthropic 호출
val anthropicResponse = chatService.getAnthropicResponse(
userInput = "Tell me a joke.",
stop = listOf("\n", "END"),
temperature = 0.5
)
println("Anthropic Response: $anthropicResponse")
}
Kotlin
복사
•
OpenAI와 Anthropic 각각의 API 클라이언트를 주입받아 독립적으로 구성됩니다.
•
사용자 입력(userInput)과 프롬프트 옵션(stop, temperature)으로 Prompt 객체를 만든 뒤 각각의 모델을 호출합니다.
•
ChatResponse에는 모델의 응답 결과와 메타 정보가 담겨 반환됩니다.
마치며
지금까지 Spring AI가 어떤 프레임워크인지,그리고 내부적으로 어떤 구조와 추상화를 통해 다양한 LLM을 유연하게 다룰 수 있는지를 살펴봤습니다.
Spring Boot 개발자라면 익숙한 방식으로 LLM을 연결하고, 모델이나 벡터 저장소를 바꾸더라도 최소한의 코드 수정으로 대응할 수 있다는 점이 Spring AI의 큰 장점입니다.
이제 강의 실습을 통해 직접 OpenAI Chat API를 만들어보고, Spring AI의 유연함과 실용성을 체험해보겠습니다.
이를 바탕으로, 다음 아티클에서는 PDF 문서를 불러와 텍스트를 추출하고 벡터화한 뒤, 검색 기반으로 답변을 생성하는 나만의 RAG 챗봇을 함께 만들어보겠습니다.