сказ о том, как я kafka и Spring поднимал и тестил

java.lang.IllegalArgumentException: Magic v1 does not support record headers

это значит кафка старая и не поддерживает хидеры

надо просто обновиться.

for debug purpose: https://github.com/awaitility/awaitility 

https://gist.github.com/itzg/e14fe6965175b65e14881e7c5264c707 

kafka:
по мотивам: https://dzone.com/articles/running-apache-kafka-on-windows-os

server.properties:
кто бы мог подумать что ему не все равно - log.dirs=C:/soft/kafka_2.12-0.10.2.0/tmp/logs так работает а так нет log.dirs=C:\soft\kafka_2.12-0.10.2.0\tmp\logs

C:\soft\kafka_2.12-0.10.2.0\bin\windows>kafka-topics.bat --delete --topic s1p.topic --zookeeper localhost:2181
Topic s1p.topic is already marked for deletion.

kafka-topics --list --zookeeper localhost:2181
s1p.topic - marked for deletion

но когда это фактически случится никто не знает..... и это настораживает!

тут надо что - а тут надо копать! Иван Федрыч КАПАЙ делает работу)!
src: https://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_ConnectingToZooKeeper


zkCli -server localhost:2181

rmr /brokers/

spring-integration-kafka:
src: https://www.youtube.com/watch?v=wo-aZ3ITLYU&t=2700s
https://github.com/SpringOnePlatform2016/grussell-spring-kafka

zkServer

kafka-server-start ..\..\config\server.properties
src: http://stackoverflow.com/a/28106759/2910338


todo по теме
https://github.com/spring-projects/spring-integration-samples/blob/master/basic/kafka/README.md
http://docs.spring.io/spring-kafka/docs/2.0.0.BUILD-SNAPSHOT/reference/html/


https://mapr.com/blog/monitoring-real-time-uber-data-using-spark-machine-learning-streaming-and-kafka-api-part-2/

параметры скопировать:

broker.id=1

delete.topic.enable=true

listeners=PLAINTEXT://localhost:9092

advertised.listeners=PLAINTEXT://localhost:9092

log.dirs=C:/soft/kafka_2.12-0.10.2.0/tmp/logs

auto.create.topics.enable=true

еще в настройках zookeeper.properties можно поменять temp dir для юникаса или винды

nit runs:
    https://dzone.com/articles/running-apache-kafka-on-windows-os
    * C:\soft\kafka_2.12-0.10.2.0> .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
    * as admin from C:\soft\kafka_2.12-0.10.2.0 .\bin\windows\kafka-server-start.bat .\config\server.properties
        если не запустилось:
            rm -r C:\soft\kafka_2.12-0.10.2.0\logs\*
            rm -r C:\soft\kafka_2.12-0.10.2.0\tmp\*
            rm -r C:\soft\zookeeper-3.4.10\tmp\*

C:\soft\kafka_2.12-0.10.2.0\bin\windows>kafka-topics --zookeeper localhost:2181 --create --topic topic1 --partitions 5 --replication-factor 1

C:\soft\kafka_2.12-0.10.2.0\bin\windows>kafka-topics --zookeeper localhost:2181 --create --topic topic2 --partitions 5 --replication-factor 1

delete topics: ./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic giorgos-.*
если топик в marked for deletion то
C:\soft\kafka_2.12-0.10.2.0> .\bin\windows\zookeeper-shell.bat localhost:2181
rmr /brokers/topics/{topic_name}
rmr /admin/delete_topics/{topic_name}


по теме:
https://www.baeldung.com/spring-kafka